字节跳动
大模型推理调度编排专家-Seed
大模型推理调度编排专家-Seed
发布于 大约 14 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
学历未注明
平台工程
Go
Gpu调度
Rdma
Vllm
分布式系统
大模型推理
AI 估算 · 60k–90k
大模型推理调度为高价值技术岗，字节平台竞争力强，北京薪资水平高，资深专家薪酬可观。
职位详情
关于这个职位
加入字节跳动Seed团队，你将专注于大模型推理调度和编排系统的研发，解决海量异构资源的高效利用问题
你将参与打造业界领先的AI基础设施，支撑豆包、即梦等超50个应用场景，与顶尖工程师一起探索通用智能的边界
该岗位技术挑战大、成长空间广，非常适合对分布式系统和AI基础设施有热情的资深工程师
最低要求
熟练掌握Linux环境下的C++/Go/Python/Shell等1至2种以上语言
熟悉Kubernetes架构和生态，熟悉Docker/Containerd/Kata/Podman等容器技术，有丰富的机器学习系统实践和开发经验
掌握分布式系统原理，参与过分布式系统的设计、开发和维护
有优秀的逻辑分析能力，能够对业务逻辑进行合理的抽象和拆分
有强烈的工作责任心，较好的学习能力、沟通能力和自驱力，能够快速的响应和行动
有良好的工作文档习惯，及时按要求撰写更新工作流程及技术文档
工作职责
负责海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理
负责大模型推理服务的多角色、多阶段、PD分图/EP调度，KV Cache centric调度，实现动态、及时、准确的扩缩容管理
负责通过技术手段实现计算资源、RDMA高速网络资源、缓存/存储资源的最优编排，充分发挥大规模分布式集群算力
负责大模型服务的稳定性，通过线上和线下的多系统联动，实现在多种异构资源（GPU、CPU、其他异构硬件）、多云环境、多种网络流量场景的问题定位、诊断、隔离和快速恢复
负责多机房、多地域、多云场景的在离线任务/服务调度，实现负载的合理化分布
优先资格
熟悉至少一种主流的机器学习框架/推理引擎（例如vLLM/SGLang/PyTorch）
有大模型资源调度/服务编排的落地经验
熟悉了解GPU系统/体系结构
在计算机系统顶会（包括但不限于OSDI/NSDI/SOSP/FAST/Eurosys）上有文章发表经验
AI 洞察
优缺点分析
优点
- 字节跳动平台资源丰富，业务场景多样，个人影响力可辐射50+应用场景
- 薪资竞争力强，团队技术氛围浓厚，有机会与业界顶尖专家合作
- 技术栈复杂，需要持续学习最新的大模型推理和调度技术
- 系统规模庞大，问题排查和优化难度高，对逻辑分析和工程能力要求极高
- 适合对分布式系统和大模型基础设施有深厚兴趣、热爱攻克技术难题、抗压能力强的资深工程师
缺点 / 挑战
- 身处大模型前沿赛道，参与核心基础设施建设，技术挑战大、成长速度快
- 工作强度高，可能面临较大压力，需要快速响应线上故障
角色解读
- 技术专家方向：在调度编排领域深耕，成为大模型基础设施方向的权威专家
- 架构师方向：主导大规模分布式集群的系统架构设计，拓宽技术视野
- 技术管理方向：积累团队协作经验后，向技术Leader发展，带领团队攻克难题
- 负责设计并优化大模型异构资源调度系统，实现算力池化和弹性扩缩容，提升资源利用率
- 深度参与KV Cache centric调度和PD分图/EP调度，保障推理服务的高效稳定运行
- 联动多系统解决GPU、网络、存储等资源的编排问题，支撑大规模分布式集群的稳定性
- 熟练掌握C++/Go/Python中至少一种语言，具备扎实的编程功底
- 深入理解Kubernetes架构及容器技术（Docker/Containerd等），有机器学习系统开发经验
- 掌握分布式系统核心原理，具备设计、开发和维护分布式系统的实际经验
申请策略
- 提前了解Seed团队的技术方向（如MLLM、GenMedia），在面试中展示对该领域的思考
- 准备系统设计案例，突出你在资源调度、弹性扩缩容方面的方案设计能力
- 突出分布式系统设计或运维的实践经验，用具体数据量化性能提升和稳定性保障
- 强调Kubernetes和容器化技术的落地案例，展示对调度器、弹性伸缩的深入理解
- 若有vLLM、SGLang等推理引擎使用经验，务必重点提及
- 如有顶会论文（OSDI/NSDI等）或开源贡献，是极大加分项
- 学习vLLM/SGLang等推理引擎的底层实现，理解PD分离、Continuous Batching等机制
- 深入了解GPU架构和CUDA编程，提升对异构计算资源的理解
面试指南
- 使用STAR法则（情境、任务、行动、结果）清晰描述项目经历，突出个人作用
- 从系统设计角度回答，先阐述需求背景和约束，再给出架构方案、关键技术选型和权衡
- 强调数据驱动，用指标（如资源利用率、QPS、P99延迟）佐证方案效果
- 如何设计一个支持大规模异构GPU集群的资源调度系统？
- Kubernetes调度器如何应对大模型推理的弹性扩缩容需求？
- 在大模型推理场景下，如何实现KV Cache的高效管理？
- 面对多机房、多云环境，如何保证任务调度的稳定性和负载均衡？
- 请描述一次你解决分布式系统性能瓶颈的经历
职位点评
74
综合评分
高薪前沿大模型基础设施岗，技术成长空间大，工作强度高，适合挑战型人才。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术前沿与快速成长、对薪资和成就感有较高要求，同时能够接受高强度工作的资深工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展90
工作生活40
使命价值75
薪资福利
80较高
字节跳动作为头部互联网公司，提供具有竞争力的薪酬和福利，且该岗位为高级技术专家岗，薪酬水平较高，能够较好地满足经济回报需求。
薪资信号未披露（AI估算：60K-90K/月）
成长发展
90较高
该岗位位于大模型技术前沿，涉及调度、KV Cache、GPU等先进技术，技术挑战大，且团队发展迅速，职业成长空间广阔。
技术前沿前沿/新兴技术
技术栈Kubernetes、Docker、分布式系统、大模型推理、GPU、vLLM、RDMA
业务类型ambiguous
工作生活
40较低
工作地点为北京，要求现场办公，互联网公司节奏快，JD未提及弹性工作或WLB，生活平衡性可能一般。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
Seed团队以追求通用智能为使命，致力于为科技和社会发展作出贡献，技术影响力大，社会价值较高。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号追求智能上限、为科技和社会发展作出贡献
创新程度积极采用新技术
字节跳动 的其他在招职位
相似职位推荐
Watch Jobs