大模型推理调度编排专家-Seed

优缺点分析

角色解读

• 技术深度：从资源调度专家成长为分布式系统架构师，或深入AI基础设施领域
• 管理方向：可晋升为技术Leader，带领团队攻克更大规模的调度挑战
• 行业前景：大模型时代，AI基础设施人才极度稀缺，职业天花板高
• 设计并实现大模型推理服务的资源调度与编排系统，包括异构GPU/CPU资源的池化、弹性伸缩和潮汐调度
• 优化KV Cache管理、PD分图/EP调度等策略，提升推理吞吐和延迟表现
• 保障大规模集群的稳定性，处理多机房、多云环境下的故障诊断与快速恢复
• 与算法、平台团队协作，推动资源利用率和部署效率的持续改进
• 精通C++/Go/Python等语言，具备扎实的系统编程能力
• 深入理解Kubernetes架构及容器技术（Docker/Containerd），有生产环境调度经验
• 熟悉分布式系统原理，能设计高可用、高并发的调度系统
• 了解GPU体系结构、RDMA网络及大模型推理引擎（vLLM/SGLang）者优先

申请策略

• 了解字节跳动Seed团队的技术博客和开源项目，面试中展示对团队工作的关注
• 准备一两个自己主导的复杂系统案例，详细阐述设计思路和挑战
• 突出在大模型推理、资源调度或Kubernetes方面的实际项目经验，特别是规模化的生产环境
• 强调分布式系统设计能力，如高可用、弹性伸缩、故障恢复等
• 如有开源贡献或顶会论文，务必列出
• 展示对GPU、RDMA等硬件资源调度的理解
• 深入学习Kuberentes调度器扩展和自定义控制器开发
• 动手实践vLLM、SGLang等推理引擎的部署与调优

面试指南

• 结构化回答：先明确问题范围，再给出设计方案，包括架构、关键组件、权衡点
• STAR法则：对于经历类问题，按情境(Situation)、任务(Task)、行动(Action)、结果(Result)组织
• 结合字节业务：提到豆包、火山引擎等场景，展示对业务的理解
• 如何设计一个支持弹性扩缩容的大模型推理服务调度系统？
• Kubernetes中如何优化GPU资源的分配与回收？
• 请解释PD分图调度和KV Cache centric调度的原理与挑战
• 在多机房场景下，如何保证任务调度的低延迟和高可用？
• 描述一次你排查和解决大规模分布式系统故障的经历