大模型推理调度编排专家-Seed

优缺点分析

角色解读

• 横向扩展：深入理解AI基础设施全栈，成为系统架构专家
• 纵向升级：在大模型调度领域深耕，参与顶会论文发表，引领行业技术标准
• 管理路线：带领团队负责核心调度系统的演进，培养新晋工程师
• 设计和实现大规模GPU集群的资源调度与编排系统，优化算力利用率和任务分配
• 开发大模型推理服务的动态调度策略，包括PD分离、KV Cache感知调度和自动扩缩容
• 协同网络和存储团队，优化RDMA和分布式缓存性能，保障服务稳定性和低延迟
• 精通Kubernetes/Docker等容器编排技术，并能进行二次开发
• 熟练掌握C++/Go/Python，具备分布式系统开发经验
• 了解GPU体系结构和机器学习推理框架（如vLLM、SGLang）

申请策略

• 关注字节跳动Seed团队的技术博客和开源项目，了解其技术栈和方向
• 准备时重点思考大规模调度中的挑战（如资源碎片、优先级抢占、故障恢复）的解决方案
• 突出在Kubernetes和容器化方面的项目经验，尤其是大规模集群调度或资源管理
• 展示参与分布式系统设计、性能优化或稳定性保障的具体案例和量化成果
• 如有大模型推理部署或GPU资源调优经验，务必详细描述
• 深入掌握Kubernetes源码和调度器扩展机制
• 学习主流推理引擎（vLLM/SGLang）的架构和优化技巧
• 补充GPU体系结构和CUDA编程知识

面试指南

• 对于设计类问题，采用分层架构思路，先抽象核心组件（资源管理、调度策略、监控反馈），再细化实现
• 对于稳定性问题，从监控、告警、自动恢复、容灾演练等维度展开，结合具体场景
• 技术原理类问题，清晰描述概念，结合自己的实践经验讲解优化思路
• 如何设计一个支持GPU异构资源的调度器？
• Kubernetes调度器的工作原理及如何自定义调度策略？
• 大模型推理中的PD分离和KV Cache调度是如何实现的？
• 如何保证大规模集群下推理服务的稳定性？请举例说明
• 解释RDMA在分布式训练/推理中的作用和面临的挑战