大模型MaaS推理资源调度系统工程师/专家

优缺点分析

角色解读

• 在技术深度上，可成为分布式调度、AI基础设施领域的专家
• 在管理路径上，可晋升为技术Leader，带领团队建设更大规模的推理平台
• 横向可拓展至AI平台架构师、云原生基础设施总监等角色
• 设计并实现万亿级Token吞吐的MaaS推理调度系统，优化QPS、延迟等关键指标
• 负责在线推理与离线批处理任务的混部调度，在保障SLA前提下最大化GPU利用率
• 构建基于流量预测的弹性伸缩机制，实现资源动态扩缩容与成本优化
• 管理万卡级异构GPU集群的统一调度，解决跨集群资源分配与热点迁移问题
• 精通分布式系统、云原生技术栈，特别是Kubernetes调度体系
• 深入理解大模型推理链路，熟悉GPU、显存、KV Cache等底层概念
• 具备指标驱动意识，能围绕SLA、利用率、吞吐和成本持续优化
• 有GPU集群或MaaS平台经验者优先，熟悉vLLM、Ray Serve等框架更佳

申请策略

• 在简历中明确提及对MaaS和推理调度的理解，体现技术热情
• 准备一个调度系统设计的案例，展示系统思考能力
• 突出分布式系统、Kubernetes及相关调度系统的项目经验
• 量化成绩：如提升了多少GPU利用率、降低多少延迟、管理过多少节点
• 展示对大模型推理的理解，附上相关技术博客或开源贡献
• 强调指标优化案例，如SLA达成率、成本降低比例
• 深入学习Kubernetes调度器源码和自定义调度器开发
• 动手实践vLLM、SGLang等推理框架，了解其调度原理

面试指南

• 对于设计类问题，采用需求分析-架构设计-关键难点-解决方案的结构
• 对于优化类问题，明确指标-分析瓶颈-提出方案-验证效果
• 对于案例类问题，使用STAR法则（情境、任务、行动、结果）
• 如何设计一个支持在线离线混部的Kubernetes调度器？
• 解释大模型推理中的TTFT和TPOT，如何优化它们？
• 当GPU集群出现热点时，如何实现自动迁移？
• 如何利用弹性伸缩降低推理成本？请给出具体方案
• 遇到过最复杂的资源碎片问题是什么？如何治理？