阿里健康-AI infra专家（推理方向）-杭州\北京

优缺点分析

角色解读

• 技术专家路线：在推理优化、AI基础设施领域深耕，成为行业顶尖专家
• 管理路线：可向技术团队负责人或架构师方向发展，带领团队负责核心基础设施
• 业务拓展：结合阿里健康业务，向医疗AI产品和技术方向拓展，成为复合型人才
• 负责大模型推理引擎的选型、优化与定制开发，探索PD分离等前沿架构，确保线上推理服务的高吞吐、低延迟和高可用
• 推进推理侧关键技术优化，如KV Cache管理、量化压缩、Continuous Batching、CUDA Graph优化等，提升推理效率和资源利用率
• 设计和构建模型部署服务平台，包括模型版本管理、灰度发布、任务路由、负载均衡、弹性扩缩容等能力
• 管理高性能GPU计算集群，负责资源调度、监控告警、故障恢复等运维保障工作
• 精通vLLM、SGLang、TensorRT-LLM等主流推理引擎，有PD分离架构部署和调优经验
• 深入理解KV Cache管理、量化压缩、Continuous Batching等推理优化技术
• 具备大模型部署平台和调度系统设计经验，熟悉K8s、Docker、Ray等云原生技术
• 熟悉主流AI算法，如LLM、多模态模型，对新技术保持敏感和热情

申请策略

• 在面试中，除了展示技术能力，也要体现对业务的理解和思考，强调技术如何为业务创造价值
• 了解阿里健康在医疗AI领域的布局和战略，在面试中展现对公司和业务的热情
• 突出大模型推理引擎的选型、优化和定制开发经验，尤其是vLLM、SGLang等框架的使用和调优
• 重点展示在KV Cache管理、量化压缩、CUDA Graph优化等推理侧关键技术的实际项目经验
• 强调模型部署平台和GPU集群管理的经验，包括K8s、Docker、Ray等技术的应用
• 如有开源项目贡献或技术博客，务必在简历中体现，以证明技术深度和影响力
• 深入学习vLLM、SGLang等推理引擎的源码，理解其内部实现原理
• 补充学习PD分离架构、KV Cache Offload、量化压缩等前沿技术，并尝试在项目中实践

面试指南

• 回答技术问题时，采用STAR法则，清晰描述项目背景、任务、行动和结果，突出个人贡献和量化成果
• 对于架构设计问题，可以从需求分析、技术选型、方案设计、权衡取舍等角度展开，展现系统思考能力
• 对于优化类问题，强调问题定位、性能分析、优化实施和效果验证的完整闭环
• 请详细描述你使用vLLM或SGLang进行推理优化的项目，包括遇到的问题和解决方案
• 如何设计一个高吞吐、低延迟的推理服务架构？请谈谈你对PD分离架构的理解
• 在GPU集群中，如何实现高效的资源调度和弹性扩缩容？
• 如何评估和优化KV Cache管理策略？
• 谈谈你对量化压缩技术的理解，以及在实际项目中如何选择和应用