【星火X计划】大规模集群下超大尺寸模型推理性能极致优化(J13803)

优缺点分析

角色解读

• 作为星火X顶尖人才计划成员，可接触最前沿的AI基础设施技术，快速成长为分布式系统/性能优化专家
• 未来可向技术专家或架构师方向发展，主导大规模推理集群的架构设计与优化
• 积累深厚的技术底蕴后，可向AI Infra方向的技术管理岗位进阶
• 负责大规模分布式推理集群的性能优化，重点解决KVCache的存储、压缩与复用问题，降低推理成本
• 参与构建弹性异构基础设施，实现跨集群的负载均衡与潮汐调度，提升集群吞吐与资源利用率
• 与团队共同突破超大尺寸模型推理的关键技术瓶颈，推动国产推理算力集群的落地与迭代
• 精通C++、Python或Go至少一种语言，具备扎实的系统编程与大型工程项目开发能力
• 深入理解分布式系统架构，熟悉容器编排（Kubernetes）、服务治理、负载均衡等云原生技术
• 熟悉KVCache、RDMA、存储体系（SSD/HDD）等底层技术，具备性能优化实践经验
• 优秀的工程意识和系统设计能力，能从第一性原理分析复杂问题并推动闭环

申请策略

• 了解科大讯飞星火大模型的技术栈和业务方向，在面试中体现对普惠token经济的认同
• 准备一个端到端的技术案例，展示从问题分析到方案落地的完整过程
• 突出分布式系统、高性能计算或AI推理相关的项目经验，尤其是KVCache优化、集群调度等方向
• 强调大型开源项目贡献或个人开源项目，展示工程能力和技术影响力
• 量化项目成果，如提升吞吐量、降低延迟或成本的指标
• 展示扎实的C++/Python/Go编程能力，附上关键代码或系统设计文档
• 系统学习KVCache、分布式推理相关论文和开源项目（如Mooncake、vLLM等）
• 补充云原生与容器编排技能，熟悉Kubernetes集群部署与调优

面试指南

• 采用STAR法则：情境-任务-行动-结果，结构化呈现项目经历
• 在回答技术问题时，从问题本质入手，分点阐述原理、方案与权衡，体现系统思维
• 对于开放性问题，可先给出总体思路，再展开细节，并强调可验证的优化效果
• 请描述一次你如何进行分布式系统性能优化的经历，具体解决了什么瓶颈？
• 谈谈你对KVCache的理解，如何在不影响推理质量的前提下降低显存占用？
• 在设计大规模推理集群时，你会如何考虑负载均衡和弹性伸缩？
• 如何优化跨节点KV传输效率？请分析RDMA与TCP的差异及应用场景
• 你如何从第一性原理出发分析一个未知的性能问题？请举例说明