【星火X计划】大规模集群下超大尺寸模型推理性能极致优化(J13985)

优缺点分析

角色解读

• 在AI基础设施领域深耕，从推理性能优化工程师成长为系统架构师或技术专家
• 参与国产算力平台的核心研发，积累大规模分布式系统的设计与调优经验，未来可向AI平台技术负责人方向发展
• 在科大讯飞大模型业务中，逐步承担更广的技术架构职责，或转向大模型训练、计算等领域
• 负责超大尺寸通用大模型的分布式推理集群设计与优化，涉及KVCache多级缓存、动态计算调度、弹性异构基础设施等核心模块
• 针对大规模发散流量和长上下文场景，优化KVCache的存储、压缩、传输与复用，降低显存和带宽瓶颈，提升缓存利用率
• 参与跨集群、跨资源池的全局负载均衡与潮汐弹性调度，逼近集群吞吐和资源利用率极限，支撑高并发、低延迟的API服务
• 与团队协作推进国产异构算力平台的技术演进，构建高性价比、普惠化的token经济基础设施
• 扎实的C++/Python/Go编程能力，能进行大型工程项目开发与性能调优
• 深入理解KVCache系统，有KV存储、压缩、传输、缓存复用等优化经验，熟悉RDMA、SSD/HDD存储体系
• 熟悉云原生架构，掌握容器编排、服务治理、负载均衡、分布式排障和性能优化方法
• 具备从第一性原理分析复杂问题的能力，能建立体系化解决方案并推动落地

申请策略

• 关注科大讯飞在国产算力和大模型基础设施上的布局，在面试中展示对业务痛点的理解
• 由于是校园招聘计划，可主动联系内部员工了解项目组技术栈，并针对性地准备内推
• 突出与KVCache、分布式推理或高性能计算相关的项目，写明具体优化手段和量化收益
• 强调C++/Python/Go的项目经验，尤其是大型并发系统的工程实践
• 如有RDMA、SSD/HDD、Mooncake相关经验或开源贡献，务必详细列出
• 体现系统设计能力，展示从问题分析到落地的完整案例
• 提前研读KVCache相关论文（如PagedAttention）和Mooncake框架源码，深入理解机制
• 动手实践分布式推理框架（如vLLM、TensorRT-LLM），尝试调优KV缓存或调度策略

面试指南

• 对技术类问题，遵循'定义问题-分析瓶颈-方案对比-落地验证'的框架，重点展示量化指标和第一性原理思考
• 对于系统设计题，从数据流、组件交互、扩展性、容错等角度展开，并主动提及优势和权衡
• 对于项目介绍，采用STAR法则，突出个人贡献和难点突破
• 请详细介绍一个你做过的高性能系统优化项目，面临什么问题，如何分析，最终效果如何？
• 谈谈你对KVCache的理解，以及它在大模型推理中的瓶颈有哪些？你会如何优化？
• 在分布式集群中，如何设计KV缓存复用策略？跨节点传输时如何考虑RDMA和存储层次？
• 假设大规模流量涌入，集群出现负载不均，你会从哪些维度进行调度和弹性伸缩？
• 如何用C++或Python实现一个高性能的缓存组件？需要注意哪些性能关键点？