科大讯飞
【星火X计划-实习】大规模集群下超大尺寸模型推理性能极致优化(J14615)
【星火X计划-实习】大规模集群下超大尺寸模型推理性能极致优化(J14615)
发布于 3 小时前实习/见习
实习生仅现场办公高性能计算
高性能计算
Go
Kvcache
Rdma
云原生
分布式系统
大模型推理
异构算力
性能优化
值不值得投
77综合评分
综合评分 77
讯飞星火顶尖AI实习岗，聚焦大模型推理底层优化，技术前沿且成长空间极大，适合硬核技术极客。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
6千
比高性能计算中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 230 个在招
市场机会
选择不多
合肥 · 高性能计算 · 3 个在招
职位详情
关于这个职位
该职位面向科大讯飞星火大模型API服务场景，参与构建基于国产异构算力的大规模分布式推理集群
你将致力于多级KVCache、动态计算调度等核心技术的研发与极致优化，提升推理性能并降低服务成本
最低要求
届及以后毕业的硕士及以上学历，计算机、软件工程、数学及相关专业优先
具备扎实系统基础、优秀学习能力或突出工程实践能力者同样欢迎
熟练掌握C++、Python、Go等至少一种语言，具备大型工程项目开发能力，能够完成良好实现与性能优化
对KVCache系统有深入理解，具备KV存储、压缩、传输、缓存复用等性能优化实践
熟悉RDMA、SSD/HDD存储体系，熟悉Mooncake或同类型项目
熟悉云原生及分布式系统架构，掌握容器编排、服务治理、负载均衡、分布式故障定位及系统性能优化方法
具备优秀的工程意识和系统设计能力，能够针对复杂技术问题从第一性原理出发进行分析，建立体系化解决方案，并推动端到端闭环
工作职责
【课题介绍】
本课面向超大尺寸通用大模型规模化的 API 服务场景，基于国产异构算力芯片构建大规模、高性能的分布式推理集群
围绕多级 KVCache、实时动态计算调度、弹性异构基础设施等核心任务，通过工程技术的持续创新，不断追求用户延迟体验、服务成本以及可靠性工程等方面的极致优化，构建高性价比的大模型 API 服务能力，加速形成普惠的token经济
【课题挑战】
大规模发散流量场景下，用户请求动态变化、业务负载高度随机、异构算力瓶颈差异显著、云际异构集群间流量峰谷波动大，在保障用户体验的同时需实现跨集群、跨资源池的全局负载最优分配与潮汐弹性调度，逼近集群吞吐与资源利用率极限
长上下文、高并发推理场景，KVCache增长导致显存、存储及传输成本急剧上升，分布式异构集群下缓存路径、路由策略与资源调度高度耦合，在保证首响时延和效果的前提下，突破KV压缩、跨节点复用和分级缓存效率瓶颈，KV利用率与成本的全局最优
【课题价值】
突破大规模分布式推理在异构算力、高速缓存复用、动态调度等方向的关键技术瓶颈，KVCache成本、性能及集群利用率等关键技术指标形成显著竞争优势
面向十万卡级异构算力，打造行业领先的国产推理算力集群，显著提升推理集群整体吞吐，对token成本实现极致摊销，支撑下一代高吞吐、低成本、普惠化的大模型服务基础设施建设
优先资格
对分布式推理集群的设计、研发有比较深入的理解，具有大规模高性能系统设计或研发经验
在大型开源软件中有深度贡献，或有优秀个人开源项目
AI 洞察
优缺点分析
优点
- 接触行业顶尖的大模型推理优化技术，参与十万卡级集群建设，技术壁垒高
- 依托星火大模型平台，能积累丰富的国产异构算力实战经验
- 作为顶尖AI人才计划，能获得核心业务场景的锻炼机会
- 技术难度极高，涉及底层算力调度和复杂分布式系统，对基础要求苛刻
- 适合对底层系统、高性能计算和大模型基础设施有浓厚兴趣，且具备扎实计算机基础的硕士及以上在校生
缺点 / 挑战
- 需要处理高并发和海量数据，对系统稳定性和极致性能的追求会带来较大压力
角色解读
- 从实习生成长为AI基础设施核心研发工程师，深入大模型底层技术
- 未来可向大模型推理优化专家或分布式系统架构师方向发展
- 参与大模型分布式推理集群的研发，优化多级KVCache和动态计算调度机制
- 解决长上下文和高并发场景下的显存、存储及传输瓶颈，提升集群吞吐量
- 基于国产异构算力进行系统性能极致优化，降低大模型API服务成本
- 熟练掌握C++、Python或Go，具备大型工程项目开发与性能优化能力
- 深入理解KVCache系统及分布式架构，熟悉RDMA和云原生技术
- 具备优秀的系统设计能力，能从第一性原理出发解决复杂技术问题
申请策略
- 了解星火大模型的最新进展及API服务架构
- 准备好系统设计和底层优化的技术细节，以应对深度技术面试
- 突出C++/Go/Python项目经验，特别是性能优化和分布式系统相关经历
- 展示对KVCache、RDMA或相关开源项目的深入理解与贡献
- 强调从第一性原理出发解决复杂技术问题的系统性思维
- 深入学习分布式系统原理和云原生技术，了解主流大模型推理框架源码
- 研究KVCache优化机制及异构算力调度策略，补充底层系统知识
面试指南
- 采用STAR法则结合技术深度，先讲背景和目标，再讲技术选型和实现细节
- 用量化数据说明优化成果，如延迟降低百分比、吞吐量提升倍数或成本节约比例
- 如何优化长上下文推理中的KVCache显存占用和传输成本？
- 在分布式系统中，如何实现跨集群的全局负载均衡和潮汐弹性调度？
- 描述一个你参与过的性能优化项目，你是如何从第一性原理出发解决问题的？
- 熟悉RDMA吗？它在分布式推理集群中相比传统网络有什么优势？
- 复习C++/Go底层机制、内存管理及网络编程，夯实系统基础
- 了解vLLM、TensorRT-LLM等主流大模型推理框架的设计思想与KVCache实现
职位点评
薪资福利70
成长发展95
工作生活50
使命价值85
薪资福利
70中等
实习岗位薪资符合市场常规水平，实习津贴和基础保障较为规范，能满足在校生的基本生活需求。
薪资信号未披露（AI估算：4–8千/月）
成长发展
95较高
岗位涉及大模型推理核心技术和十万卡级集群建设，技术前沿性极强，能接触到行业顶尖的AI基础设施研发，对个人技术成长有巨大帮助。
技术前沿前沿/新兴技术
技术栈C++、Python、Go、KVCache、RDMA、云原生、分布式系统
成长机会星火X顶尖AI人才计划
业务类型profit_center
工作生活
50较低
JD未明确提及工作模式和WLB相关信息，无法准确评估工作生活平衡情况。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
致力于构建普惠的token经济和国产推理算力集群，推动大模型技术的普及与应用，具有较高的社会价值和行业使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号加速形成普惠的token经济、打造行业领先的国产推理算力集群
创新程度开拓性创新（行业首创）
科大讯飞 的其他在招职位
相似职位推荐
Watch Jobs