科大讯飞
【星火X计划-实习】面向超大尺寸MoE的大EP推理工程优化(J14617)
【星火X计划-实习】面向超大尺寸MoE的大EP推理工程优化(J14617)
发布于 5 小时前实习/见习
实习生仅现场办公算法优化工程师
算法优化工程师
Moe
Pytorch
Vllm
专家并行
分布式推理
负载均衡
通信优化
高性能计算
值不值得投
75综合评分
综合评分 75
星火顶尖AI实习岗，聚焦MoE大模型前沿推理优化，技术成长空间极大，但工作强度与抗压要求较高。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
6千
比算法优化工程师中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 230 个在招 · 其中算法优化工程师 8 个
市场机会
选择不多
合肥 · 算法优化工程师 · 10 个在招
职位详情
关于这个职位
该职位聚焦超大规模MoE大模型在超大专家并行场景下的推理工程优化，解决跨节点通信、动态负载均衡及多并行维度协同调度等核心瓶颈
你将参与构建低通信开销、高资源利用率的分布式推理体系，支撑大规模MoE大模型在GPU集群的高效部署与业务落地
最低要求
届及以后在读硕士及以上学历，人工智能、计算机科学、高性能计算、数学、电子信息等相关专业，其他专业但具备突出工程能力者同样欢迎
扎实深度学习、并行计算、分布式系统基础，精通 Transformer 与 MoE 混合专家模型原理，熟悉大模型训练 / 推理分布式并行范式
熟练 C/C++ 或 Python
熟悉 MoE 路由机制、专家并行 EP、All-to-All 通信、分布式通信原语（NCCL 等）
具备分布式系统、高性能网络、调度算法相关背景
拥有独立问题建模、理论推导、仿真与大规模实验验证能力，能够搭建分布式评测基线，对标业界前沿并行方案并提出创新解法
良好跨团队协作能力，能够协同模型、推理框架、硬件、业务团队推进技术落地
具备较强抗压能力，擅长解决工业大规模集群场景下复杂技术瓶颈
工作职责
针对 EP128 及以上超大专家并行场景，设计轻量化通信压缩、流量规整与通信调度策略，解决 All-to-All 通信流量爆炸、跨节点通信冲突与时延抖动问题
研究无侵入 / 低开销动态负载均衡、专家路由优化、冷热专家自适应调度机制，解决 MoE 请求路由不均衡引发专家负载倾斜、长尾延迟显著问题
进行张量并行 TP、专家并行 EP、流水线并行 PP 多维度并行策略协同寻优，解决并行扩展过程中的资源碎片化、通信叠加问题
适配 Prefill/Decode 两阶段差异化流量特征，针对长序列推理、高并发在线业务设计动态路由与弹性调度方案
搭建自动化分布式仿真与实测评测平台，可复现大规模集群下通信拥塞、负载失衡现象，完成方案有效性验证
优先资格
熟悉 PyTorch、vLLM、TensorRT-LLM 等推理框架
有 MoE 分布式优化、负载均衡、高性能通信相关研究经历
有大规模 GPU 集群调试经验
在 ICLR/NeurIPS/ICML 等顶会发表 MoE、分布式推理、并行优化相关论文
拥有 MoE 开源项目贡献、分布式推理框架二次开发经验
AI 洞察
优缺点分析
优点
- 依托科大讯飞星火大模型的真实业务场景，拥有大规模GPU集群的实操机会
- 有机会产出高质量学术论文及开源贡献
- 技术门槛极高，需要深厚的并行计算与分布式系统功底
- 超大集群下的通信与调度问题复杂，调试与排错难度大
- 适合对大模型底层推理优化有浓厚兴趣，具备扎实并行计算基础，且有志于在高性能计算与分布式AI系统方向深耕的顶尖硕博人才
缺点 / 挑战
- 接触业界最前沿的MoE大模型推理技术，解决EP128+级别的极致工程挑战
- 需要较强的抗压能力以应对工业级场景的复杂瓶颈
角色解读
- 可向大模型推理架构师、高性能计算专家方向发展
- 在顶尖AI团队积累超大规模集群调优经验，未来可成为分布式AI系统领域的核心技术骨干
- 聚焦超大规模MoE大模型的超大专家并行推理优化，解决跨节点通信、负载均衡等瓶颈
- 搭建分布式仿真与评测平台，验证通信压缩与调度策略的有效性
- 协同多团队推进MoE分布式推理方案在大规模GPU集群的落地
- 扎实的深度学习与分布式系统基础，精通Transformer与MoE原理
- 熟练掌握C/C++或Python，熟悉PyTorch、vLLM等推理框架及NCCL等通信原语
- 具备独立问题建模与大规模实验验证能力
申请策略
- 了解科大讯飞星火大模型的最新进展及MoE架构特点
- 准备好过往项目中解决复杂系统瓶颈的具体案例，以展现独立建模与落地能力
- 突出在MoE、分布式推理、并行优化方面的研究经历或项目经验
- 强调对PyTorch、vLLM等框架的底层理解及C/C++/Python工程能力
- 若有顶会论文或MoE开源项目贡献，务必放在显眼位置
- 深入学习NCCL等分布式通信原语及All-to-All通信机制
- 动手实践vLLM或TensorRT-LLM的二次开发，理解Prefill/Decode两阶段的调度逻辑
面试指南
- 采用“背景-问题-方案-收益”框架
- 先明确超大EP规模下的具体痛点（如通信开销、负载倾斜），再阐述设计的算法或工程策略（如通信压缩、动态路由），最后用数据或评测结果证明方案的有效性（如吞吐提升、延迟降低）
- 在EP128以上规模下，All-to-All通信拥塞如何解决？请分享你的优化思路
- MoE路由不均衡导致长尾延迟，你了解或设计过哪些动态负载均衡机制？
- TP、EP、PP多维度并行策略如何协同寻优以避免资源碎片化？
- 请描述你搭建分布式评测基线的经验，如何复现通信拥塞现象？
- 复习MoE架构原理及主流分布式推理框架（如vLLM）的源码实现
- 准备1-2个自己主导的分布式系统或高性能计算项目，深入剖析其中的技术难点与解决思路
职位点评
薪资福利60
成长发展95
工作生活50
使命价值85
薪资福利
60中等
作为实习岗位，薪资主要体现为实习津贴，能满足基本生活需求，但相比正式员工薪资仍有差距。
薪资信号未披露（AI估算：4–7千/月）
成长发展
95较高
聚焦超大规模MoE推理优化这一前沿方向，提供大规模GPU集群实操机会，且有产出顶会论文和开源贡献的明确导向，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈MoE、专家并行(EP)、All-to-All通信、PyTorch、vLLM、TensorRT-LLM、NCCL
成长机会星火X顶尖AI人才计划、输出高质量学术论文
业务类型profit_center
工作生活
50较低
JD中未明确提及工作模式与WLB福利，且明确要求“具备较强抗压能力”，暗示工作节奏可能较快。
工作模式未明确
办公地点科技园/产业园
加班情况JD含高强度暗示词
使命价值
85较高
参与超大规模稀疏大模型工程落地，推动AI底层推理技术发展，具有较高的技术使命感与行业影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号支撑更大规模稀疏大模型工程落地、夯实公司在超大规模稀疏模型分布式推理方向的核心技术竞争力
创新程度开拓性创新（行业首创）
科大讯飞 的其他在招职位
相似职位推荐
Watch Jobs