科大讯飞
【星火X计划-实习】面向超大尺寸通用LLM的预训练Infra工程(J14618)
【星火X计划-实习】面向超大尺寸通用LLM的预训练Infra工程(J14618)
发布于 3 小时前实习/见习
实习生仅现场办公高性能计算
高性能计算
Cuda
Gpu架构
分布式训练
深度学习框架
混合精度训练
算子优化
高性能计算
值不值得投
75综合评分
综合评分 75
大模型前沿Infra实习岗，技术壁垒高、成长空间大，适合追求硬核技术突破的顶尖AI人才。
从学习成长、工作节奏、岗位方向和实习待遇综合评估，方便比较实习机会。
薪资怎么样
6千
比高性能计算中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 230 个在招
市场机会
选择不多
合肥 · 高性能计算 · 3 个在招
职位详情
关于这个职位
该职位主要负责构建和优化面向大模型预训练的高性能训练基础设施，解决万卡集群下的并行策略设计与训练稳定性保障问题
你将参与分布式训练框架的设计与迭代，优化通信、显存与计算效率，为算法团队提供稳定高效的底层工程底座
最低要求
届及以后在读硕士及以上学历，计算机、软件工程、高性能计算、电子信息、数学等相关专业，计算机体系结构、深度学习相关理论功底扎实
编程基础牢靠，熟练掌握Python，同时精通C++、CUDA二者其一，能够产出规范、高性能的工程代码
掌握如下技术/知识一种：主流LLM深度学习训练框架、GPU/国产芯片高性能算子编程、编译优化
掌握GPU架构特性以及CUDA开发手段，了解昇腾NPU、海光DCU等国产加速硬件配套软件栈，熟悉算子优化方法与FP16/BF16/FP8混合精度训练方案
良好的沟通协作能力，自驱力和责任心足够强，可以和团队共同攻坚并落地新技术
工作职责
针对万亿参数模型结构信息结合训练集群体系结构，设计多维的混合并行策略，平衡计算效率、显存占用和通信开销，达到系统利用率最高
联合平台对软硬件进行监测，实现高效故障恢复，静默数据损坏识别等，保障大规模长周期训练任务的稳定性
参与大规模分布式训练框架的设计、迭代与优化，适配预训练以及后训练完整流程，联合平台保障千卡/万卡量级集群实现高效稳定训练
落地多维度并行策略优化，涵盖数据并行、张量并行、流水线并行、专家并行，完成通信、显存、计算在特定集群和结构下的优化，充分挖掘芯片硬件性能上限
定位并解决训练环节的各类性能瓶颈、抖动故障，联动平台侧完善运维策略，保障超大算力集群训练任务平稳运行
对接算法研发团队，跟进全新模型架构的特性，从框架层面完成定制适配，匹配算法迭代的底层诉求
跟踪训练Infra领域前沿技术进展，参考业界成熟方案迭代自有框架，持续压低训练开销、提升运行效率与系统稳定性
优先资格
学业排名、科研成果、硬核竞赛表现突出者优先
AI 洞察
优缺点分析
优点
- 接触行业最前沿的大模型底层技术，参与万卡集群训练Infra建设，技术壁垒高，个人成长空间巨大
- 依托丰富的算力资源与真实业务场景，能积累极具竞争力的分布式系统与高性能计算经验
- 大模型训练Infra涉及软硬件协同，技术栈深且复杂，需要快速学习并解决各类未知的底层系统Bug
- 适合对底层系统、高性能计算有浓厚兴趣，具备扎实C++/CUDA功底，且喜欢钻研硬核技术的计算机相关专业硕博生
缺点 / 挑战
- 万卡集群故障频发，长周期训练对系统的稳定性要求极高，排查和解决静默错误、硬件故障的压力较大
角色解读
- 纵向可成长为大模型训练Infra领域的资深技术专家，主导万卡级集群的底层架构设计
- 横向可向AI系统架构师、高性能计算专家或AI平台技术负责人方向发展，掌控算力底座核心技术
- 设计和优化面向千亿/万亿参数大模型的分布式训练框架，实现数据、张量、流水线等多维混合并行策略
- 解决万卡集群训练中的性能瓶颈、抖动故障及Loss Spike问题，保障长周期训练任务的稳定高效运行
- 对接算法团队，跟进新模型架构特性进行底层框架定制适配，并跟踪Infra前沿技术持续迭代自有框架
- 扎实的计算机体系结构与深度学习理论功底，精通Python及C++/CUDA编程
- 熟悉主流LLM训练框架及GPU/NPU架构特性，掌握高性能算子编程与编译优化
- 具备优秀的工程落地能力与问题排查能力，能够处理大规模分布式系统中的通信、显存与计算协同问题
申请策略
- 提前了解星火大模型的技术架构与最新进展，面试时结合其业务场景思考Infra优化方向
- 准备好过往项目中的性能优化案例，用具体数据量化你的贡献
- 重点突出在C++/CUDA编程、GPU算子优化或深度学习框架底层开发方面的项目经验与代码产出
- 展示在分布式系统、高性能计算或深度学习相关的硬核竞赛及科研成果
- 深入学习Megatron-LM、DeepSpeed等主流大模型训练框架的源码，理解其并行策略与显存优化机制
- 熟悉CUDA编程模型及GPU内存层次结构，尝试手写并优化常见的深度学习算子
面试指南
- 针对性能优化问题，采用“背景-瓶颈分析-优化手段-量化收益”的STAR法则进行回答
- 针对分布式训练问题，从“计算、通信、显存”三个维度拆解，结合具体模型结构分析不同并行策略的适用场景
- 请详细介绍你在C++/CUDA或算子优化方面的项目经验，你是如何定位并解决性能瓶颈的？
- 在分布式训练中，数据并行、张量并行和流水线并行各自的优缺点是什么？如何设计混合并行策略？
- 面对大规模长周期训练中的Loss Spike或硬件故障，你会采取哪些机制来保障训练的稳定性？
- 请解释FP16/BF16/FP8混合精度训练的原理，以及在实现过程中需要注意哪些数值稳定性问题？
- 复习计算机体系结构、CUDA编程基础以及主流深度学习框架的底层实现原理
- 阅读几篇关于大模型分布式训练的经典论文，了解业界最新进展
职位点评
薪资福利60
成长发展95
工作生活50
使命价值85
薪资福利
60中等
实习岗位薪资符合市场常规水平，虽非高薪，但顶尖AI人才计划实习经历对后续求职具有较高背书价值。
薪资信号未披露（AI估算：4–8千/月）
成长发展
95较高
岗位聚焦大模型预训练Infra这一前沿领域，能深度参与万卡集群底层架构设计，技术成长与技能积累空间极大。
技术前沿前沿/新兴技术
技术栈Python、C++、CUDA、LLM、分布式训练、混合并行、算子优化、混合精度训练
成长机会星火X顶尖AI人才计划
业务类型ambiguous
工作生活
50较低
JD未明确说明工作模式与工时安排，但大模型底层研发通常面临较高的技术挑战与项目压力，WLB情况需具体确认。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
参与通用大模型底层基础设施建设，推动人工智能技术发展，具有较高的行业前景与技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号星火X顶尖AI人才计划、面向超大尺寸通用LLM
创新程度开拓性创新（行业首创）
科大讯飞 的其他在招职位
相似职位推荐
Watch Jobs