科大讯飞
词元星火-大模型训练Infra工程师-北京(J13591)
词元星火-大模型训练Infra工程师-北京(J13591)
发布于 大约 14 小时前普通员工/个人贡献者
北京市
专家级经验
全职员工
仅现场办公
本科
机器学习工程
Cuda
Deepspeed
Fsdp
Gpu
Megatron-Lm
Moe
分布式训练
并行计算
性能优化
AI 估算 · 40k–70k
职位详情
关于这个职位
该职位负责大规模分布式训练框架的设计与优化，支撑千卡/万卡级集群的高效训练，涉及并行策略、通信优化、显存管理等关键技术
适合对分布式系统和性能优化有深入理解的工程师，与算法团队紧密协作，推动训练框架的持续演进
最低要求
计算机、软件工程或相关专业本科及以上学历
扎实的编程能力
熟悉流深度学习框架及其分布式训练机制
深入理解分布式训练原理，熟悉 Megatron-LM、DeepSpeed、FSDP等主流框架中至少一种的实现细节
熟悉 GPU 体系结构与 CUDA 编程或者其他国产加速芯片和配套软件栈（昇腾NPU、海光DCU等），了解算子优化、混合精度训练（FP16/BF16/FP8）
具备大规模训练任务的性能分析与调优经验（Nsight、profiler 等工具）
工作职责
负责大规模分布式训练框架的设计、开发与优化，覆盖预训练和后训练全流程，支撑千卡/万卡级别集群的高效训练
优化训练性能，包括并行策略（数据并行、张量并行、流水线并行、专家并行）、通信优化、显存管理与计算重叠，针对特定模型挖掘芯片的极致性能
排查并解决训练过程中的性能瓶颈和稳定性问题，联合训练平台保障超大集群任务训练稳定性
与算法团队紧密协作，针对新模型结构提供框架层面的支持与适配
跟进业界前沿技术，推动训练框架在效率、成本、稳定性上的持续演进
优先资格
有千卡以上规模训练或万亿参数模型训练的实战经验
熟悉 Triton、CUTLASS 等高性能算子开发
在 MoE 训练、长序列训练、训练稳定性等方向有深入实践
有开源社区贡献或相关技术论文发表
AI 洞察
优缺点分析
优点
- 前沿技术领域，接触大模型训练核心技术
- 公司平台大，资源丰富，有千卡集群实战机会
- 薪资水平高，职业发展前景广阔
- 技术难度高，需要持续学习
- 工作强度可能较大，需要应对训练稳定性问题
- 竞争激烈，要求有深厚的技术积累
缺点 / 挑战
- 适合对分布式系统和性能优化有热情，具备扎实技术基础，愿意挑战高难度问题的工程师
角色解读
- 技术专家路线：深入分布式训练和性能优化，成为领域专家
- 架构师路线：负责整体训练框架的架构设计
- 管理路线：带领团队负责训练基础设施的研发
- 设计和优化大规模分布式训练框架，支持千卡/万卡集群的高效训练
- 实施并行策略、通信优化和显存管理，提升训练性能
- 解决训练过程中的性能瓶颈和稳定性问题，保障大规模集群稳定运行
- 与算法团队合作，为新模型结构提供框架支持
- 精通分布式训练原理，熟悉Megatron-LM、DeepSpeed等框架
- 熟悉GPU架构和CUDA编程，或国产加速芯片软件栈
- 具备性能分析和调优经验，使用Nsight等工具
- 扎实的编程能力，熟悉深度学习框架
申请策略
- 关注科大讯飞在AI领域的布局，了解其大模型战略
- 准备展示技术深度和解决复杂问题的能力
- 突出分布式训练项目经验，特别是大规模集群训练
- 强调对Megatron-LM或DeepSpeed的深入理解
- 展示性能调优案例和成果
- 提及开源贡献或技术论文
- 深入学习CUDA编程和GPU架构
- 熟悉Triton、CUTLASS等高性能算子开发
面试指南
- 结合具体项目经验，用STAR法则回答
- 强调技术深度和实际效果，量化成果
- 展示对前沿技术的关注和学习能力
- 请解释Megatron-LM中的张量并行和流水线并行的实现原理
- 如何优化大规模训练中的通信瓶颈？
- 描述一次你解决训练稳定性问题的经历
- 如何评估和提升GPU利用率？
- 对国产加速芯片（如昇腾）的软件栈有何了解？
职位点评
71
综合评分
前沿技术岗，薪资高，成长空间大，但工作强度可能较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长、对前沿技术有热情，能接受高强度工作的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活40
使命价值70
薪资福利
75中等
薪资水平较高，公司为上市公司，福利待遇稳定，但JD未明确具体薪资和福利细节。
薪资信号未披露（AI估算：40K-70K/月）
成长发展
90较高
岗位涉及前沿技术，有千卡集群实战机会，技术成长空间大，但JD未明确晋升路径。
技术前沿前沿/新兴技术
技术栈分布式训练、Megatron-LM、DeepSpeed、CUDA、GPU、性能优化
业务类型profit_center
工作生活
40较低
工作地点在北京，仅现场办公，未提及弹性工作，可能工作强度较大。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
大模型训练基础设施是AI领域核心，对推动技术进步有贡献，但JD未提及社会价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs