初速度
资深模型训练优化工程师
资深模型训练优化工程师
发布于 6 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Cuda
Deepspeed
Megatron-Lm
Nccl
Pytorch
Rdma
Vllm
分布式训练
值不值得投
76综合评分
综合评分 76
大模型底层训练框架研发核心岗，技术前沿且薪资极具竞争力，适合追求技术深度的资深工程师。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
6.5万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
18 个在招
市场机会
选择适中
北京 · 高性能计算 · 38 个在招
职位详情
关于这个职位
该职位主要负责大模型训练与推理框架的底层研发与性能优化，涉及CUDA算子开发、分布式并行策略设计及通信效率提升
你需要结合模型算法逻辑，解决显存、通信和计算瓶颈，为自动驾驶等核心业务提供高效的AI算力支撑
最低要求
学历背景：统招本科及以上学历，计算机相关专业，具备扎实的理论基础和强大的动手能力
编程能力：熟悉 Python/C++/CUDA/CUTLASS/Triton 编程，熟悉 PyTorch 框架及其底层实现
熟悉分布式系统开发与调试，熟悉分布式通信开发 NCCL/IB/RDMA
训练与推理经验：熟悉大模型结构与算法（LLM/VLM/VLA/DiT、MoE 架构、各种 RL 算法等）
熟悉分布式训练/推理的常用策略（DP/TP/PP/EP/CP、recompute 等）
有训练框架（如 Megatron-LM、DeepSpeed、VeRL）或推理框架（如 SGLang、vLLM）开发与优化经验
工作职责
基于高性能训练框架（如 Megatron-LM、DeepSpeed、VeRL）或推理框架（如 SGLang、vLLM）进行二次开发与优化
分析并优化训练阶段的性能瓶颈，包括显存占用、通信延迟、计算效率等
结合模型算法逻辑，设计和实现针对性的高效分布式并行训练策略
深入研究 CUDA、通信框架（NCCL、RDMA 等），开发高性能算子及优化分布式通信效率
配合算法需求，开发 RL 训练框架、迭代 RL 训练算法逻辑，并优化 RL 训练效率
优先资格
有多进程调度与并行算法优化经验者优先
AI 洞察
优缺点分析
优点
- 处于AI大模型与自动驾驶交叉的核心赛道，技术栈极其前沿，能积累深厚的底层系统优化经验
- 岗位技术壁垒高，替代性弱，在AI Infra领域具有极高的市场稀缺性和议价能力
- 公司业务落地场景明确，算力资源充足，利于技术验证与工程实践
- 大模型训练优化涉及底层硬件与复杂分布式系统，技术难度极大，需要持续跟进最新学术与工程进展
- 适合对底层系统、高性能计算有浓厚兴趣，具备扎实C++/CUDA功底，且渴望在AI Infra领域深耕的资深技术极客
缺点 / 挑战
- 性能优化工作往往面临严苛的指标压力，需要在有限算力下榨取极致性能，工作挑战与强度较高
角色解读
- 纵向可成长为大模型基础架构专家或首席科学家，主导下一代AI算力平台的架构设计
- 横向可向自动驾驶核心算法团队或AI Infra技术管理岗发展，带领团队攻克行业级算力难题
- 负责大模型训练与推理框架（如Megatron-LM、DeepSpeed、vLLM等）的底层二次开发与深度优化
- 分析并解决训练过程中的显存占用、通信延迟和计算效率等性能瓶颈，提升整体算力利用率
- 结合大模型算法逻辑，设计高效的分布式并行训练策略，并开发高性能CUDA算子
- 精通Python/C++/CUDA等编程语言，深入理解PyTorch底层实现及分布式通信框架（NCCL/RDMA）
- 熟悉主流大模型架构（LLM/VLM/MoE等）及分布式训练策略（DP/TP/PP/EP等）
- 具备丰富的高性能计算与算子优化经验，熟悉CUTLASS/Triton等加速库
申请策略
- 投递时明确选择意向城市，并了解初速度在该城市的具体业务侧重点
- 准备好过往项目中遇到的最复杂的性能瓶颈案例，以及你是如何通过底层分析定位并解决该问题的完整思路
- 重点突出在Megatron-LM、DeepSpeed或vLLM等主流框架上的二次开发与性能调优实际成果
- 量化过往优化成果，如显存占用降低比例、通信延迟减少毫秒数、整体训练吞吐量提升倍数等
- 展示在CUDA算子开发、NCCL/RDMA通信优化或多进程调度方面的具体项目经验与底层原理理解
- 深入研读Megatron-LM、vLLM等框架源码，掌握最新的分布式并行策略及显存优化技术
- 加强CUDA编程与Triton/CUTLASS实战能力，熟悉最新GPU架构的硬件特性
面试指南
- STAR法则结合底层原理：情境（业务背景）-> 任务（性能指标）-> 行动（底层分析、算子重写、通信优化）-> 结果（量化提升）
- 对于架构设计问题，采用‘权衡分析’框架：先说明不同策略的优缺点，再结合具体硬件拓扑和模型结构给出最优解
- 请详细描述你在Megatron-LM或DeepSpeed中做过的最复杂的一次性能优化，具体解决了什么瓶颈？
- 在分布式训练中，TP和PP的通信开销如何优化？如果节点间网络带宽受限，你会采取哪些策略？
- 请解释一下FlashAttention的核心原理，或者你在CUDA算子开发中如何优化显存访问？
- 针对RL训练框架，如何优化Rollout和Training阶段的资源调度与显存复用？
- 复习分布式系统基础、CUDA编程模型及GPU硬件架构（如SM、Shared Memory、Tensor Core的工作原理）
- 准备1-2个极具深度的技术难点案例，能够画出系统架构图、通信拓扑图或显存生命周期图进行讲解
职位点评
薪资福利85
成长发展92
工作生活40
使命价值75
薪资福利
85较高
资深大模型底层优化岗位技术壁垒极高，一线城市薪资处于市场高位，虽JD未披露具体薪资，但基于岗位稀缺性，薪酬竞争力强。
薪资信号未披露（AI估算：4.5千–8.5万/月）
成长发展
92较高
岗位直击大模型底层算力核心，技术栈极其前沿，能接触到业界最顶尖的分布式训练框架与GPU底层优化，技术成长空间巨大。
技术前沿前沿/新兴技术
技术栈Megatron-LM、DeepSpeed、VeRL、SGLang、vLLM、CUDA、CUTLASS、Triton、PyTorch、NCCL、RDMA
业务类型profit_center
工作生活
40较低
JD未提及工作模式与WLB相关信息，但大模型底层研发通常面临较高的性能指标压力，工作强度可能较大，生活平衡度有限。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
处于自动驾驶与通用人工智能交汇的高速增长赛道，推动大模型在物理世界的落地，具有较高的行业前景与技术使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs