初速度
资深模型训练优化工程师
资深模型训练优化工程师
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Cuda
Deepspeed
Megatron-Lm
Nccl
Pytorch
Rdma
Vllm
分布式训练
值不值得投
80综合评分
综合评分 80
自动驾驶头部企业核心AI Infra岗，技术栈前沿且壁垒极高，薪资丰厚，适合追求技术极致的资深专家。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
8万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
73 个在招
市场机会
选择适中
北京 · 高性能计算 · 44 个在招
职位详情
关于这个职位
该职位主要负责大模型训练与推理框架的研发及底层性能优化，涉及显存、通信及计算效率的全面提升
你需要结合模型算法逻辑设计高效的分布式并行训练策略，并深入研究CUDA与通信框架以开发高性能算子，同时参与强化学习训练框架的开发与迭代
最低要求
学历背景：统招本科及以上学历，计算机相关专业，具备扎实的理论基础和强大的动手能力
编程能力：熟悉 Python/C++/CUDA/CUTLASS/Triton 编程，熟悉 PyTorch 框架及其底层实现
熟悉分布式系统开发与调试，熟悉分布式通信开发 NCCL/IB/RDMA，有多进程调度与并行算法优化经验者优先
训练与推理经验：熟悉大模型结构与算法（LLM/VLM/VLA/DiT、MoE 架构、各种 RL 算法等）
熟悉分布式训练/推理的常用策略（DP/TP/PP/EP/CP、recompute 等）
有训练框架（如 Megatron-LM、DeepSpeed、VeRL）或推理框架（如 SGLang、vLLM）开发与优化经验
工作职责
负责大模型训练框架研发，主要包括：基于高性能训练框架（如 Megatron-LM、DeepSpeed、VeRL）或推理框架（如 SGLang、vLLM）进行二次开发与优化
分析并优化训练阶段的性能瓶颈，包括显存占用、通信延迟、计算效率等
结合模型算法逻辑，设计和实现针对性的高效分布式并行训练策略
深入研究 CUDA、通信框架（NCCL、RDMA 等），开发高性能算子及优化分布式通信效率
配合算法需求，开发 RL 训练框架、迭代 RL 训练算法逻辑，并优化 RL 训练效率
优先资格
有多进程调度与并行算法优化经验者优先
AI 洞察
优缺点分析
优点
- 处于AI大模型与自动驾驶核心技术栈的最前沿，技术壁垒极高，个人核心竞争力强
- 能够接触到千亿/万亿参数模型的底层训练优化，积累稀缺的AI Infra经验
- 初速度作为自动驾驶头部企业，业务场景丰富，能实现技术落地
- 技术难度极大，需要同时具备算法理解与底层系统优化的双重能力，学习曲线陡峭
- 适合对底层系统、高性能计算有浓厚兴趣，具备扎实C++/CUDA功底，且渴望在AI大模型基础设施领域深耕的资深技术极客
缺点 / 挑战
- 大模型训练涉及庞大的算力集群，排查分布式通信和显存瓶颈的压力较大，对排错能力要求极高
角色解读
- 可向大模型基础架构专家、AI系统首席科学家方向发展，或转型为AI Infra团队技术负责人
- 在自动驾驶与通用人工智能交汇的领域，积累的系统级优化经验具有极高的行业壁垒和稀缺性
- 负责大模型训练与推理框架（如Megatron-LM、vLLM等）的二次开发与底层性能优化
- 深入分析显存、通信和计算瓶颈，设计高效的分布式并行训练策略
- 开发高性能CUDA算子，优化NCCL/RDMA等分布式通信效率，并参与强化学习训练框架的迭代
- 精通Python/C++/CUDA及PyTorch底层实现，具备扎实的底层系统编程能力
- 深入理解大模型架构（LLM/VLM/MoE等）及分布式训练策略（DP/TP/PP等）
- 熟悉NCCL/IB/RDMA等分布式通信框架及多进程调度
申请策略
- 准备一份详细的技术博客或GitHub开源贡献链接，展示在分布式训练或CUDA优化方面的深度思考
- 了解初速度在自动驾驶端到端大模型方面的最新进展，面试时结合其业务场景探讨训练框架的优化方向
- 突出在Megatron-LM、DeepSpeed或vLLM等主流框架上的二次开发与性能优化成果，最好有具体的加速比或显存节省数据
- 详细列出CUDA算子开发、NCCL/RDMA通信优化的实际项目经验
- 展示对大模型架构（如MoE、RL算法）的理解及其在分布式训练中的应用
- 深入学习Triton或CUTLASS等现代GPU编程工具，提升算子开发效率
- 研究最新的RL训练框架（如VeRL）及强化学习算法逻辑，补齐算法侧的认知
面试指南
- 采用“背景-瓶颈分析-解决方案-量化收益”的STAR法则
- 对于系统优化问题，先阐述理论原理，再结合具体代码或工具（如Nsight Systems）说明排查过程，最后给出优化前后的对比数据
- 在分布式训练中，TP和PP的通信瓶颈如何定位和优化？
- 请描述一个你开发过的最复杂的CUDA算子，以及它是如何提升训练效率的？
- 针对MoE架构，在分布式训练时会遇到哪些特殊的显存和通信挑战，如何解决？
- 如何优化RL训练阶段的效率，有哪些具体的框架或算法层面的改进经验？
- 复习分布式训练的核心论文（如Megatron-LM、DeepSpeed ZeRO），理解其底层通信与显存管理逻辑
- 准备1-2个自己主导的底层性能优化案例，能够深入讲解到汇编或GPU硬件架构层面
职位点评
薪资福利90
成长发展95
工作生活40
使命价值85
薪资福利
90较高
资深大模型底层优化专家属于市场极度稀缺人才，薪资预期处于行业顶尖水平，补偿性动机满足度极高。
薪资信号未披露（AI估算：6千–10万/月）
成长发展
95较高
岗位处于AI大模型与自动驾驶的最前沿，技术栈极具挑战性，能积累极高的技术壁垒和稀缺经验。
技术前沿前沿/新兴技术
技术栈Python、C++、CUDA、CUTLASS、Triton、PyTorch、Megatron-LM、DeepSpeed、VeRL、SGLang、vLLM、NCCL、RDMA
业务类型profit_center
工作生活
40较低
JD未提及工作模式与WLB相关信息，但大模型底层研发通常面临较高的算力调度压力和项目节点要求，工作强度可能较大。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
自动驾驶与通用人工智能是极具社会价值和前景的赛道，推动大模型在物理世界的落地具有强烈的使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs