传音
大模型训推框架工程师(AI Infra)(J20609)
大模型训推框架工程师(AI Infra)(J20609)
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Cuda
Deepspeed
Distributed Training
Gpu Computing
Nccl
Pytorch
Vllm
值不值得投
76综合评分
综合评分 76
前沿 AI 基建技术、高薪大厂平台、高技术挑战、WLB 未知
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.0万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 780 个在招 · 其中人工智能 38 个
市场机会
选择面较广
深圳 · 人工智能 · 约 160 个在招
职位详情
关于这个职位
负责大模型训练与推理框架的适配、集成及优化，包括分布式训练系统（PyTorch）的性能调优、显存利用及通信效率提升
需深入分析计算瓶颈，开发权重同步、任务执行等组件，并与算法团队协作验证模型性能，确保系统稳定性与高吞吐低时延
最低要求
计算机、软件工程、人工智能或相关专业本科及以上学历
熟练掌握 Python，熟悉 PyTorch、Linux 及 GPU 计算基本原理，具备良好的系统开发、调试和复杂问题排查能力
了解大模型训练与推理基本流程，熟悉模型服务化、容器化部署及基本性能测试方法，能够完成框架适配或运行系统的集成开发
能够使用 PyTorch Profiler、Nsight 或其他性能分析工具定位计算、显存、通信及调度瓶颈，具有基准测试、对照实验及性能优化实践
在以下至少一个方向具备深入的实际项目经验：
分布式训练方向：熟悉 PyTorch Distributed、NCCL 及常见分布式并行策略，深入实践 FSDP、DeepSpeed、Megatron 等至少一种训练方案，具备训练性能优化、故障排查或系统二次开发经验
推理系统方向：熟悉 vLLM、SGLang、TensorRT-LLM 等至少一种推理引擎的核心机制，具备推理服务开发、源码级问题定位、框架二次开发或性能优化经验
具备良好的工程实践能力，能够独立分析复杂问题、制定技术方案、验证优化收益，并与算法和平台团队协作完成项目交付
工作职责
负责大模型训练与推理框架的适配、集成及优化，完成模型接入、服务接口开发、运行镜像及部署配置，与平台团队协同实现容量测试、版本发布及回滚
负责基于 PyTorch 的分布式训练系统适配与优化，完善多机多卡训练、检查点保存与恢复、模型导出等能力，优化显存利用、数据处理、并行策略及通信效率
分析模型训练及推理过程中的计算、显存、缓存、请求调度和分布式通信瓶颈，开展框架、执行策略或算子优化，持续提高吞吐、降低时延及资源消耗
根据后训练业务需求，参与训练后端与采样推理引擎的集成及优化，开发权重同步、任务执行控制、策略版本管理及异常恢复等组件，提升强化学习训练效率与稳定性
与算法及平台工程师协作，验证模型运行正确性、数值一致性及性能表现，建立可复现的基准测试、性能回归及故障分析机制，持续完善系统稳定性和代码质量
优先资格
具备 C++、CUDA、Triton 或相关高性能计算开发经验，参与过框架底层、GPU Kernel 或分布式通信优化
具备强化学习后训练系统实践经验，理解 Rollout 采样、训练推理协同、权重同步、策略版本管理及恢复机制
熟悉 verl、AReaL、slime 等框架者优先
具备大模型量化、长上下文、MoE、多模态模型或异构算力适配与性能优化经验
在 PyTorch、vLLM、SGLang、DeepSpeed、Megatron 等相关开源项目中有代码贡献，或有可验证的性能优化成果者优先
AI 洞察
优缺点分析
优点
- 处于 AI 基础设施核心领域，技术壁垒高，职业护城河深
- 接触最前沿的大模型训练/推理技术栈
- 在大厂平台积累大规模分布式系统经验
- 技术更新极快，需要持续跟进最新开源框架和硬件特性
- 性能优化工作枯燥且难度极大，需极强的底层调试能力
缺点 / 挑战
- 跨团队协作沟通成本较高
- 对底层系统优化有浓厚兴趣，具备扎实计算机基础，喜欢挑战高性能计算难题的技术极客
角色解读
- 可向 AI 系统架构师、高性能计算专家或 AI 基础设施技术负责人方向发展，成为连接算法与硬件的关键角色
- 专注于大模型训练和推理基础设施的开发与优化，解决分布式训练中的性能瓶颈
- 精通 Python 和 PyTorch 生态，深入理解 GPU 计算原理、分布式通信（NCCL）及主流推理引擎（vLLM/TensorRT-LLM）
申请策略
- 准备详细的项目案例，说明如何定位并解决复杂的性能瓶颈问题
- 关注传音在非洲及全球市场的 AI 布局，体现业务理解力
- 突出展示具体的性能优化数据（如吞吐量提升百分比、延迟降低毫秒数）
- 详细列出参与的分布式训练或推理引擎项目，强调源码级修改和优化经验
- 深入学习 CUDA 编程和 GPU 架构原理
- 掌握至少一个主流推理引擎的源码结构
- 熟悉 Linux 内核网络与存储子系统
面试指南
- 采用 STAR 法则（情境-任务-行动-结果）描述项目，重点突出“问题定位手段”、“技术选型依据”和“量化优化结果”
- 请详细描述你优化过的最复杂的 PyTorch 分布式训练场景及遇到的瓶颈
- 对比 vLLM 和 TensorRT-LLM 的核心架构差异，你如何选择？
- 如何诊断和解决 NCCL 通信中的性能问题？
- 解释一下 FSDP 的工作原理及其内存优化机制
- 复习 PyTorch Distributed 和 NCCL 官方文档
- 回顾常用的性能分析工具（Nsight Systems/Compute）的使用技巧
- 准备 1-2 个深度技术难点攻克的故事
职位点评
薪资福利85
成长发展92
工作生活45
使命价值70
薪资福利
85较高
作为已上市的跨国巨头企业，提供稳定的高薪回报和完善的福利体系，符合市场对高端技术人才的补偿预期。
薪资信号偏高 (3.0千–5.0万/月)
成长发展
92较高
岗位涉及大模型训推框架这一前沿技术领域，技术栈极具挑战性，能带来显著的技能成长和专业影响力。
技术前沿前沿/新兴技术
技术栈PyTorch、vLLM、DeepSpeed、CUDA、Distributed Training、Inference Engine
业务类型profit_center
工作生活
45较低
高强度技术研发岗位，通常伴随较大的工作压力和加班风险，JD 未提及弹性工作或 WLB 保障，生活平衡度一般。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
通过优化 AI 基础设施，间接支持公司全球化智能产品的发展，具有一定的行业技术推动意义，但社会直接影响力较中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
传音 的其他在招职位
相似职位推荐
Watch Jobs