超威半导体
GPU Kernel Performance Engineer
GPU Kernel Performance Engineer
发布于 5 个月前普通员工/个人贡献者
北京市
中级经验
全职员工
仅现场办公
本科
软件工程
Hip/Cuda
分布式训练
大语言模型
强化学习
性能优化
AI基础设施
DeepSpeed
GPU
Megatron-LM
AI 估算 · 35k–60k
该职位要求高性能计算和AI基础设施的深度技能，技术门槛高，市场需求旺盛。在北京的AI芯片巨头企业工作，薪资具备很强竞争力。
职位详情
关于这个职位
该职位是AMD训练优化工程师，专注于为AMD GPU构建和优化大规模AI训练基础设施
你将负责提升分布式训练系统的性能、稳定性和可扩展性，涉及预训练、后训练、强化学习等多种框架
核心工作包括优化并行策略、减少训练延迟、最大化GPU利用率，并与内部团队协作解决系统级瓶颈
最低要求
扎实的工程背景，熟悉端到端的深度学习训练工作流
具备训练框架内部原理的实践经验（例如：Megatron-LM, TorchTitan, DeepSpeed, Verl, Slime, TransformerEngine）
强大的调试和性能分析技能（性能剖析、追踪等）
理解分布式训练技术，如数据并行、张量并行、流水线并行、ZeRO优化
优秀的沟通和跨职能协作能力
计算机科学、计算机工程、电气工程或相关专业的学士或硕士学位
工作职责
参与开发和维护AMD的内部训练框架，涵盖预训练、后训练和强化学习（RL）流程
优化分布式训练流程和并行策略（数据并行、张量并行、流水线并行、ZeRO等）
改进通信调度和内核重叠，以减少训练延迟并最大化GPU利用率
使用HIP/CUDA和底层性能剖析工具调整核心算子的性能
集成和适配开源训练框架，如Megatron-LM, TorchTitan, DeepSpeed等
支持内部模型训练工作负载，进行性能、可靠性和可扩展性改进
跨团队协作，调查和解决大规模训练中的系统级瓶颈
优先资格
具备大规模模型训练经验（例如：LLMs, MoE, Diffusion, Wan, WorldModel）
有CUDA或HIP内核开发实践经验
熟悉NCCL/RCCL等通信库以及内核重叠等技术
曾参与高性能机器学习基础设施项目，特别是在预训练和强化学习（RL）框架开发方面
AI 洞察
优缺点分析
优点
- 平台优势：在AMD这样的头部芯片公司，能接触到最前沿的GPU硬件和超大规模AI训练场景，技术视野开阔
- 技能含金量：专注于AI基础设施和底层性能优化，技能组合在业界非常稀缺且价值高
- 行业前景：直接参与生成式AI浪潮的基础设施建设，职业赛道处于高速发展期
- 技术难度大：需要同时精通深度学习、分布式系统和底层GPU编程，学习曲线陡峭
- 快速迭代：AI技术和硬件更新迅速，需要持续学习以跟上最新的框架和优化技术
- 适合对AI系统底层有强烈兴趣，具备扎实工程和调试能力，并希望在硬核技术领域深度发展的工程师
缺点 / 挑战
- 工作压力：优化大规模训练系统涉及复杂的调试和性能攻关，对问题解决能力和抗压能力要求高
角色解读
- 技术纵深发展：可成为GPU计算、AI系统架构或特定训练框架（如强化学习框架）领域的专家
- 横向扩展：积累的底层优化和系统经验，可向AI芯片架构、云计算基础设施或更广泛的MLOps平台方向发展
- 核心工作是优化AI模型在AMD GPU上的大规模分布式训练过程，提升效率和稳定性
- 具体任务包括调整数据、张量、流水线等并行策略，并利用HIP/CUDA进行底层内核性能调优
- 需要集成和维护如Megatron-LM、DeepSpeed等开源训练框架，并解决实际训练中的系统瓶颈
- 必须精通分布式训练原理（如ZeRO）和主流框架（Megatron-LM, DeepSpeed）的内部机制
- 需要具备扎实的GPU编程能力，熟悉HIP或CUDA，并能使用性能剖析工具进行深度优化
- 要求有强大的系统级调试和问题解决能力，能够分析并消除大规模训练中的性能瓶颈
申请策略
- 深入了解AMD在AI计算领域的战略和产品线（如MI系列GPU），在申请和面试中展现你对公司业务的关注
- 准备讨论你对不同并行策略（数据/张量/流水线）适用场景的理解，以及在实际中如何权衡选择
- 重点突出与分布式AI训练直接相关的项目经验，详细说明你优化的框架、解决的瓶颈和取得的性能提升（量化指标）
- 清晰展示你的GPU编程（CUDA/HIP）经验和性能剖析（如Nsight）技能，列举具体的优化案例
- 强调你对Megatron-LM、DeepSpeed等框架的理解和使用经验，而不仅仅是调用API
- 如果缺乏经验，可以深入学习Megatron-LM或DeepSpeed的源码，并尝试在小规模集群上复现和优化一个训练流程
- 加强系统性能分析能力，熟练使用Nsight Systems/Compute等工具分析训练任务中的通信和计算瓶颈
面试指南
- 对于技术问题，采用“场景-问题-分析-行动-结果-反思”的结构来回答，确保逻辑清晰且有数据支撑
- 在回答策略选择类问题时，先阐述不同选项的原理和权衡，再结合给定的约束条件（如模型大小、GPU数量、带宽）给出具体建议
- 请描述你优化过一个分布式训练任务的完整过程，遇到了什么瓶颈，你是如何分析和解决的？
- 在数据并行、张量并行和流水线并行中，你会如何根据模型结构和集群配置来选择混合策略？
- 你如何使用性能剖析工具（如Nsight）来定位训练过程中的性能热点？请举例说明
- 谈谈你对ZeRO优化各个阶段（ZeRO-1,2,3）的理解，它们分别优化了什么，代价是什么？
- 如果训练过程中出现了通信死锁或性能突然下降，你的排查思路是什么？
- 深入复习分布式训练的核心概念、通信原语（All-Reduce等）和主流优化框架（DeepSpeed ZeRO, FSDP）的原理
职位点评
Watch Jobs