超威半导体
AI Framework Development Engineer
AI Framework Development Engineer
发布于 6 个月前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
本科
软件工程
Hip/Cuda
分布式系统
性能优化
GPU
LLM
PyTorch
TensorFlow
vLLM
AI 估算 · 40k–70k
AI框架开发工程师，优化LLM性能，核心研发高薪岗。
职位详情
关于这个职位
这是一个专注于AI框架开发与优化的核心工程师岗位
你将作为团队的关键成员，负责为AMD GPU优化和开发深度学习框架，包括TensorFlow、PyTorch等主流工具
主要工作涉及GPU内核调优、LLM模型性能提升，以及跨多GPU/多节点系统的端到端性能工程，旨在推动AI计算效率的持续突破
最低要求
推理框架、模型架构与优化专长：具备vLLM或SGLang的深厚实践经验，精通现代LLM（如DeepSeek, Qwen），对Transformer/Attention/MoE/KV Cache有扎实的理论基础，并实际应用过FlashAttention、PagedAttention、连续批处理和量化（INT8/INT4/GPTQ/AWQ）等高级推理优化技术
端到端LLM性能工程：具备在多GPU和多节点环境中分析、诊断和优化计算、内存及通信瓶颈的能力
高性能计算：拥有在异构集群上运行和优化大规模工作负载的经验，注重效率、可靠性和可扩展性
深度学习框架集成：具备将优化的GPU内核集成到TensorFlow/PyTorch中以加速大规模训练和推理的能力，并实现强大的扩展性和吞吐量
软件工程卓越与社区贡献：具备强大的Python/C++编码技能，有效的调试和测试实践，能够交付可维护的性能关键型软件，并有开源贡献记录和强烈的自我驱动力
工作职责
深度学习与LLM框架优化：为主要DL/LLM框架（TensorFlow, PyTorch, vLLM, SGLang）针对AMD GPU进行优化，并将改进贡献到上游
GPU内核与算子优化：开发和调优GPU内核及性能关键算子，以最大化吞吐量并最小化延迟
模型与架构优化：适配和优化LLM架构（如Llama, Qwen, DeepSeek），并应用FlashAttention、PagedAttention和量化等先进技术
端到端性能工程：进行全面性能分析以识别瓶颈，并在多GPU和多节点设置中实施系统、内存和通信优化
编译器与流水线加速：利用先进的编译器技术和图编译器来增强完整的深度学习和推理流水线
研究与先进技术：将推测解码、仅权重量化等新兴优化方法原型化并集成到生产系统中
跨团队与开源协作：与内部GPU库团队和开源维护者合作，协调改进并确保无缝的上游集成
软件工程卓越性：应用稳健的工程实践，交付可维护、可靠且具备生产质量的性能优化
优先资格
GPU内核开发与优化（加分项）：拥有使用HIP、CUDA、ASM以及CK、CUTLASS、Triton等工具为AMD GPU设计和调优高性能GPU内核的实践经验，并对GCN/RDNA架构有深入了解
编译器与系统级优化（加分项）：具备LLVM、ROCm的基础知识，以及利用编译器驱动技术提升内核和系统性能的经验
低层级开发技能：拥有使用CUDA C++编程编写和调试高性能GPU内核的实践经验
或拥有使用Triton开发和优化深度学习算子的实践经验
编译器知识：理解或拥有TVM、MLIR等编译器技术的实践经验是显著优势
分布式系统经验：拥有大规模模型（如张量并行、流水线并行）分布式推理的实践经验
学历：计算机科学、计算机工程、电气工程或相关领域的学士和/或硕士学位
AI 洞察
优缺点分析
优点
- 平台优势显著，能在AMD这一全球领先的半导体公司，直接参与其AI生态（ROCm）的核心建设，技术视野和行业影响力大
- 技术栈前沿且深入，涉及从GPU内核、编译器到分布式系统的全栈优化，技能积累全面且壁垒高
- 有机会与顶尖的开源社区（如PyTorch, vLLM）及内部专家深度协作，是极佳的学习和网络构建机会
- 技术难度极高，需要同时精通深度学习、高性能计算、GPU架构和编译器知识，对学习能力和工程深度要求苛刻
- 工作涉及复杂的多团队、跨社区协作，对沟通协调和推动技术落地的软技能要求高
- 适合那些对底层系统充满热情、追求极致性能，并希望在AI基础设施领域建立深厚技术壁垒的资深软件工程师或研究员
缺点 / 挑战
- 处于快速迭代的AI竞赛前沿，需要持续跟踪并快速应用最新的模型架构和优化技术，工作节奏和压力较大
角色解读
- 技术路径上，你可以从框架优化专家，成长为编译器、系统架构或新兴AI硬件协同设计领域的领军人物
- 职业发展上，有机会从个人贡献者转向技术负责人或架构师，主导更大型的AI基础设施项目
- 行业层面，深度参与AMD ROCm生态建设，将使你处于AI算力竞赛的核心，积累的GPU底层和分布式系统经验极具长期价值
- 你将专注于为AMD GPU深度优化主流AI框架（如TensorFlow, PyTorch）和新兴推理框架（如vLLM, SGLang），提升其运行效率
- 核心工作包括开发高性能GPU内核、应用FlashAttention等前沿技术优化LLM模型，并解决多GPU/多节点分布式环境下的性能瓶颈
- 你还需要与内部团队及开源社区紧密协作，确保技术改进能够顺利集成并回馈上游项目
- 必须具备扎实的C++/Python编程能力和在Linux环境下的开发经验，这是开展所有技术工作的基础
- 需要深入理解Transformer架构、注意力机制及现代LLM（如Qwen, DeepSeek），并掌握FlashAttention、量化等核心优化技术
- 必须拥有端到端的系统性能分析与调优能力，能够诊断并解决从单卡到大规模集群的计算、内存和通信问题
申请策略
- 仔细阅读AMD的“负责任AI政策”，并在申请或面试中体现出你对AI伦理和技术社会影响的思考，这与公司文化相契合
- 深入了解AMD在AI计算领域的战略布局和产品线（如Instinct系列GPU），将你的技能与公司的业务方向紧密结合进行阐述
- 重点突出你在vLLM、SGLang或类似推理框架上的实际优化经验，以及具体的性能提升数据（如吞吐量、延迟降低百分比）
- 详细描述你参与过的LLM模型（如Qwen, Llama）优化项目，特别是应用了FlashAttention、量化等高级技术的案例
- 展示你在多GPU/多节点环境下诊断和解决系统性性能瓶颈的全流程经验，包括使用的工具（如profiler）和最终效果
- 如果有开源贡献（特别是向TensorFlow/PyTorch等主流框架提交的代码），务必提供链接并说明你的具体工作
- 如果对AMD GPU架构（GCN/RDNA）或HIP编程不熟，建议提前通过官方文档和小型实验项目进行快速学习
- 加强对编译器技术（如TVM, MLIR）的理解，即使不深入编码，也需要明白其基本原理和在AI流水线中的作用
面试指南
- 对于技术问题，采用“情境-任务-行动-结果”的结构来回答，重点用具体数据和细节支撑你的能力
- 在回答系统设计或优化问题时，展现分层思考的能力：从算法/模型层面，到框架/算子层面，再到硬件/系统层面，逐层分析可能性
- 当被问到挑战或失败经历时，诚实说明情况，但重点应放在你从中学到了什么，以及后续如何改进流程或方案
- 请分享一个你为深度学习框架（如PyTorch）优化算子或内核的具体案例，你遇到了什么瓶颈，如何解决的，最终性能提升了多少？
- 在多GPU分布式训练中，如果遇到通信成为瓶颈，你会如何分析和优化？请结合具体的通信原语（如All-Reduce）和技术（如梯度压缩）来谈
- 解释一下FlashAttention的工作原理，它解决了传统Attention计算的什么问题？你在实际项目中是如何应用它的？
- 请描述你使用性能分析工具（如Nsight, rocProf）定位一个复杂性能问题的完整过程
- 你如何将一项优化从实验环境推进到生产系统，并确保其稳定性和可维护性？遇到过哪些挑战？
职位点评
Watch Jobs