超威半导体
AI Framework Engineer
AI Framework Engineer
发布于 6 个月前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
本科
软件工程
Hip/Cuda
分布式系统
性能优化
GPU
LLM
PyTorch
TensorFlow
vLLM
AI 估算 · 40k–70k
岗位聚焦前沿AI框架与GPU底层优化，技术壁垒高，市场需求旺盛。在头部科技公司从事核心AI研发，薪资竞争力强，具备长期成长空间。
职位详情
关于这个职位
作为AI框架工程师，您将专注于为AMD GPU优化和开发深度学习框架
核心工作包括优化主流AI框架（如TensorFlow、PyTorch）、开发高性能GPU内核，以及在大规模多GPU/多节点系统中进行端到端的性能调优
这是一个深度参与前沿AI技术栈，并与开源社区紧密协作的技术核心岗位
最低要求
推理框架、模型架构与优化专长：具备vLLM或SGLang的深度实践经验，精通现代大语言模型（如DeepSeek, Qwen），对Transformer/Attention/MoE/KV Cache有扎实的理论基础，并实际应用过FlashAttention、PagedAttention、连续批处理和量化（INT8/INT4/GPTQ/AWQ）等高级推理优化技术
端到端LLM性能工程：具备在多GPU和多节点环境中分析、诊断和优化计算、内存及通信瓶颈的能力
高性能计算：拥有在异构集群上运行和优化大规模工作负载的经验，关注效率、可靠性和可扩展性
深度学习框架集成：具备将优化的GPU内核集成到TensorFlow/PyTorch中以加速大规模训练和推理的能力，并实现强大的扩展性和吞吐量
软件工程卓越性与社区贡献：具备强大的Python/C++编码技能，有效的调试和测试实践，能够交付可维护的性能关键型软件，并有开源贡献记录和强烈的自驱力
工作职责
深度学习与LLM框架优化：为主要DL/LLM框架（TensorFlow, PyTorch, vLLM, SGLang）在AMD GPU上进行优化，并将改进贡献到上游
GPU内核与算子优化：开发和调优GPU内核及性能关键算子，以最大化吞吐量并最小化延迟
模型与架构优化：适配和优化LLM架构（例如，Llama, Qwen, DeepSeek），并应用FlashAttention、PagedAttention和量化等先进技术
端到端性能工程：进行全面性能分析以识别瓶颈，并在多GPU和多节点设置中实施系统、内存和通信优化
编译器与流水线加速：利用先进的编译器技术和图编译器来增强完整的深度学习和推理流水线
研究与先进技术：将推测解码和仅权重量化等新兴优化方法原型化并集成到生产系统中
跨团队与开源协作：与内部GPU库团队和开源维护者协作，协调改进并确保无缝的上游集成
软件工程卓越性：应用稳健的工程实践，交付可维护、可靠且具备生产质量的性能优化
优先资格
GPU内核开发与优化（加分项）：拥有使用HIP、CUDA、ASM以及CK、CUTLASS、Triton等工具为AMD GPU设计和调优高性能GPU内核的实践经验，并对GCN/RDNA架构有深入了解
编译器与系统级优化（加分项）：具备LLVM、ROCm的基础知识，以及利用编译器驱动技术提升内核和系统性能的经验
学术与优选资质：计算机科学、计算机工程、电气工程或相关领域的学士和/或硕士学位
底层开发技能：具备使用CUDA C++编写和调试高性能GPU内核的经验
或具备使用Triton开发和优化深度学习算子的实践经验
编译器知识：理解或具备TVM、MLIR等编译器技术的实践经验是显著优势
分布式系统经验：具备大规模模型分布式推理的实践经验（例如，张量并行、流水线并行）
AI 洞察
优缺点分析
优点
- 技术前沿：直接参与最热门的AI框架和LLM优化，技术栈顶尖，能积累极具市场竞争力的硬核技能
- 平台优势：在全球领先的半导体公司工作，能接触到最先进的GPU硬件和庞大的工程资源，视野开阔
- 社区连接：与开源社区和内部专家深度协作，有利于构建强大的行业人脉和技术影响力
- 技术难度高：需要同时深入理解AI算法、GPU硬件架构、分布式系统和编译器，学习曲线陡峭
- 工作强度大：性能优化和问题排查通常涉及复杂的系统调试，需要极强的耐心和解决问题的能力
- 适合对AI系统底层有强烈好奇心，具备扎实的计算机系统和编程功底，并希望在硬核技术领域深耕的工程师
缺点 / 挑战
- 职业含金量：解决的是AI落地中的核心性能瓶颈问题，工作成果直接影响产品竞争力，价值感强
- 竞争激烈：该领域聚集了顶尖人才，需要持续学习以保持技术领先性，面临一定的竞争压力
角色解读
- 技术纵深发展：可成为AI系统、编译器或GPU计算领域的专家，主导更底层的技术革新
- 横向扩展：积累的优化经验可向更广泛的AI基础设施、大规模分布式系统或芯片协同设计方向拓展
- 行业影响力：通过深度参与开源项目，建立个人技术品牌，成为特定技术领域的意见领袖
- 核心工作是优化AI框架（如PyTorch, vLLM）在AMD GPU上的性能，涉及开发高性能GPU内核和算子
- 负责对大语言模型（如Llama, Qwen）进行架构适配和性能调优，应用FlashAttention、量化等前沿技术
- 在多GPU/多节点的分布式环境中进行端到端的系统性能剖析与优化，解决计算、内存和通信瓶颈
- 与内部团队及开源社区协作，将优化成果集成到主流框架中，并探索推测解码等新技术
- 深厚的C++/Python编程能力，以及在高性能计算和Linux环境下的软件开发经验
- 精通现代LLM原理（Transformer, MoE）及vLLM/SGLang等推理框架，掌握FlashAttention、量化等优化技术
- 具备在多GPU集群上进行性能分析和调优的能力，熟悉分布式训练/推理的并行策略
- 加分项：熟悉AMD GPU架构（GCN/RDNA）、HIP/CUDA编程，以及LLVM/MLIR等编译器技术
申请策略
- 深入研究AMD在AI计算领域的战略和产品线（如MI系列GPU），在面试中展现对公司和业务的了解
- 准备1-2个能体现你系统性解决复杂性能问题的项目故事，按照STAR法则清晰阐述
- 重点展示与AI框架（TensorFlow/PyTorch/vLLM）性能优化相关的项目经验，量化性能提升指标（如吞吐量提升X%，延迟降低Y%）
- 详细描述在多GPU或多节点环境下进行性能剖析、瓶颈诊断和优化的具体案例，说明所用的工具和方法
- 突出C++/Python的编程能力，以及在高性能计算、Linux系统编程方面的实践经验
- 如有开源贡献（特别是AI相关项目），务必列出并说明个人贡献的具体内容和影响
- 若对AMD GPU生态不熟，可提前学习ROCm平台、HIP编程模型，并了解GCN/RDNA架构特点
- 加强对现代LLM（如Llama 3, Qwen 2）架构细节和最新优化技术（如FlashAttention-2, 动态量化）的理解
面试指南
- 对于技术问题，建议采用“原理阐述 -> 问题定位 -> 方案设计与实施 -> 结果验证”的结构来回答，展现系统性思维
- 结合具体数据和指标来支撑你的回答，例如“通过优化X，在Y硬件上将延迟从A降低到B”
- 在回答中适当展示你对技术选型的思考，比如为什么在特定场景下选择方案A而非方案B
- 请描述一次你深度优化某个深度学习模型或算子性能的经历，你遇到了什么瓶颈，是如何分析和解决的？
- 在多GPU训练中，如果遇到扩展性不佳（Scaling Efficiency低）的问题，你会从哪些方面进行排查和优化？
- 解释一下FlashAttention或PagedAttention的工作原理，以及它们分别解决了什么问题？
- 你是否有过将自定义的GPU内核集成到PyTorch或TensorFlow中的经验？请简述流程和注意事项
- 如何为一个新的大语言模型（如最新开源的模型）设计并实施量化方案？需要考虑哪些因素？
职位点评
Watch Jobs