超威半导体
AI Framework Engineer
AI Framework Engineer
发布于 3 天前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Gpu优化
Llm
Pytorch
Sglang
Tensorflow
Vllm
性能工程
深度学习框架
值不值得投
79综合评分
综合评分 79
AI基础设施核心技术岗，技术栈前沿、成长空间巨大，但可能对现场办公和WLB有较高要求。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
39K
比人工智能中位数高
发布情况
新岗位 · 3 天前发布
公司情况
这家公司招聘很活跃
约 100 个在招
市场机会
选择面较广
上海 · 人工智能 · 约 150 个在招
职位详情
关于这个职位
该职位是AMD上海团队的深度学习框架工程师，核心职责是优化和开发针对AMD GPU的深度学习与大语言模型框架
你将深度参与从GPU内核、算子到多节点分布式系统的端到端性能工程，与内部团队和开源社区合作，推动前沿AI计算技术的落地与优化
最低要求
推理框架、模型架构与优化专业知识：具备vLLM或SGLang的深度实践经验
精通现代LLM（如DeepSeek, Qwen）
具备扎实的Transformer/Attention/MoE/KV Cache理论基础
亲手实践过FlashAttention, PagedAttention, continuous batching, 量化(INT8/INT4/GPTQ/AWQ)等高级推理优化技术
端到端LLM性能工程：具备在多GPU和多节点环境中对计算、内存和通信瓶颈进行分析、诊断和优化的能力
高性能计算：具备在异构集群上运行和优化大规模工作负载的经验，关注效率、可靠性和可扩展性
深度学习框架集成：有将优化后的GPU内核集成到TensorFlow/PyTorch中以加速大规模训练和推理的成功经验，并具备强大的扩展性和吞吐量优化能力
软件工程卓越性与社区贡献：具备扎实的Python/C++编码能力，有效的调试和测试实践，有交付可维护的、性能关键型软件的能力，并有开源贡献记录，具备强大的自驱力
工作职责
深度学习与LLM框架优化：为AMD GPU优化主要的深度学习/LLM框架（TensorFlow, PyTorch, vLLM, SGLang），并向上游贡献改进
GPU内核与算子优化：开发和调优GPU内核与性能关键型算子，以最大化吞吐量、最小化延迟
模型与架构优化：适配和优化LLM架构（例如Llama, Qwen, DeepSeek），并应用FlashAttention, PagedAttention和量化等先进技术
端到端性能工程：进行全面的性能分析，识别瓶颈，并在多GPU和多节点环境中实施系统、内存和通信优化
编译器与流水线加速：利用先进的编译器技术和图编译器，增强整个深度学习和推理流水线
研究与先进技术：将新兴的优化方法（如投机解码和仅权重量化）进行原型开发并集成到生产系统中
跨团队与开源协作：与内部GPU库团队和开源维护者协作，统一改进方案，确保无缝的上游集成
软件工程卓越性：应用稳健的工程实践，交付可维护、可靠且生产就绪的性能优化方案
优先资格
学术与优先资质：计算机科学、计算机工程、电气工程或相关领域的学士和/或硕士学位
底层开发技能：具备使用CUDA C++进行高性能GPU内核编写和调试的经验
或具备使用Triton开发和优化深度学习算子的实践经验
编译器知识：了解或有使用TVM或MLIR等编译器技术的实践经验
分布式系统经验：具备大规模模型分布式推理（例如Tensor Parallel, Pipeline Parallel）的实践经验
GPU内核开发与优化（加分项）：具备使用HIP, CUDA, ASM等工具，以及CK, CUTLASS, Triton等框架，为AMD GPU设计和调优高性能GPU内核的实践经验，对GCN/RDNA架构有深入了解
编译器与系统级优化（加分项）：了解LLVM, ROCm，以及通过编译器驱动技术改进内核和系统性能的基础知识
AI 洞察
优缺点分析
优点
- 能够直接参与全球顶尖AI芯片（AMD GPU）的软件生态构建，站在AI算力硬件迭代的前沿
- 工作内容深度硬核，涉及框架、内核、编译器、分布式系统全栈，技术成长天花板极高
- 作为国际巨头企业的核心研发岗位，能接触到业界最先进的硬件和软件技术栈，并与全球顶尖工程师协作
- 技术栈非常深且复杂，需要同时掌握软件、硬件、算法多个层面的知识，学习曲线陡峭
- 优化工作需要极强的耐心和细致的分析能力，有时需要面对极其隐蔽的性能问题
- 需要持续跟进AI框架和LLM架构的快速演进，保持技术敏锐度，避免知识落伍
- 适合对AI系统底层原理有强烈好奇心、追求极致性能、享受解决复杂技术难题，并希望推动AI算力基础设施发展的资深工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 技术专家路线：深耕AI编译器、异构计算或系统性能优化领域，成为特定方向的权威
- 技术管理路线：凭借出色的技术影响力和项目领导力，向技术经理或架构师岗位发展
- 行业影响力路线：通过深入的开源贡献和技术分享，建立个人品牌，在AI基础设施工具链领域获得广泛认可
- 你负责优化主流AI框架（如PyTorch）和LLM推理引擎（如vLLM）在AMD GPU上的性能，让大模型跑得更快、更省资源
- 你会深入到GPU内核层面，开发和调优底层算子，榨取硬件的每一分算力
- 你参与端到端的系统级性能优化，解决从单卡计算到多节点通信的全链路瓶颈
- 需要精通C++和Python，对Linux系统和GPU编程（如CUDA/HIP）有深厚功底
- 必须对LLM原理（Transformer, KV Cache, 注意力机制）和现代推理优化技术（FlashAttention, 量化）了如指掌
- 需要具备高性能计算和分布式系统知识，能在多GPU/多节点环境下进行复杂的性能分析和调优
申请策略
- 仔细研究AMD GPU（尤其是MI300系列）的技术文档和ROCm软件栈，理解其与NVIDIA CUDA生态的差异与互补
- 在面试中，准备几个关于LLM推理性能瓶颈分析和解决思路的深度案例，展现你的系统级思维
- 突出与AI框架优化、GPU内核开发相关的项目经验，量化性能提升成果（如吞吐量提升百分比、延迟降低幅度）
- 展示在vLLM/SGLang、CUDA/HIP、TVM/MLIR等关键技术上的熟练度和实际应用案例
- 列举有影响力的开源贡献（GitHub项目、PR合并记录），或发表的技术博客、论文
- 强调在多GPU/多节点环境下的调试和性能分析经验，展示解决复杂分布式系统问题的能力
- 深入阅读和实践FlashAttention、PagedAttention等前沿推理优化技术的论文与代码实现
- 系统学习编译器基础知识，特别是TVM或MLIR框架，并尝试编写简单的深度学习编译器Pass
面试指南
- 对于性能优化类问题，采用“问题定位-分析原因-提出方案-验证结果-总结复盘”的结构进行回答，尽量用数据和图表支撑
- 对于架构和原理类问题，结合具体技术细节进行阐述，并联系实际应用场景，避免空泛的理论描述
- 对于开放式问题，从技术、生态、市场等多角度分析，展现你的系统思维和行业洞察力
- 请描述一次你优化大语言模型推理性能的经历
- 瓶颈是什么？你采取了哪些具体措施？最终效果如何？
- 在多GPU集群上部署LLM服务时，通信瓶颈（如AllReduce）常常是关键
- 请谈谈你的分析思路和优化策略
- 解释一下FlashAttention的工作原理及其相比标准Attention的性能优势
职位点评
薪资福利75
成长发展95
工作生活60
使命价值85
薪资福利
75中等
作为已上市跨国巨头企业的核心技术岗，应能提供有市场竞争力的薪酬福利体系，但JD未明确薪资和具体福利细节。
薪资信号面议 (28K-50K/月)
福利待遇Equal opportunity employer
成长发展
95较高
该职位技术栈处于AI计算的最前沿，要求深度参与框架优化和内核开发，提供极佳的深度学习系统、高性能计算和编译器技术学习机会，成长路径清晰且天花板高。
技术前沿前沿/新兴技术
技术栈vLLM、SGLang、Triton、LLVM、ROCm、CUDA、HIP、FlashAttention、量化
业务类型profit_center
工作生活
60中等
JD未提及任何远程或弹性办公政策，作为硬件相关的研发岗位，大概率需要现场办公。工作内容技术深度大，可能需要投入较多时间进行调试和优化。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
AMD的使命是构建加速下一代计算体验的产品，而该职位直接贡献于AI这一变革性技术的发展，处于行业增长的核心赛道，能够带来较高的技术成就感和社会价值认同。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号accelerate next-generation computing experiences、shape the future of AI
创新程度积极采用新技术
超威半导体 的其他在招职位
相似职位推荐
Watch Jobs