超威半导体
LLM Kernel & Inference Systems Engineer
LLM Kernel & Inference Systems Engineer
发布于 5 个月前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
硕士
软件工程
Gpu内核优化
分布式系统
编译器技术
高性能计算
LLM推理
PyTorch
SGLang
vLLM
AI 估算 · 45k–80k
该职位要求顶尖的LLM和GPU系统优化技能，属于AI基础设施核心领域，技术壁垒高，市场人才稀缺，薪资竞争力强。
职位详情
关于这个职位
这是一个专注于大型语言模型（LLM）推理系统与GPU内核优化的高级技术岗位
您将作为技术骨干，负责优化LLM在AMD GPU上的推理性能，包括开发高性能GPU内核、优化分布式推理策略，并与开源社区合作，将性能改进贡献到上游项目
您的工作将直接影响前沿LLM在AMD平台上的吞吐量、延迟和成本效率
最低要求
硕士或博士学位，计算机科学、计算机工程、电气工程或相关领域
工作职责
优化LLM推理框架：推动LLM推理框架（如vLLM、SGLang和PyTorch）在AMD GPU上的性能改进，同时进行内部和上游贡献
LLM感知内核开发：设计和优化对LLM推理至关重要的GPU内核，包括注意力、GEMM、KV缓存操作、MoE组件和内存绑定内核
大规模分布式LLM推理：设计、实现和调优多GPU和多节点推理策略，包括TP/PP/EP混合、连续批处理、KV缓存管理和解耦服务
模型-系统协同设计：与模型和框架团队合作，使LLM架构与硬件感知优化保持一致，提高实际推理效率
编译器与运行时优化：利用编译器技术（LLVM、ROCm、Triton、图编译器）改进内核融合、内存访问模式和端到端推理流水线
端到端推理流水线优化：优化整个推理栈——从模型执行图和运行时到调度、批处理和部署
开源领导力：与开源维护者合作，将优化贡献到上游，影响路线图方向，并确保贡献的长期可持续性
工程卓越性：应用软件工程最佳实践，包括性能基准测试、测试、调试和大规模可维护性
优先资格
深厚的LLM知识：深入理解大型语言模型推理，包括注意力机制、KV缓存行为、批处理策略以及延迟/吞吐量权衡
LLM推理框架：具有vLLM、SGLang或类似推理系统（如FasterTransformer）的实践经验，并具备性能调优能力
GPU内核开发：拥有为深度学习工作负载（特别是推理关键路径）优化GPU内核的成熟经验
分布式推理系统：具有设计和调优跨多GPU和多节点的大规模推理系统的经验
开源贡献：在ML、LLM或系统级开源项目中有意义的上游贡献记录
编程与调试技能：精通Python和C++，在性能分析、剖析和调试复杂系统方面有深厚经验
高性能计算：具有在异构GPU集群上运行和优化大规模工作负载的经验
编译器与系统背景：扎实的编译器概念和工具（LLVM、ROCm、Triton）基础，并将其应用于ML内核和运行时优化
AI 洞察
优缺点分析
优点
- 技术前沿：直接参与最热门的LLM和AI基础设施领域，技术栈顶尖，能积累极具市场竞争力的硬核技能
- 平台优势：在AMD这样的跨国巨头工作，可以接触到海量计算资源和真实的大规模业务场景，项目影响力大
- 开源协作：深度参与主流开源项目（如vLLM），不仅能提升个人技术声誉，还能与全球顶尖开发者交流学习
- 职业价值：工作成果直接关系到AI服务的成本和效率，在AI浪潮中扮演关键基础设施角色，职业前景广阔
- 竞争激烈：该领域吸引全球顶尖人才，内部晋升和外部市场竞争都异常激烈，需要保持持续的技术输出和创新能力
缺点 / 挑战
- 技术难度极高：需要同时精通LLM理论、GPU硬件、分布式系统和编译器，学习曲线陡峭，持续学习压力大
- 工作强度可能较大：优化性能、解决复杂系统问题通常需要深入调试和反复实验，可能面临较高的工作强度
- 适合对底层系统有强烈好奇心、热爱解决极端性能挑战、并希望在AI基础设施核心层建立深厚技术壁垒的资深软件工程师或系统工程师
角色解读
- 技术路径：可向LLM系统架构师、编译器专家或高性能计算（HPC）领域专家发展，成为公司或行业内的关键技术决策者
- 管理路径：凭借深厚的技术背景和项目领导经验，可转向技术管理岗位，如研发团队负责人或技术总监
- 行业影响：通过持续的开源贡献和行业交流，有机会成为AI基础设施领域有影响力的技术布道者或标准制定参与者
- 核心工作是优化LLM在AMD GPU上的推理性能，包括开发高性能的GPU内核（如注意力、KV缓存操作）和优化推理框架（如vLLM、SGLang）
- 负责设计和调优跨多GPU和多节点的大规模分布式推理策略，解决吞吐量、延迟和可扩展性问题
- 在编译器技术（如LLVM、ROCm）与模型架构的交叉领域工作，进行模型-系统协同设计，提升端到端推理效率
- 积极参与开源社区，将性能优化贡献到上游项目，并影响相关技术路线图
- 需要深厚的LLM推理领域知识，包括对注意力机制、KV缓存、批处理策略和性能权衡的深刻理解
- 必须具备扎实的GPU内核开发和优化能力，精通C++和Python，并熟悉性能分析工具
- 要求有大规模分布式系统设计和调优经验，能够处理多节点、多GPU环境下的复杂问题
- 需要熟悉编译器概念和工具（如LLVM、Triton），并能将其应用于深度学习工作负载的优化
申请策略
- 面试前深入研究AMD在AI计算领域的战略和产品线（如Instinct系列GPU），展示对其技术生态的了解和兴趣
- 准备1-2个能体现您从问题分析、方案设计到性能验证全过程的复杂系统优化案例，用于深度讨论
- 重点突出在LLM推理性能优化方面的具体项目经验，量化性能提升指标（如吞吐量提升X%，延迟降低Y%）
- 详细描述GPU内核开发与调优经历，特别是使用CUDA/ROCm、Triton等工具优化深度学习算子的经验
- 展示参与大规模分布式训练或推理系统的设计、实现和问题排查能力，包括多节点通信和资源调度
- 列出有影响力的开源贡献，特别是向vLLM、PyTorch、LLVM等相关项目提交的代码或优化
- 如果对AMD ROCm生态不熟，可提前学习其工具链，并与熟悉的CUDA生态进行对比理解
- 深入研读vLLM、SGLang等流行推理框架的源码和论文，理解其核心架构和性能瓶颈
面试指南
- 对于技术问题，建议采用“背景-挑战-行动-结果”（STAR）原则来组织答案，确保逻辑清晰、细节扎实
- 在回答优化类问题时，不仅要说明做了什么，更要解释背后的权衡（如内存 vs 计算、延迟 vs 吞吐量）和决策依据
- 对于系统设计问题，可以先定义清晰的目标和约束条件，然后分层（计算、通信、存储）讨论设计方案，最后提及可能的扩展性和故障处理
- 请描述一次您优化LLM推理性能的经历，遇到了什么瓶颈，最终如何解决并量化提升效果的？
- 在分布式多GPU推理中，KV缓存的管理和同步有哪些挑战？您会如何设计解决方案？
- 请比较vLLM和FasterTransformer在设计和性能上的异同
- 如果您要改进vLLM，会从何处入手？
- 如何为一个新的注意力变体（如FlashAttention）设计和实现高效的GPU内核？需要考虑哪些硬件特性？
职位点评
Watch Jobs