超威半导体
Software Development Engineer
Software Development Engineer
发布于 6 个月前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
硕士
软件工程
Gpu Kernel
性能优化
Hip/Cuda
LLM
PyTorch
TensorFlow
vLLM
AI 估算 · 35k–65k
深度学习框架优化专家，需适配主流大模型，属于核心研发领域，薪资极具吸引力。
职位详情
关于这个职位
这是一个专注于为AMD GPU优化深度学习框架和大型语言模型（LLM）的软件工程师职位
你将负责开发和调优GPU内核、优化模型架构（如Llama, Qwen），并进行端到端的性能分析，以提升多GPU和多节点系统的训练与推理效率
核心工作涉及与内部团队及开源社区合作，将优化方案集成到主流框架（如TensorFlow, PyTorch, vLLM）中
最低要求
推理框架、模型架构与优化专长：在vLLM或SGLang方面有深厚的实践经验，精通现代LLM（如DeepSeek, Qwen），对Transformer/Attention/MoE/KV Cache有扎实的理论基础，并实际应用过FlashAttention、PagedAttention、连续批处理和量化（INT8/INT4/GPTQ/AWQ）等高级推理优化技术
端到端LLM性能工程：具备在多GPU和多节点环境中分析、诊断和优化计算、内存及通信瓶颈的能力
高性能计算：有在异构集群上运行和优化大规模工作负载的经验，注重效率、可靠性和可扩展性
深度学习框架集成：能够将优化的GPU内核集成到TensorFlow/PyTorch中，以加速大规模训练和推理，并实现强大的扩展性和吞吐量
软件工程卓越与社区贡献：具备强大的Python/C++编码技能，有效的调试和测试实践，有交付可维护的性能关键型软件的经验，并有开源贡献记录和强烈的自我驱动力
工作职责
深度学习与LLM框架优化：为主要DL/LLM框架（TensorFlow, PyTorch, vLLM, SGLang）针对AMD GPU进行优化，并将改进贡献到上游
GPU内核与算子优化：开发和调优GPU内核及性能关键算子，以最大化吞吐量并最小化延迟
模型与架构优化：适配和优化LLM架构（如Llama, Qwen, DeepSeek），并应用FlashAttention、PagedAttention和量化等先进技术
端到端性能工程：进行全面性能分析以识别瓶颈，并在多GPU和多节点设置中实施系统、内存和通信优化
编译器与流水线加速：利用先进的编译器技术和图编译器来增强完整的深度学习和推理流水线
研究与先进技术：将推测解码和仅权重量化等新兴优化方法原型化并集成到生产系统中
跨团队与开源协作：与内部GPU库团队和开源维护者合作，协调改进并确保无缝的上游集成
软件工程卓越性：应用稳健的工程实践，交付可维护、可靠且达到生产质量的性能优化
优先资格
GPU内核开发与优化（加分项）：有使用HIP、CUDA、ASM以及CK、CUTLASS、Triton等工具为AMD GPU设计和调优高性能GPU内核的实践经验，并对GCN/RDNA架构有深入了解
编译器与系统级优化（加分项）：对LLVM、ROCm以及用于提升内核和系统性能的编译器驱动技术有扎实的基础知识
学术与优选资质：计算机科学、计算机工程、电气工程或相关领域的硕士或博士学位
底层开发技能：有使用CUDA C++编写和调试高性能GPU内核的经验
或有使用Triton开发和优化深度学习算子的实践经验
编译器知识：了解或有使用TVM或MLIR等编译器技术的实践经验是一个显著优势
分布式系统经验：有大规模模型分布式推理（如张量并行、流水线并行）的实践经验
AI 洞察
优缺点分析
优点
- 技术前沿性强：直接参与AI算力最核心的框架与硬件协同优化，技术栈（LLM, GPU, 编译器）处于行业尖端，积累的经验极具价值
- 平台与视野优越：在AMD这样的头部芯片公司工作，能深入理解硬件生态，并与顶尖的AI团队和开源社区合作，职业网络和技术视野广阔
- 成果影响力大：优化工作直接影响AMD GPU在AI市场的竞争力，成果能应用于实际的AI产品和服务，工作成就感强
- 技术门槛极高：需要同时精通AI算法、系统软件、硬件架构和性能工程，对学习能力和技术深度要求非常苛刻
- 适合对AI底层技术和性能优化有强烈热情，具备扎实的系统编程和算法基础，追求技术深度并渴望在核心硬件平台推动AI进步的资深软件工程师或研究员
缺点 / 挑战
- 工作复杂且压力大：涉及底层内核调试、复杂的分布式系统问题排查，以及紧跟快速迭代的AI技术和开源项目，工作强度和脑力消耗大
- 竞争激烈：面向的是全球顶尖的软硬件人才，求职和在职期间都面临激烈的技术竞争和较高的绩效期望
角色解读
- 技术深度上，可以从AI框架优化专家，成长为编译器与系统级性能架构师，主导更底层的技术革新
- 行业影响力上，通过持续的开源贡献和社区协作，有机会成为特定AI框架或硬件生态的关键技术领导者或布道者
- 职业广度上，积累的AI、高性能计算和硬件知识，为转向AI芯片架构、大规模AI系统设计或技术管理岗位提供了坚实基础
- 核心工作是优化深度学习框架（如TensorFlow, PyTorch）和大型语言模型（LLM）在AMD GPU上的性能，涉及GPU内核开发、模型架构调优和端到端性能分析
- 需要将优化方案集成到开源框架中，并与内部团队及开源社区协作，确保技术改进能够顺利落地和推广
- 利用先进的编译器技术（如LLVM, ROCm）和优化方法（如FlashAttention, 量化）来提升整个AI训练和推理流水线的效率
- 深厚的软件工程能力：精通C++和Python，具备在Linux环境下开发高性能、可维护代码的经验，并熟悉软件工程最佳实践
- 专业的AI与系统优化知识：深入理解Transformer架构、LLM推理优化技术（如vLLM, 注意力机制优化）以及多GPU/多节点分布式系统的性能瓶颈分析与调优
- 硬件与底层开发技能：熟悉AMD GPU架构（GCN/RDNA），具备使用HIP、CUDA或Triton等工具进行GPU内核开发和性能调优的实践经验
申请策略
- 深入研究AMD的AI战略和产品线：了解Instinct系列GPU、ROCm软件栈的最新进展，以及在AI竞赛中的定位，在面试中展现出你对公司和业务的深刻理解
- 准备详实的项目复盘：针对简历中的每个关键项目，准备好从问题定义、技术选型、难点突破到结果评估的完整故事，并能清晰阐述你的技术决策和贡献
- 突出具体的性能优化项目：详细描述你如何优化某个AI模型或框架（如使用vLLM/PyTorch）的性能，包括使用的技术（如量化、内核优化）、面临的瓶颈、解决方案和可量化的性能提升结果（如吞吐量提升X%，延迟降低Y%）
- 展示底层开发与调试能力：重点列出使用CUDA/HIP/Triton进行GPU内核开发或调优的经验，以及使用性能分析工具（如nsight, rocprof）定位系统瓶颈的案例
- 证明开源贡献与协作能力：提供你在主流AI框架（TensorFlow/PyTorch）或相关工具链中提交代码、修复问题或参与讨论的具体链接和说明，体现工程规范和社区影响力
- 深化AMD GPU技术栈：如果缺乏相关经验，可以提前学习ROCm平台、HIP编程模型，并通过AMD开发者资源或开源项目进行实践
- 掌握前沿的LLM推理优化：深入理解并动手实践vLLM、SGLang的核心机制，以及FlashAttention-v2、PagedAttention等最新优化技术的原理与实现
- 加强编译器知识：学习LLVM中间表示（IR）的基础和MLIR的概念，了解它们如何用于AI计算图的优化和代码生成
面试指南
- STAR框架结合技术细节：使用情境（S）、任务（T）、行动（A）、结果（R）来组织回答，但在“行动”部分务必深入技术细节，解释清楚算法选择、工具使用和调试过程
- 从原理到实践：对于概念性或原理性问题（如PagedAttention），先清晰阐述其核心思想和工作机制，然后立即关联到你的实际应用经验或理解它带来的性能收益
- 体现系统化思维：回答系统性能问题时，展示你分层（应用层、框架层、运行时层、硬件层）分析和定位问题的能力，而不仅仅是给出一个孤立的解决方案
- 请描述一次你深度优化一个LLM模型推理性能的经历，你遇到了什么瓶颈，采用了哪些具体技术（如注意力优化、量化）来解决，最终效果如何？
- 在多GPU或多节点环境中运行大规模模型时，常见的性能瓶颈有哪些（计算、内存、通信）？请结合你的经验谈谈诊断和优化这些瓶颈的一般方法
- 如何将一个自定义的高性能GPU内核集成到PyTorch中？请说明从内核实现、封装到测试的完整流程和注意事项
- 你如何理解vLLM中PagedAttention的工作原理？它解决了传统注意力机制的什么痛点？
- 请谈谈你对AMD GPU架构（如CDNA/RDNA）特点的理解，这些特点如何影响你为AI工作负载编写优化代码的策略？
职位点评
Watch Jobs