AMD logo
超威半导体
AI Framework and Performance Experts(vLLM, SGLang)

AI Framework and Performance Experts(vLLM, SGLang)

发布于 4 小时前

普通员工/个人贡献者

AI 估算 · 6.0–12.0万 · AI 参考估算
高级经验
硕士
全职员工仅现场办公AI算法
AI算法
Cuda
Gpu Optimization
Llm Inference
Pytorch
Rocm
Sglang
Vllm

值不值得投

82综合评分

综合评分 82

顶尖AI底层技术岗,高成长性与挑战性并存,适合硬核技术专家

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

9.0万

比AI算法中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 100 个在招 · 其中AI算法 6 个

市场机会

选择面较广

上海 · AI算法 · 约 110 个在招

职位详情

关于这个职位

作为LLM推理框架团队的高级成员,负责构建和优化基于AMD GPU的大语言模型单节点及分布式推理运行时

工作涵盖张量/流水线并行、KV缓存管理及性能调优,并将功能开源至vLLM/SGLang等主流框架,以确立AMD在LLM服务领域的领先地位

最低要求

系统思维的ML工程师,关注吞吐量、延迟和内存调度

能够阅读和修改大规模推理框架代码
具备跨GPU和节点的调试能力
能与内核、编译器团队协作
计算机科学、计算机工程或电气工程硕士或博士学位

工作职责

架构和优化基于内部引擎或开源堆栈(如vLLM, SGLang)的分布式LLM推理运行时

设计和改进TP/PP/EP (MoE)混合执行,包括KV缓存管理、注意力分发和Token调度
使用RCCL、RDMA实现多节点推理管道优化
驱动单GPU和多GPU集群的吞吐量、延迟和内存效率提升
优化连续批处理、推测解码、KV缓存分页等技术
与AMD GPU库(AITER, HIPBLAS-LT, RCCL, ROCm)协作,确保高效利用FP8/FP4 GEMM和FlashAttention
与编译器团队(Triton, LLVM, ROCm)协作消除性能瓶颈
将功能和性能修复上游提交至vLLM, SGLang等开源项目
支持客户PoC和生产部署,建立基准测试级推理管道

优先资格

熟悉 vLLM, SGLang 等推理栈

有分布式推理扩展及上游开源贡献经验
精通 PyTorch/TensorFlow 与 GPU 性能集成
熟悉 NVIDIA/AMD GPU 架构及内核开发
掌握 Python/C++ 及性能调优
了解 LLVM, ROCm 等编译器和运行时系统

AI 洞察

优缺点分析

优点

  • 处于AI基础设施最前沿,直接参与vLLM等顶级开源项目
  • 拥有AMD独家硬件资源进行深度优化
  • 技术壁垒极高,行业稀缺性大
  • 需要同时兼顾软件框架与底层硬件知识,学习曲线陡峭
  • 需解决复杂的分布式并发与内存管理问题
  • 对性能指标要求极其严苛
  • 热衷于底层系统优化、具备深厚C++功底且对AI前沿技术有强烈热情的资深工程师

缺点 / 挑战

暂无明显挑战项

角色解读

  • 可向首席AI系统架构师、AI基础设施技术负责人发展,或在开源社区成为核心Maintainer
  • 专注于大语言模型(LLM)在AMD GPU上的推理加速,解决分布式训练后的推理性能瓶颈
  • 深入理解Transformer架构及KV Cache机制
  • 精通Python/C++高性能编程
  • 熟悉ROCm/AI软件栈及GPU内核优化

申请策略

  • 强调开源社区贡献经历
  • 准备关于“如何在一个新硬件平台上从零搭建高性能推理服务”的技术方案
  • 突出在LLM推理框架(如vLLM, TGI)中的具体贡献
  • 展示通过代码优化带来的显著性能提升数据(如吞吐量提升%)
  • 复习分布式通信原语(NCCL/RCCL)
  • 深入研究MoE架构下的负载均衡策略
  • 熟悉AMD ROCm生态工具链

面试指南

  • STAR法则:描述遇到的性能瓶颈 -> 分析根因(计算/内存/通信) -> 提出优化方案(算法/数据结构/并行策略) -> 量化结果
  • 如何在多卡环境下优化KV Cache的内存分配?
  • 对比vLLM和SGLang的调度机制差异,你会如何改进?
  • 解释FlashAttention的原理及其对显存带宽的优化
  • 如何处理多节点推理中的通信瓶颈?
  • 熟悉PyTorch Distributed原理
  • 回顾GPU内存层级结构
  • 了解最新LLM推理优化论文(如PagedAttention, Speculative Decoding)

职位点评

薪资福利85
成长发展95
工作生活60
使命价值80

薪资福利

85较高

作为已上市的跨国巨头,提供具有竞争力的薪酬体系和完善的福利保障,符合市场对高端技术人才的定价。

薪资信号偏高 (6.0千–12.0万/月)
福利待遇AMD benefits at a glance

成长发展

95较高

职位处于AI技术最前沿,涉及LLM推理这一热点领域,且要求向上游开源社区贡献,个人技术成长空间巨大。

技术前沿前沿/新兴技术
技术栈vLLM、SGLang、LLM、ROCm、MoE、FlashAttention
业务类型profit_center

工作生活

60中等

虽然JD未明确提及加班情况,但作为核心研发岗位且涉及生产环境部署,通常面临一定的交付压力,WLB取决于团队节奏。

工作模式未明确
办公地点科技园/产业园
加班情况未提及(无法判断)

使命价值

80较高

致力于通过技术创新解决世界重要挑战,推动AI普惠化,具有明确的社会价值和技术使命感。

行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号ADVANCE THE WORLD、technology has the power to solve the world’s most important challenges
创新程度积极采用新技术
Watch Jobs