阿里巴巴
达摩院-大模型推理优化工程师-计算技术
达摩院-大模型推理优化工程师-计算技术
发布于 大约 6 小时前普通员工/个人贡献者
杭州市 / 北京市
中级经验
全职员工
仅现场办公
硕士
算法优化工程师
Ai编译器
Gpu
Mlir
Roofline
Tensorrt-Llm
Vllm
并行计算
性能优化
AI 估算 · 40k–70k
大模型推理优化是当前热门方向，阿里达摩院平台优势明显，薪资竞争力强，结合岗位级别和城市，预估月薪在4-7万。
职位详情
关于这个职位
作为阿里巴巴达摩院的大模型推理优化工程师，你将专注于AI芯片的性能分析与建模，通过算子优化、并行切分和精度验证，推动大模型在自研芯片上的高效部署
你将与算子、框架、编译器团队紧密协作，形成优化闭环，持续逼近性能极限
该岗位适合对AI基础设施和高性能计算有深入理解的技术专家
最低要求
● 计算机、电子工程或相关专业硕士及以上学历，初级1-3年，高级5年以上AI基础设施、高性能计算或AI编译器相关工作经验
● 精通Python/C++，熟悉Linux开发环境
● 深入理解至少一种推理框架（vLLM/SGLang/TensorRT-LLM/Triton Inference Server）或AI编译器生态（Triton/TileLang/TVM/MLIR），具备Op/Kernel开发或调优经验
● 熟练使用NVIDIA性能分析工具（Nsight Systems/Nsight Compute/PyTorch Profiler），具备从trace中定位kernel耗时、带宽瓶颈及调度开销的能力
● 理解性能建模方法论（Roofline等），能够量化建模与实测间的Gap来源
● 熟悉Tensor/Pipeline/Data/Sequence Parallelism等并行策略，具备切分方案设计与验证经验
● 具备AI Harness提效加速构建经验
工作职责
● 基于GPU Profile完成模型算子覆盖率分析，识别必选高性能算子开发路径并评估性能影响
● 基于性能仿真建模工具完成性能建模并检查review，输出整网及分层模块性能预期报告，明确关键模块与算子形状、数据类型及切分策略
● 结合Profile与建模结果，输出算子开发需求清单（含算子列表、shape、dtype、切分策略）及接口需求说明文档，明确算子/框架团队优先验证规格
● 维护并扩展补充新增AI芯片算子单OP精度与性能参考代码，沉淀AI Harness SKILL/Agent资产
● 建立主要模型推理规格的GPU竞品性能数据清单，形成可量化对标基准
● 跑通模型Fake Tensor推理（带切分方案）与Real Tensor推理全流程，验证并行切分策略正确性
● 对比实测性能与建模预期，量化Gap来源（算子效率/切分策略/调度开销/显存带宽等），驱动算子、框架、编译器团队形成优化闭环，持续逼近建模性能极限
● 制定端到端精度验证策略，输出验证方案与QA转测说明，完成AI芯片daily QA转测交付
● 输出模型整体并行方案与子模块/算子级切分细化方案，形成建模性能预期数据报告
优先资格
● 有LLM（LLaMA/Qwen/DeepSeek等）部署至自研AI芯片或异构硬件的全流程经验
● 有性能仿真建模工具开发或二次开发经验
● 有vLLM/Triton/PyTorch等开源项目核心贡献经历
● 有AI编译器端到端开发落地沉淀经验
AI 洞察
优缺点分析
优点
- 技术前沿，涉及大模型、AI芯片、高性能计算等热门领域，技能积累价值高
- 阿里巴巴达摩院平台大，资源丰富，有大量GPU资源和自研芯片项目
- 薪资待遇优厚，福利完善，有16个月薪资和股票期权
- 与顶尖技术团队合作，能快速提升技术视野和影响力
- 技术难度高，需要深入理解GPU架构、AI编译器、并行计算等复杂技术
- 工作强度大，可能需要应对高性能计算领域的紧急任务
- 跨团队协作多，需要良好的沟通和协调能力
缺点 / 挑战
- 适合对AI基础设施和高性能计算有浓厚兴趣，具备扎实底层技术功底，喜欢挑战技术难题的工程师
角色解读
- 可以成长为AI基础设施领域的资深专家，主导大模型推理优化方向
- 有机会深入AI编译器、芯片设计等底层技术领域，成为技术领军人物
- 在阿里巴巴达摩院平台，可以参与前沿技术研究，并有机会转向技术管理岗位
- 负责大模型在自研AI芯片上的推理性能优化，通过GPU Profile和性能建模分析，识别性能瓶颈并制定优化路径
- 设计并验证并行切分策略，确保模型在分布式环境下高效运行，并量化实测与建模的差距
- 与算子、框架、编译器团队协作，推动优化闭环，持续提升模型推理性能
- 制定精度验证策略，确保优化后的模型输出正确性，并完成QA转测交付
- 精通Python/C++，熟悉Linux开发环境，具备扎实的编程基础
- 深入理解至少一种推理框架（如vLLM、SGLang）或AI编译器生态（如Triton、MLIR），具备Op/Kernel开发经验
- 熟练使用NVIDIA性能分析工具（Nsight Systems、Nsight Compute），能定位GPU性能瓶颈
- 理解性能建模方法论（如Roofline），熟悉并行计算策略（如Tensor Parallelism）
申请策略
- 关注阿里巴巴达摩院的技术博客和开源项目，了解团队技术方向
- 在面试中展示对性能优化的热情和实际项目成果
- 突出GPU性能优化项目经验，如使用Nsight工具定位性能瓶颈并优化
- 强调对推理框架或AI编译器的深入理解，如vLLM、Triton等
- 展示并行计算经验，如Tensor Parallelism、Pipeline Parallelism等
- 如有开源项目贡献或自研芯片部署经验，务必重点提及
- 深入学习性能建模方法论，如Roofline模型
- 熟悉主流推理框架的源码，如vLLM、SGLang
面试指南
- 结合项目经验，用STAR法则（情境、任务、行动、结果）清晰描述
- 强调性能优化的方法论，如先分析、再建模、后优化
- 展示对底层硬件和软件栈的理解，体现系统性思维
- 请描述一次你使用Nsight Compute定位GPU性能瓶颈并优化的经历
- 如何设计一个并行切分方案来优化大模型推理？
- 解释Roofline模型，并说明如何用它分析性能瓶颈
- 你如何评估一个算子的性能？有哪些关键指标？
- 在vLLM或Triton中，你如何优化一个Kernel？
职位点评
77
综合评分
顶尖平台、前沿技术、高薪，但工作强度大，WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长、热爱挑战、对AI基础设施有浓厚兴趣的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利85
成长发展95
工作生活40
使命价值80
薪资福利
85较高
阿里巴巴作为上市公司，薪资待遇在行业内具有竞争力，且提供完善的福利体系。
薪资信号未披露（AI估算：40K-70K/月）
成长发展
95较高
该岗位涉及AI芯片、大模型推理等前沿技术，技术挑战大，成长空间广阔。
技术前沿前沿/新兴技术
技术栈GPU、CUDA、vLLM、SGLang、Triton、MLIR、Roofline、Tensor Parallelism
业务类型profit_center
工作生活
40较低
工作地点位于一线城市，但未提及远程办公或弹性工作，工作强度可能较高。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与AI芯片和大模型优化，对推动AI技术发展有积极意义，行业前景广阔。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs