阿里巴巴
阿里云智能-AI Infra大模型推理软硬件结合优化-杭州
阿里云智能-AI Infra大模型推理软硬件结合优化-杭州
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公性能优化
性能优化
Ai Infra
Cuda
Gpu优化
Tensorrt-Llm
Vllm
分布式推理
模型量化
算子开发
值不值得投
79综合评分
综合评分 79
前沿AI Infra技术、高薪潜力、技术成长快，但工作节奏偏紧、WLB一般
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.0万
比性能优化中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3620 个在招 · 其中性能优化 2 个
市场机会
选择不多
杭州 · 性能优化 · 1 个在招
职位详情
关于这个职位
负责阿里云大模型推理系统的软硬件协同优化，通过算子开发、模型压缩量化、推理引擎调优及分布式架构设计，提升GPU/专用芯片上的推理速度与系统效率
需深入理解AI Infra全栈技术，支撑多模态等前沿模型落地，构建高性能AI基础设施
最低要求
扎实的专业基础与经验：计算机、人工智能等相关专业，3年以上AI Infra、大模型推理系统、算子研发、性能优化、分布式优化等方向工作经验
丰富的大模型经验：精通C++/Python，熟悉并掌握主流推理框架（如vLLM、SGLang、TensorRT-LLM）、常用的端到端/系统/算子性能分析工具，有丰富的大模型实战经验 (LLM、多模态、DiT、世界模型等)，具备独立完成从端到端到模块化的分析和调优的能力
扎实的优化经验：在大模型推理加速、算子开发、模型压缩/量化、分布式、PD分离等方面有实际项目经验，熟悉GPU/AI加速库（如cuBLAS、cuDNN、Cutlass）及并行通信技术（如NVLink、模型/流水线并行）
系统性技术认知：深入理解AI Infra大模型算法原理与推理部署全流程，掌握常见的性能瓶颈分析方法与加速优化策略，具备跨技术栈的体系化优化技术栈，软硬件结合的优化能力，能从模型到硬件全栈思考问题
工作职责
主导大模型推理性能优化：通过算子优化、模型压缩/量化/稀疏化、推理引擎开发及分布式系统设计等技术手段，全面提升大模型在GPU/PPU等异构硬件上的推理速度、系统效率与部署性价比
开展软硬协同的深度调优：针对不同架构和规模的AI加速硬件（如GPU、专用AI芯片），对KV Cache管理、内存调度、计算图优化等核心模块进行定制化性能调优，突破算力与访存瓶颈
支撑多模态与前沿模型架构落地：参与大模型推理系统的核心模块研发，支持Transformer、MoE、Diffusion、LLM、VLM等多种架构的高性能推理，并与算法、产品及业务团队紧密协作，实现端到端场景优化
构建高性能AI基础设施：基于软硬件协同理念，打造业界领先的AI推理底座，通过融合模型算法与底层硬件特性，释放组合优化潜力，形成显著的性能与成本优势
追踪和引领技术前沿：持续关注大模型推理领域的最新研究成果与开源生态，推动技术创新与工程落地，发掘软硬结合的技术创新，强化技术壁垒与商业竞争力
优先资格
创新与协作潜力：具备快速学习与技术钻研和创新能力，拥有良好的沟通表达与跨团队协作能力，创新意识强，有开源项目贡献（如vLLM/SGLang）、高水平论文、专利者优先
技术热情和AI驱动：有强烈技术热情和好奇心，自驱力和学习力强
具备良好的分析与解决问题的能力、沟通以及团队合作能力，能够持续推动问题的解决和突破
具备AI Native意识，能够高效使用AI专业工具提升研发优化效率，将AI有效转化为生产力
AI 洞察
优缺点分析
优点
- 接触行业最前沿的大模型推理技术与开源生态，技术视野开阔
- 依托阿里云庞大算力与真实业务场景，技术落地价值高，成果可直接规模化应用
- 技术栈深厚且稀缺，易积累硬核AI Infra核心竞争力，行业认可度高
- 技术门槛极高，需同时精通算法原理与底层硬件特性，学习曲线陡峭
- 性能调优工作容错率低，需反复实验验证，对耐心与严谨性要求苛刻
- 内部技术竞争激烈，对代码质量、创新产出与业务赋能有严格考核标准
- 适合热爱底层技术、具备极强自驱力与系统思维的计算机/AI专业人才，追求技术深度而非广度
缺点 / 挑战
暂无明显挑战项
角色解读
- 向AI Infra首席架构师或技术专家发展，成为大模型底层优化领域的权威
- 横向拓展至大模型训练集群调度、云端一体化AI平台研发或边缘侧推理部署
- 长期可向AI底层技术负责人或技术管理岗位晋升，主导公司级算力基础设施规划
- 负责大模型推理系统的底层性能调优与架构设计，直接对接GPU/专用芯片等异构硬件
- 针对KV Cache管理、内存调度、计算图优化等核心模块进行定制化调优，突破算力与访存瓶颈
- 开发高性能算子，实施模型压缩、量化与稀疏化，支撑Transformer、MoE、Diffusion等前沿架构落地
- 构建软硬件协同的AI推理底座，融合算法与硬件特性，实现端到端场景的性能与成本双优
- 精通C++/Python，熟练掌握vLLM、SGLang、TensorRT-LLM等主流推理框架及性能分析工具
- 深入理解CUDA编程、GPU加速库(cuBLAS/cuDNN/Cutlass)及NVLink等并行通信技术
- 具备大模型推理加速、算子开发、模型量化压缩及分布式(PD分离/流水线并行)的实战经验
- 拥有全栈系统思维，能独立进行性能瓶颈定位，并从模型层到硬件层制定体系化优化策略
申请策略
- 提前了解阿里云通义千问及相关AI Infra产品矩阵，准备1-2个完整的性能调优Case Study
- 面试前梳理个人技术栈与岗位的契合点，重点展示全栈优化思维与工程落地能力
- 突出大模型推理加速、算子开发或性能优化的具体项目，量化提速百分比与资源节省成本
- 详细列出掌握的推理框架源码阅读经验、CUDA内核优化技巧及分布式通信实践
- 强调独立排查复杂性能瓶颈的能力，附GitHub开源贡献链接或技术博客作为佐证
- 深入研读vLLM/SGLang核心源码，动手复现PagedAttention或MoE路由优化案例
- 补充分布式推理理论（如张量并行、流水线并行、PD分离架构）与实测调优经验
- 掌握Profiling工具链（Nsight Systems/Compute、PyTorch Profiler）的高级用法
面试指南
- 采用STAR法则结构化回答：清晰描述问题背景与指标基线，说明技术选型依据与实验设计过程
- 重点突出数据分析能力，展示如何通过Profiling定位热点，利用数学推导或硬件手册指导优化
- 总结可复用的方法论，体现从单点优化到系统化调优的思维跃迁
- 请分享一次你进行GPU算子优化或推理加速的具体经历，遇到了什么瓶颈？如何解决？
- vLLM中的PagedAttention机制是如何工作的？相比传统注意力机制有何优势？
- 在分布式大模型推理中，如何平衡通信开销与计算效率？遇到NCCL通信瓶颈怎么排查？
- 面对一个全新的AI加速硬件，你会如何设计软硬件协同的调优方案？
- 复习Transformer/MoE/Diffusion等模型的前向传播流程与显存占用细节，准备典型算子的CUDA实现思路
职位点评
薪资福利85
成长发展92
工作生活55
使命价值70
薪资福利
85较高
岗位提供具有市场竞争力的薪酬结构，满足求职者对稳定收入与基础福利的核心诉求。
薪资信号市场水准 (3.5千–6.5万/月)
成长发展
92较高
岗位聚焦大模型推理前沿技术，技术成长空间广阔，高度契合发展性动机。
技术前沿前沿/新兴技术
技术栈C++、Python、vLLM、TensorRT-LLM、CUDA、模型量化、分布式推理
业务类型profit_center
工作生活
55较低
互联网大厂常规研发节奏，JD未明确提及弹性或远程政策，生活化动机满足度中等。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
致力于构建领先AI基础设施，推动技术普惠与产业智能化，具有一定社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs