阿里巴巴
AI推理平台-AIGC推理基础设施研发工程师-北京/杭州
AI推理平台-AIGC推理基础设施研发工程师-北京/杭州
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Cuda
Pytorch
分布式系统
性能优化
推理框架
值不值得投
78综合评分
综合评分 78
阿里核心AI Infra岗，技术前沿且成长空间大，薪资竞争力强，但工作强度可能较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
4.5万
比算法优化工程师中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3010 个在招 · 其中算法优化工程师 约 120 个
市场机会
选择面较广
北京 · 算法优化工程师 · 约 310 个在招
职位详情
关于这个职位
负责AIGC模型服务框架的设计与研发，优化分布式推理性能，并探索下一代推理架构
通过提升GPU利用率和推理效率，支持图像、视频生成等模型的快速接入与高效调度
最低要求
计算机、软件工程、人工智能等相关专业，熟练使用 Python
具备 C++、CUDA、Rust 等开发经验者优先
具备 2 年及以上 AI Infra、模型推理、分布式系统或 GPU 服务相关经验，熟悉 PyTorch 及其分布式执行机制
熟悉多机多卡系统中的进程组、集合通信、显存管理和并行计算，有 FSDP、TP、SP、EP、PP 等多种并行方案的实践经验
具备良好的系统设计和抽象能力，能够从单模型需求中识别共性问题，设计可扩展、可观测、可灰度和可回滚的平台能力
有责任心和结果意识，具备良好的沟通、执行与跨团队协作能力，能够推动复杂技术方案从设计、验证走向生产落地
工作职责
模型服务架构：负责 AIGC 模型服务框架的设计与研发，建设统一的模型接入协议、Stage 编排、Engine 管理和 Runtime 能力，支持图像、视频生成等模型快速接入，降低能力形态与硬件组合增长带来的交付复杂度
分布式推理与性能优化：围绕 DiT 等计算密集型模型，参与并行方案设计，分析计算、通信、显存和 Pipeline Bubble 等核心瓶颈
结合 Profiling、通信计算重叠、Batching、CUDA Graph、算子融合等手段，持续优化任务时延、吞吐、显存占用、GPU 利用率和单位推理成本
调度与资源效率：面向分辨率、视频时长、采样步数等差异化请求，建设请求调度队列、批处理、QoS、流量路由和弹性伸缩能力
探索 Cohort Scheduling、动态 Pipeline、异构资源池调度等方案，在保障服务质量的前提下提升闲置资源和低成本资源的使用效率
下一代推理架构：参与 NVLink/NVSwitch等高速互联环境下的 Supernode-Native Serving 探索，建设拓扑感知的进程组管理、角色编排、进程生命周期和请求调度能力，推动新硬件、新并行方案在更大并行域下继续scale的平台能力
优先资格
● 有图像、视频生成、Diffusion 或 DiT 模型服务经验
● 熟悉 Diffusers、xDiT、vLLM、SGLang 或其他推理框架
● 有 CUDA、Triton、NCCL、Nsight Systems/Compute 等性能优化与 Profiling 经验
● 有 Kubernetes、大规模在线服务、异构 GPU 调度、弹性伸缩或超节点相关经验
● 有推理框架、分布式系统或性能优化方向的开源贡献
AI 洞察
优缺点分析
优点
- 接触AIGC和DiT等前沿大模型底层技术，技术壁垒高，处于当前科技行业最核心的赛道
- 依托集团海量算力与真实业务场景，能积累大规模分布式系统与GPU性能优化的顶尖实战经验
- 岗位核心度高，作为成本中心的关键优化环节，技术成果能直接转化为显著的业务收益
- 技术栈深且广，涉及底层硬件、通信协议与上层框架，学习曲线陡峭，需要持续跟进最新技术
- 适合对底层系统、GPU性能优化及分布式计算有浓厚兴趣，且具备扎实计算机基础的中高级研发工程师
缺点 / 挑战
- 大模型迭代极快，需不断应对新硬件、新并行方案带来的挑战，工作强度与压力相对较大
角色解读
- 从AI Infra研发工程师成长为底层系统架构师或技术专家，深入参与大模型基础设施演进
- 引领下一代推理架构的技术方向，在算力调度、异构计算等前沿领域建立深厚的技术壁垒与行业影响力
- 设计研发AIGC模型服务框架，建设统一的模型接入协议与Runtime能力，支持图像、视频生成等模型快速接入
- 围绕DiT等计算密集型模型进行分布式推理与性能优化，通过算子融合、通信计算重叠等手段提升GPU利用率并降低推理成本
- 探索下一代推理架构，在NVLink/NVSwitch等高速互联环境下推进Supernode-Native Serving及异构资源池调度方案
- 熟练掌握Python，具备C++/CUDA/Rust等底层开发能力，熟悉PyTorch及其分布式执行机制
- 具备2年以上AI Infra或分布式系统经验，精通多机多卡系统中的集合通信、显存管理及FSDP/TP/SP/PP等并行方案
- 拥有优秀的系统设计与抽象能力，能够设计可扩展、可观测、可灰度的平台级架构
申请策略
- 了解阿里在AIGC领域的最新业务布局，准备关于大模型推理成本优化和调度策略的深度思考与见解
- 突出在AI Infra、模型推理或分布式系统方面的核心项目经验，明确自己在其中的角色与贡献
- 详细列出使用过的并行方案（如TP、PP）及性能优化成果，用量化数据展示吞吐提升、显存降低或成本节约的效果
- 深入学习CUDA编程、Triton及NCCL等底层通信库，掌握Nsight Systems等Profiling工具的使用
- 研读vLLM、SGLang等主流推理框架的源码，理解其核心调度机制与显存管理策略
面试指南
- 采用STAR法则，结合具体项目背景，阐述问题分析、方案设计（如通信计算重叠、算子融合）、落地效果及量化收益
- 对于架构设计题，从需求分析、模块划分、扩展性、可观测性及容灾回滚等维度系统性展开
- 如何优化DiT等计算密集型模型的推理时延和显存占用？
- 在分布式推理中，如何解决Pipeline Bubble和通信瓶颈？
- 请分享一个你主导的GPU利用率提升或推理成本降低的实际案例
- 如何设计一个支持多模型、多硬件组合的统一模型服务框架？
- 复习PyTorch分布式训练/推理机制、CUDA编程基础及主流推理框架的核心原理
- 准备1-2个深度参与的性能优化或系统架构设计案例，确保能讲透底层原理与权衡取舍
职位点评
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
阿里集团AI Infra核心岗位，薪资具备较强市场竞争力，福利体系完善。
薪资信号未披露（AI估算：3千–6万/月）
成长发展
90较高
处于AIGC和大模型基础设施核心领域，技术前沿性极强，能接触顶尖算力与大规模场景。
技术前沿前沿/新兴技术
技术栈Python、C++、CUDA、Rust、PyTorch、DiT、FSDP、TP、SP、EP、PP、vLLM、SGLang、Kubernetes
业务类型cost_center
工作生活
50较低
JD未提及工作模式与WLB相关信息，但作为核心研发岗且涉及大模型底层优化，工作强度可能较大。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与AIGC大模型基础设施建设，推动人工智能技术落地，具有较高的行业价值与技术使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs