阿里巴巴
阿里云智能-AI Infra异构软硬件结合研发专家--上海
阿里云智能-AI Infra异构软硬件结合研发专家--上海
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Ai编译器
Cuda
Gpu
Pytorch
Tvm
分布式计算
大模型推理
值不值得投
82综合评分
综合评分 82
头部云厂商核心AI Infra专家岗，技术栈极度前沿、成长空间巨大、薪资丰厚，但底层研发挑战与压力较高。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
8万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3200 个在招 · 其中高性能计算 19 个
市场机会
选择适中
上海 · 高性能计算 · 18 个在招
职位详情
关于这个职位
该职位负责大模型底层算子研发与全链路性能优化，参与AI编译器定制、Mega Kernel落地及分布式架构设计
你需要结合软硬件协同技术，攻克多机多卡通信瓶颈，并探索MoE、自动化Kernel生成等前沿方向，为下一代AI算力底座提供技术支撑
最低要求
计算机、电子工程或相关专业，具备扎实的编程功底与工程实现能力（精通 C++/Python 等）
对 GPU 或相关 AI 加速芯片的系统结构有深入理解，具备实际的底层开发和极致的性能调优经验
熟悉 PyTorch 等主流深度学习框架并对其底层实现机制有深刻认知，在大模型训练或推理性能优化方面有丰富的实操经验
了解主流大模型的网络结构与执行细节，熟悉相关的推理性能优化技术
对 AI Infra 领域充满热情，持续关注 MoE、推理引擎、算子优化等技术演进，学习能力强
善于利用AI辅助编程、智能代码审查等工具提升研发效率
同时具备优秀的沟通协作与项目组织能力，能够跨团队与不同背景的成员高效合作
工作职责
大模型算子开发与全链路性能优化：负责 GPU 及各类 AI 加速芯片的底层算子研发与调优
针对大模型训练与推理场景，开展全链路性能剖析与瓶颈定位
通过指令级优化、内存访问重构等手段，实现核心算子在异构硬件上的极致性能释放
AI 编译优化、Mega Kernel 与模型量化压缩：参与 AI 编译器栈的深度定制与优化，打通从上层框架到底层硬件的计算图下沉与自动调优链路
主导 Mega Kernel 技术落地，通过多算子深度融合减少全局内存读写与 Kernel Launch 开销
结合量化压缩技术，在保障精度的前提下大幅降低显存占用与延迟，实现低成本部署
分布式架构设计与计算通信融合：面向大规模集群，设计并优化大模型训练与分布式推理架构
深入实践张量并行、流水线并行等策略，攻克多机多卡网络通信瓶颈
通过计算与通信深度融合（如 Overlap 调度），提升集群算力利用率与扩展性
前沿技术探索与下一代 Infra 预研：跟进 MoE 高效路由与负载均衡、超大规模并发推理优化、以及基于大模型的自动化 Kernel 生成（Kernel Agent）等前沿方向
将研究成果转化为工程实践，为下一代智能化 AI Infra 演进提供技术储备
软硬件协同设计与系统可靠性建设：深度参与异构计算软硬件结合技术栈研发，与芯片、驱动及框架团队紧密协作，推动软硬协同设计
建立完善的性能基准测试与监控体系，解决复杂环境下的长尾问题，确保生产级 AI 算力底座的高可用与高可靠
优先资格
熟练掌握主流 GPU 算子开发工具链（如 CUDA / CUTLASS / Triton / NVSHMEM）及性能 Profiling 分析工具
具有深度学习框架或主流 LLM 推理引擎（如 vLLM、SGLang、TensorRT-LLM、PyTorch 等）的源码级开发或深度定制经验
具备异构计算、AI 编译器（如 TVM、MLIR 等）相关领域的开发经验
拥有大规模高性能分布式计算系统的架构设计与实战经验
AI 洞察
优缺点分析
优点
- 处于大模型与AI算力爆发的核心赛道，技术壁垒高，个人技术价值与行业影响力大
- 依托头部云厂商的大规模集群资源，能接触到业界最顶尖的异构计算与分布式系统实战场景
- 技术栈前沿，涵盖AI编译、Mega Kernel、MoE等最新技术方向，利于保持技术领先性
- 底层性能优化与分布式架构设计技术难度极大，需要深厚的计算机体系结构功底
- 适合具备扎实C++/CUDA功底、对底层系统架构有浓厚兴趣，且渴望在AI算力基础设施领域深耕的高级技术人才
缺点 / 挑战
- 大模型技术迭代极快，需要持续跟进前沿论文与开源社区，学习压力与研发节奏较快
角色解读
- 从底层算子优化向AI编译器及全栈AI Infra架构师方向发展
- 成为大模型算力底座核心技术专家，引领下一代智能化AI Infra技术演进
- 负责GPU及AI加速芯片的底层算子研发与全链路性能调优，释放异构硬件极致性能
- 参与AI编译器定制与Mega Kernel落地，优化大模型训练与分布式推理架构
- 探索MoE路由、自动化Kernel生成等前沿技术，推动软硬件协同设计与系统可靠性建设
- 精通C++/Python，深入理解GPU或AI加速芯片系统结构及底层开发
- 熟悉PyTorch等主流深度学习框架底层机制，具备大模型训练/推理性能优化实操经验
- 掌握CUDA/Triton等算子开发工具链，具备大规模分布式计算系统架构设计能力
申请策略
- 建议提前了解阿里云PAI平台或灵骏智算集群的相关技术博客，熟悉其在AI Infra领域的最新布局与技术栈
- 突出在GPU算子开发、CUDA/Triton编程及性能Profiling方面的具体优化成果与数据指标
- 详细阐述参与过的深度学习框架底层开发或主流LLM推理引擎（如vLLM）的源码级贡献
- 展示在大规模分布式训练/推理架构设计、计算通信融合（Overlap调度）方面的实战经验
- 深入学习AI编译器（如TVM/MLIR）原理及计算图下沉技术，补充编译系统相关知识
- 研究最新的MoE模型架构及超大规模并发推理优化方案，跟进Kernel Agent等前沿方向
面试指南
- STAR法则：针对优化案例，清晰阐述背景（性能瓶颈）、任务（优化目标）、行动（指令级优化/内存重构等手段）、结果（具体的性能提升百分比或延迟降低数据）
- 底层原理+工程实践：回答架构或算法问题时，先讲透底层硬件原理（如GPU内存层级、通信拓扑），再结合具体工程实现（如Overlap调度策略）说明解决方案
- 请详细描述一个你主导过的GPU算子优化案例，你是如何定位瓶颈并实现性能提升的？
- 在分布式大模型训练中，张量并行和流水线并行各有什么优缺点？如何解决多机多卡的通信瓶颈？
- Mega Kernel技术的核心思想是什么？在实际落地中如何平衡算子融合带来的收益与编译/调试成本？
- 针对大模型推理场景，KV Cache的管理与优化有哪些常见策略？你如何结合量化技术降低显存占用？
- 复习CUDA编程模型、GPU硬件架构（如SM、Warp、Memory Hierarchy）及主流算子库（CUTLASS）的实现细节
- 准备1-2个自己深度参与的开源项目贡献或底层框架源码阅读笔记，以证明源码级开发能力
职位点评
薪资福利90
成长发展95
工作生活50
使命价值85
薪资福利
90较高
作为头部云厂商的核心技术专家岗，薪资水平处于行业顶尖，且具备极高的技术壁垒与稳定性。
薪资信号偏高 (6千–10万/月)
成长发展
95较高
岗位涉及大模型底层算力、AI编译器、分布式架构等最前沿技术，能接触到海量算力资源，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈C++、Python、GPU、CUDA、PyTorch、Triton、TVM、MLIR、vLLM、MoE
成长机会前沿技术探索、下一代 Infra 预研、研究成果转化为工程实践
业务类型ambiguous
工作生活
50较低
JD未明确提及工作模式与加班情况，但底层性能优化与大规模集群调试通常面临较高的研发压力与较长的排障时间。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
致力于大模型算力底座建设，推动AI基础设施演进，对人工智能行业发展具有重要的底层支撑价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号下一代智能化 AI Infra 演进、生产级 AI 算力底座
创新程度开拓性创新（行业首创）
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs