阿里巴巴
阿里云智能-AI Infra异构软硬件结合研发专家-上海
阿里云智能-AI Infra异构软硬件结合研发专家-上海
发布于 5 小时前普通员工/个人贡献者
全职员工仅现场办公高性能计算
高性能计算
Ai编译器
Cuda
Gpu
Pytorch
Vllm
分布式计算
大模型推理
值不值得投
80综合评分
综合评分 80
阿里AI Infra专家岗，聚焦大模型底层算子与分布式架构，技术前沿且成长空间极大，薪资极具竞争力。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
8万
比高性能计算中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2980 个在招 · 其中高性能计算 14 个
市场机会
选择适中
上海 · 高性能计算 · 15 个在招
职位详情
关于这个职位
该职位负责大模型底层算子研发与全链路性能优化，参与AI编译器定制及分布式架构设计，致力于在异构硬件上实现极致性能释放
你需要深入探索MoE、自动化Kernel生成等前沿技术，推动软硬件协同设计，打造高可用的AI算力底座
最低要求
计算机、电子工程或相关专业，具备扎实的编程功底与工程实现能力（精通 C++/Python 等）
对 GPU 或相关 AI 加速芯片的系统结构有深入理解，具备实际的底层开发和极致的性能调优经验
熟悉 PyTorch 等主流深度学习框架并对其底层实现机制有深刻认知，在大模型训练或推理性能优化方面有丰富的实操经验
了解主流大模型的网络结构与执行细节，熟悉相关的推理性能优化技术
对 AI Infra 领域充满热情，持续关注 MoE、推理引擎、算子优化等技术演进，学习能力强
善于利用AI辅助编程、智能代码审查等工具提升研发效率
同时具备优秀的沟通协作与项目组织能力，能够跨团队与不同背景的成员高效合作
工作职责
大模型算子开发与全链路性能优化：负责 GPU 及各类 AI 加速芯片的底层算子研发与调优
针对大模型训练与推理场景，开展全链路性能剖析与瓶颈定位
通过指令级优化、内存访问重构等手段，实现核心算子在异构硬件上的极致性能释放
AI 编译优化、Mega Kernel 与模型量化压缩：参与 AI 编译器栈的深度定制与优化，打通从上层框架到底层硬件的计算图下沉与自动调优链路
主导 Mega Kernel 技术落地，通过多算子深度融合减少全局内存读写与 Kernel Launch 开销
结合量化压缩技术，在保障精度的前提下大幅降低显存占用与延迟，实现低成本部署
分布式架构设计与计算通信融合：面向大规模集群，设计并优化大模型训练与分布式推理架构
深入实践张量并行、流水线并行等策略，攻克多机多卡网络通信瓶颈
通过计算与通信深度融合（如 Overlap 调度），提升集群算力利用率与扩展性
前沿技术探索与下一代 Infra 预研：跟进 MoE 高效路由与负载均衡、超大规模并发推理优化、以及基于大模型的自动化 Kernel 生成（Kernel Agent）等前沿方向
将研究成果转化为工程实践，为下一代智能化 AI Infra 演进提供技术储备
软硬件协同设计与系统可靠性建设：深度参与异构计算软硬件结合技术栈研发，与芯片、驱动及框架团队紧密协作，推动软硬协同设计
建立完善的性能基准测试与监控体系，解决复杂环境下的长尾问题，确保生产级 AI 算力底座的高可用与高可靠
优先资格
熟练掌握主流 GPU 算子开发工具链（如 CUDA / CUTLASS / Triton / NVSHMEM）及性能 Profiling 分析工具
具有深度学习框架或主流 LLM 推理引擎（如 vLLM、SGLang、TensorRT-LLM、PyTorch 等）的源码级开发或深度定制经验
具备异构计算、AI 编译器（如 TVM、MLIR 等）相关领域的开发经验
拥有大规模高性能分布式计算系统的架构设计与实战经验
AI 洞察
优缺点分析
优点
- 处于AI大模型爆发的核心基础设施领域，技术前沿性极强，能接触MoE、Kernel Agent等最新技术
- 作为专家岗，能深度参与软硬件协同设计，与芯片、驱动等顶尖团队紧密协作，技术壁垒高
- 底层算子与分布式架构优化技术难度极大，需要持续跟进快速演进的AI硬件与框架生态
- 适合对底层系统、异构计算和AI Infra充满热情，具备扎实C++功底和极致性能优化追求的顶尖技术人才
缺点 / 挑战
- 依托阿里云庞大的计算平台，拥有超大规模集群和海量算力资源，能落地极具挑战性的工程实践
- 解决大规模集群下的长尾性能与可靠性问题极具挑战，对系统排查和瓶颈定位能力要求极高
角色解读
- 纵向可深耕AI Infra底层技术，成为异构计算与系统架构领域的顶尖技术专家
- 横向可拓展至大模型全栈优化、AI编译器研发或下一代智能化算力底座架构设计
- 负责大模型底层算子研发与全链路性能优化，在GPU等异构硬件上实现极致性能释放
- 参与AI编译器定制与Mega Kernel技术落地，优化计算图下沉与模型量化压缩
- 设计大规模分布式训练与推理架构，攻克多机多卡通信瓶颈，提升集群算力利用率
- 精通C++/Python，深入理解GPU及AI加速芯片系统结构，具备底层开发与极致性能调优经验
- 熟悉PyTorch等主流深度学习框架底层机制，掌握大模型训练与推理性能优化技术
- 掌握CUDA/Triton等算子开发工具链，了解AI编译器及大规模分布式计算系统架构
申请策略
- 了解阿里云在大模型Infra领域的最新开源项目（如BladeLLM等），在面试中展现对业务的理解与技术热情
- 重点突出在GPU算子开发、AI编译器或主流推理引擎（如vLLM、TensorRT-LLM）的源码级优化经验
- 详细阐述在大规模分布式训练或推理架构设计中的具体贡献，如张量并行、通信Overlap等优化成果
- 展示全链路性能剖析与瓶颈定位的实战案例，量化性能提升指标（如延迟降低、吞吐量提升比例）
- 深入学习CUDA、Triton及CUTLASS等底层算子开发工具链，掌握最新的性能Profiling分析方法
- 研究MoE架构、自动化Kernel生成（Kernel Agent）等前沿论文与开源实现，保持技术敏锐度
面试指南
- 采用“背景-问题-分析-方案-结果”的STAR法则，重点突出量化收益和技术深度
- 对于架构设计问题，从“需求分析-技术选型-核心设计-边界与异常处理-性能评估”五个维度展开
- 请详细描述你如何进行GPU算子的全链路性能剖析与瓶颈定位？使用了哪些Profiling工具？
- 在分布式推理中，你是如何设计计算与通信融合（Overlap调度）策略来提升集群算力利用率的？
- 针对大模型推理，Mega Kernel技术是如何通过多算子融合减少内存读写与Launch开销的？
- 如果大模型训练集群出现长尾延迟问题，你的排查思路和解决步骤是什么？
- 复习CUDA编程模型、GPU内存层级结构及主流AI编译器的优化Pass原理
- 准备1-2个自己主导的极具挑战性的性能优化项目，能够深入讲解底层细节和踩坑经验
职位点评
薪资福利90
成长发展95
工作生活40
使命价值85
薪资福利
90较高
作为专家级技术岗，薪资水平处于行业顶尖，福利体系完善，能充分满足对高薪酬和稳定性的追求。
薪资信号未披露（AI估算：6千–10万/月）
成长发展
95较高
岗位聚焦大模型底层算子、AI编译器及分布式架构等前沿技术，能深度参与软硬件协同设计，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈C++、Python、GPU、CUDA、Triton、PyTorch、vLLM、AI编译器、分布式计算
业务类型ambiguous
工作生活
40较低
JD未明确提及办公模式与工作强度相关信息，无法准确评估工作生活平衡状况。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
致力于下一代智能化AI Infra演进与软硬件协同设计，推动大模型算力底座的高可用与高可靠，具有较强的技术使命感与行业推动力。
行业发展高速增长赛道
社会影响中性/一般
使命信号下一代智能化 AI Infra 演进、生产级 AI 算力底座的高可用与高可靠
创新程度开拓性创新（行业首创）
Watch Jobs