
阿里巴巴
基础设施与稳定性工程-系统软件研发工程师-AI加速芯片方向
基础设施与稳定性工程-系统软件研发工程师-AI加速芯片方向
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公系统与安全工程
系统与安全工程
Gpu虚拟化
Linux系统编程
Pytorch
Vllm
编译工具链
值不值得投
80综合评分
综合评分 80
AI加速器系统软件核心岗,技术前沿且成长性强,办公灵活性与WLB信息未披露。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
6.8万
比系统与安全工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 5200 个在招 · 其中系统与安全工程 4 个
市场机会
选择适中
杭州 · 系统与安全工程 · 28 个在招
职位详情
关于这个职位
该岗位聚焦 AI 加速芯片的系统软件与稳定性建设,负责 GPU/PPU 等加速器的驱动、CUDA 兼容运行时、编译工具链和框架接入
你将参与大模型训练与推理集群的软硬协同优化,提升超节点架构下的性能、稳定性和生态兼容能力
最低要求
任职要求(基本要求):
计算机、电子、自动化等相关专业本科及以上学历,5 年以上系统软件开发经验(职级可上浮)
精通 C/C++(掌握 Rust/Python 者加分),熟悉 Linux 操作系统原理,具备扎实的系统编程与问题定位能力
深入理解 GPU 计算栈分层架构(硬件 → 驱动 → Driver API/Runtime → 编译器 → 框架),具备跨层问题的独立分析与闭环能力
熟悉 GPU 编程模型,有大模型训练或推理系统的实战优化经验,了解至少一种主流推理引擎或训练框架的内部机制
良好的跨团队沟通与推动能力,能与硬件、驱动、编译器、框架团队协同交付
工作职责
岗位职责
负责 AI 加速器(GPU/PPU等)系统软件栈的设计与研发,覆盖内核/用户态驱动、CUDA 兼容层(Driver API/Runtime API)、Pytorch、编译工具链等核心组件
建设 AI 系统运行时能力:设备管理与虚拟化、多卡多机通信与拓扑管理,打造与 CUDA 生态兼容的高性能运行时
超节点架构设计与优化:拓扑发现与建模、亲和性、跨机互联通信优化、软硬协同分析优化
建设性能分析与调优体系,定位并解决驱动/运行时/框架层的复杂系统问题,持续提升集群性能与稳定性
优先资格
加分项:
一、底层驱动
有 AI 加速器内核驱动开发经验(比如 NV open-gpu-kernel-modules 源码级二次开发经验)、GPU 子系统开发经验(MMU/IOMMU 与页表管理、SVM 共享虚拟内存、DMA/BCE、BAR 空间映射与访问)
有 GPU 虚拟化与隔离技术经验(vGPU、MIG、SR-IOV、VFIO),或机密计算(CC/TDX/SEV)场景的系统适配经验
有国产加速卡(NPU/PPU/TPU)BSP 适配或用户态驱动(UMD)从 0 到 1 的建设经验
二、运行时
有 CUDA Driver API / Runtime API 的深度开发经验,或 hook/劫持层(API shim、LD_PRELOAD 拦截等)开发经验
有 CUDA Stream/Graph、MPS、Green Context、MIG 等任务调度与资源隔离机制的优化经验
有 CUDA IPC、GPUDirect RDMA、NVLink P2P 等跨卡/跨机通信链路的开发或调优经验,熟悉 NCCL 等集合通信库的实现与扩展
有 CUDA 工具链与二进制生态经验(NVCC、PTX/SASS、cuobjdump/nvdisasm、Nsight/CUPTI),或对标运行时(HIP、oneAPI Level Zero、CANN ACL 等)开发与 CUDA 生态兼容层移植经验
,有超节点/大规模集群拓扑管理经验(拓扑发现与建模、亲和性并行映射、跨机互联带宽优化)
三、框架层
有 PyTorch 底层开发经验(dispatcher 注册机制、自定义算子、CUDACachingAllocator 定制、PrivateUse1 自定义后端接入、c10d 通信层扩展)
有 torch.compile / Triton / 图编译器的开发经验,熟悉 TorchDynamo、AOTAutograd、dynamic shape 等编译链路
有大规模集群性能调优与稳定性建设经验(MFU/HFU 提升、慢节点与故障自动定位、通信带宽瓶颈分析)
有大模型并行策略(TP/PP/DP/EP/SP)与 PD 分离部署、KV Cache 分层存储/跨节点迁移等推理架构优化的落地经验
有训练框架(Megatron-LM/DeepSpeed/FSDP)与底层系统协同优化经验(通信计算 overlap、显存 offload/重计算、容错与弹性训练)
有主流推理引擎(vLLM/SGLang/TensorRT-LLM 等)核心模块开发或深度优化经验(PagedAttention、Continuous Batching、投机解码、量化推理)
AI 洞察
优缺点分析
优点
- 岗位处于 AI 加速芯片与大模型基础设施交叉方向,技术深度和行业稀缺性较强
- 覆盖驱动、运行时、编译工具链、框架接入全链路,有利于形成完整的 AI 系统软件能力
- 参与大规模训练与推理集群优化,项目复杂度高,能积累稀缺的软硬协同实战经验
- 团队与硬件、编译器、框架等多方协作,技术视野和跨团队影响力提升空间较大
- 技术栈跨度极大,需要同时理解底层驱动、GPU 架构、运行时生态和大模型框架
- 问题定位难度高,性能与稳定性问题往往涉及跨层、跨团队协同排查
- AI 集群和加速器迭代快,需要持续跟进 CUDA、PyTorch、vLLM 等生态变化
- 适合有五年以上系统软件经验、熟悉 GPU 计算栈并希望深入 AI 基础设施与加速器生态的资深工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向 AI 系统软件专家方向发展,深耕驱动、运行时、编译器和框架协同优化
- 可成长为大规模 AI 集群性能与稳定性架构师,负责超节点、互联拓扑和训练推理平台能力建设
- 长期也可转向技术管理,带领系统软件或 AI 基础设施团队制定技术路线
- 负责 AI 加速器系统软件栈研发,包括内核态/用户态驱动、CUDA 兼容层、运行时和编译工具链等核心组件
- 围绕大模型训练和推理场景,进行 GPU/PPU 设备管理、虚拟化、多卡多机通信和拓扑管理建设
- 参与超节点架构设计与软硬协同优化,解决跨卡、跨机互联和集群调度中的性能瓶颈
- 建立性能分析与稳定性体系,定位驱动、运行时、框架层的复杂问题并推动闭环
- 需要扎实的 C/C++、Linux 系统编程和问题定位能力,能够处理底层系统软件中的复杂缺陷
- 需要深入理解 GPU 计算栈,从硬件、驱动、Driver/Runtime API 到编译器和框架具备跨层分析能力
- 需要熟悉 CUDA、PyTorch、vLLM、Megatron 等生态,理解大模型训练或推理系统的性能瓶颈
- 需要较强的跨团队推动能力,能与硬件、驱动、编译器、框架等团队协作交付
申请策略
- 面试前梳理一到两个完整的跨层问题定位案例,按现象、工具、假设、验证、修复和收益来准备
- 关注 AI 加速器生态兼容、超节点互联和大模型推理架构趋势,面试中体现对业务场景的理解
- 突出 C/C++、Linux 系统编程、驱动或运行时开发经历,尤其是可量化的性能提升和稳定性治理成果
- 重点展示对 GPU 计算栈的理解,包括 Driver API、Runtime API、CUDA Stream/Graph、NCCL、GPUDirect 等实际经验
- 写明参与过的大模型训练或推理优化项目,如 PyTorch、Megatron、vLLM、TensorRT-LLM、SGLang 等
- 强调跨团队协作经历,说明如何与硬件、驱动、编译器或框架团队共同定位和解决问题
- 补齐 CUDA 生态底层知识,重点理解 Driver/Runtime API、PTX/SASS、Nsight/CUPTI 和 NCCL 实现机制
- 加深 PyTorch 底层与推理引擎理解,熟悉 dispatcher、自定义算子、CUDACachingAllocator、PagedAttention 等关键模块
面试指南
- 复杂问题类回答采用“背景—现象—定位工具—关键假设—验证过程—最终修复—量化收益”的结构
- 技术原理类回答先讲分层架构,再讲关键组件职责,最后结合项目中的实际使用或优化经验
- 性能优化类回答按照指标定义、瓶颈定位、方案设计、实验对比、稳定性验证和收益复盘展开
- 请描述一次你定位驱动、运行时或框架层复杂性能问题的完整过程
- CUDA Driver API 与 Runtime API 的区别是什么?你在项目中如何使用或改造过它们?
- 多卡多机通信中遇到带宽瓶颈时,你会如何定位和优化?
- 如何理解 PyTorch 到 GPU 驱动之间的调用链路?请举例说明跨层问题排查方法
- 对 vLLM、Megatron 或 TensorRT-LLM 中的性能优化机制有哪些实际经验?
职位点评
薪资福利82
成长发展92
工作生活55
使命价值86
薪资福利
82较高
JD未披露薪资和福利信息,但岗位要求资深系统软件与GPU全栈优化经验,通常对应较高技术回报。稳定性与福利相关条款未提及,需面试确认。
薪资信号未披露(AI估算:5.0千–8.5万/月)
成长发展
92较高
岗位覆盖驱动、CUDA兼容运行时、编译工具链、框架接入和超节点优化,技术深度与跨层成长空间非常强。JD未提及明确晋升通道或培训机制。
技术前沿前沿/新兴技术
技术栈AI加速器、GPU、PPU、CUDA、Linux、C/C++、PyTorch、vLLM、Megatron、编译工具链、GPU虚拟化、NCCL
业务类型ambiguous
工作生活
55较低
JD仅明确地点为杭州,未说明远程、弹性或加班政策,因此办公灵活性无法判断。岗位涉及复杂系统问题与集群稳定性,但JD未直接描述工作强度。
工作模式未明确
办公地点未明确
加班情况未提及(无法判断)
使命价值
86较高
岗位服务于AI加速器系统软件生态和大规模训练推理集群效率提升,处于AI基础设施关键方向,技术影响力较强。JD未直接描述社会使命或公共价值表述。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
系统工程师89348504
TCL · 成都市
AI 估算 · 2.5–4.5万10 小时前发布
Software Engineer - Future Computing Prototyping Studio
惠普 · 上海市
AI 估算 · 4.5–7.5万1 天前发布
System Debug Software Engineer
英特尔 · 上海市
AI 估算 · 3.5–6.5万1 天前发布
Senior System Application Engineer
英伟达 · 台北市
AI 估算 · 4.5–7.5万2 天前发布
System Engineer(J11977)
豪威集团 · 上海市
AI 估算 · 2.5–4.0万4 天前发布
Senior System Engineer
丹纳赫 · 苏州市
AI 估算 · 2.0–3.5万7 天前发布
(Industrial) System Architect
飞利浦 · 深圳市
AI 估算 · 4.0–7.0万10 天前发布
功能系统工程师 Function System Engineer
奔驰 · 上海市
AI 估算 · 3.5–5.5万10 天前发布
Watch Jobs