Alibaba logo
阿里巴巴
基础设施与稳定性工程-系统软件研发工程师-AI加速芯片方向

基础设施与稳定性工程-系统软件研发工程师-AI加速芯片方向

发布于 2 小时前

普通员工/个人贡献者

AI 估算 · 5.0–8.5万 · AI 参考估算
高级经验
本科
全职员工仅现场办公系统与安全工程
系统与安全工程
Gpu虚拟化
Linux系统编程
Pytorch
Vllm
编译工具链

值不值得投

80综合评分

综合评分 80

AI加速器系统软件核心岗,技术前沿且成长性强,办公灵活性与WLB信息未披露。

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

6.8万

比系统与安全工程中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 5200 个在招 · 其中系统与安全工程 4 个

市场机会

选择适中

杭州 · 系统与安全工程 · 28 个在招

职位详情

关于这个职位

该岗位聚焦 AI 加速芯片的系统软件与稳定性建设,负责 GPU/PPU 等加速器的驱动、CUDA 兼容运行时、编译工具链和框架接入

你将参与大模型训练与推理集群的软硬协同优化,提升超节点架构下的性能、稳定性和生态兼容能力

最低要求

任职要求(基本要求):

计算机、电子、自动化等相关专业本科及以上学历,5 年以上系统软件开发经验(职级可上浮)
精通 C/C++(掌握 Rust/Python 者加分),熟悉 Linux 操作系统原理,具备扎实的系统编程与问题定位能力
深入理解 GPU 计算栈分层架构(硬件 → 驱动 → Driver API/Runtime → 编译器 → 框架),具备跨层问题的独立分析与闭环能力
熟悉 GPU 编程模型,有大模型训练或推理系统的实战优化经验,了解至少一种主流推理引擎或训练框架的内部机制
良好的跨团队沟通与推动能力,能与硬件、驱动、编译器、框架团队协同交付

工作职责

岗位职责

负责 AI 加速器(GPU/PPU等)系统软件栈的设计与研发,覆盖内核/用户态驱动、CUDA 兼容层(Driver API/Runtime API)、Pytorch、编译工具链等核心组件
建设 AI 系统运行时能力:设备管理与虚拟化、多卡多机通信与拓扑管理,打造与 CUDA 生态兼容的高性能运行时
超节点架构设计与优化:拓扑发现与建模、亲和性、跨机互联通信优化、软硬协同分析优化
建设性能分析与调优体系,定位并解决驱动/运行时/框架层的复杂系统问题,持续提升集群性能与稳定性

优先资格

加分项:

一、底层驱动
有 AI 加速器内核驱动开发经验(比如 NV open-gpu-kernel-modules 源码级二次开发经验)、GPU 子系统开发经验(MMU/IOMMU 与页表管理、SVM 共享虚拟内存、DMA/BCE、BAR 空间映射与访问)
有 GPU 虚拟化与隔离技术经验(vGPU、MIG、SR-IOV、VFIO),或机密计算(CC/TDX/SEV)场景的系统适配经验
有国产加速卡(NPU/PPU/TPU)BSP 适配或用户态驱动(UMD)从 0 到 1 的建设经验
二、运行时
有 CUDA Driver API / Runtime API 的深度开发经验,或 hook/劫持层(API shim、LD_PRELOAD 拦截等)开发经验
有 CUDA Stream/Graph、MPS、Green Context、MIG 等任务调度与资源隔离机制的优化经验
有 CUDA IPC、GPUDirect RDMA、NVLink P2P 等跨卡/跨机通信链路的开发或调优经验,熟悉 NCCL 等集合通信库的实现与扩展
有 CUDA 工具链与二进制生态经验(NVCC、PTX/SASS、cuobjdump/nvdisasm、Nsight/CUPTI),或对标运行时(HIP、oneAPI Level Zero、CANN ACL 等)开发与 CUDA 生态兼容层移植经验
,有超节点/大规模集群拓扑管理经验(拓扑发现与建模、亲和性并行映射、跨机互联带宽优化)
三、框架层
有 PyTorch 底层开发经验(dispatcher 注册机制、自定义算子、CUDACachingAllocator 定制、PrivateUse1 自定义后端接入、c10d 通信层扩展)
有 torch.compile / Triton / 图编译器的开发经验,熟悉 TorchDynamo、AOTAutograd、dynamic shape 等编译链路
有大规模集群性能调优与稳定性建设经验(MFU/HFU 提升、慢节点与故障自动定位、通信带宽瓶颈分析)
有大模型并行策略(TP/PP/DP/EP/SP)与 PD 分离部署、KV Cache 分层存储/跨节点迁移等推理架构优化的落地经验
有训练框架(Megatron-LM/DeepSpeed/FSDP)与底层系统协同优化经验(通信计算 overlap、显存 offload/重计算、容错与弹性训练)
有主流推理引擎(vLLM/SGLang/TensorRT-LLM 等)核心模块开发或深度优化经验(PagedAttention、Continuous Batching、投机解码、量化推理)

AI 洞察

优缺点分析

优点

  • 岗位处于 AI 加速芯片与大模型基础设施交叉方向,技术深度和行业稀缺性较强
  • 覆盖驱动、运行时、编译工具链、框架接入全链路,有利于形成完整的 AI 系统软件能力
  • 参与大规模训练与推理集群优化,项目复杂度高,能积累稀缺的软硬协同实战经验
  • 团队与硬件、编译器、框架等多方协作,技术视野和跨团队影响力提升空间较大
  • 技术栈跨度极大,需要同时理解底层驱动、GPU 架构、运行时生态和大模型框架
  • 问题定位难度高,性能与稳定性问题往往涉及跨层、跨团队协同排查
  • AI 集群和加速器迭代快,需要持续跟进 CUDA、PyTorch、vLLM 等生态变化
  • 适合有五年以上系统软件经验、熟悉 GPU 计算栈并希望深入 AI 基础设施与加速器生态的资深工程师

缺点 / 挑战

暂无明显挑战项

角色解读

  • 可向 AI 系统软件专家方向发展,深耕驱动、运行时、编译器和框架协同优化
  • 可成长为大规模 AI 集群性能与稳定性架构师,负责超节点、互联拓扑和训练推理平台能力建设
  • 长期也可转向技术管理,带领系统软件或 AI 基础设施团队制定技术路线
  • 负责 AI 加速器系统软件栈研发,包括内核态/用户态驱动、CUDA 兼容层、运行时和编译工具链等核心组件
  • 围绕大模型训练和推理场景,进行 GPU/PPU 设备管理、虚拟化、多卡多机通信和拓扑管理建设
  • 参与超节点架构设计与软硬协同优化,解决跨卡、跨机互联和集群调度中的性能瓶颈
  • 建立性能分析与稳定性体系,定位驱动、运行时、框架层的复杂问题并推动闭环
  • 需要扎实的 C/C++、Linux 系统编程和问题定位能力,能够处理底层系统软件中的复杂缺陷
  • 需要深入理解 GPU 计算栈,从硬件、驱动、Driver/Runtime API 到编译器和框架具备跨层分析能力
  • 需要熟悉 CUDA、PyTorch、vLLM、Megatron 等生态,理解大模型训练或推理系统的性能瓶颈
  • 需要较强的跨团队推动能力,能与硬件、驱动、编译器、框架等团队协作交付

申请策略

  • 面试前梳理一到两个完整的跨层问题定位案例,按现象、工具、假设、验证、修复和收益来准备
  • 关注 AI 加速器生态兼容、超节点互联和大模型推理架构趋势,面试中体现对业务场景的理解
  • 突出 C/C++、Linux 系统编程、驱动或运行时开发经历,尤其是可量化的性能提升和稳定性治理成果
  • 重点展示对 GPU 计算栈的理解,包括 Driver API、Runtime API、CUDA Stream/Graph、NCCL、GPUDirect 等实际经验
  • 写明参与过的大模型训练或推理优化项目,如 PyTorch、Megatron、vLLM、TensorRT-LLM、SGLang 等
  • 强调跨团队协作经历,说明如何与硬件、驱动、编译器或框架团队共同定位和解决问题
  • 补齐 CUDA 生态底层知识,重点理解 Driver/Runtime API、PTX/SASS、Nsight/CUPTI 和 NCCL 实现机制
  • 加深 PyTorch 底层与推理引擎理解,熟悉 dispatcher、自定义算子、CUDACachingAllocator、PagedAttention 等关键模块

面试指南

  • 复杂问题类回答采用“背景—现象—定位工具—关键假设—验证过程—最终修复—量化收益”的结构
  • 技术原理类回答先讲分层架构,再讲关键组件职责,最后结合项目中的实际使用或优化经验
  • 性能优化类回答按照指标定义、瓶颈定位、方案设计、实验对比、稳定性验证和收益复盘展开
  • 请描述一次你定位驱动、运行时或框架层复杂性能问题的完整过程
  • CUDA Driver API 与 Runtime API 的区别是什么?你在项目中如何使用或改造过它们?
  • 多卡多机通信中遇到带宽瓶颈时,你会如何定位和优化?
  • 如何理解 PyTorch 到 GPU 驱动之间的调用链路?请举例说明跨层问题排查方法
  • 对 vLLM、Megatron 或 TensorRT-LLM 中的性能优化机制有哪些实际经验?

职位点评

薪资福利82
成长发展92
工作生活55
使命价值86

薪资福利

82较高

JD未披露薪资和福利信息,但岗位要求资深系统软件与GPU全栈优化经验,通常对应较高技术回报。稳定性与福利相关条款未提及,需面试确认。

薪资信号未披露(AI估算:5.0千–8.5万/月)

成长发展

92较高

岗位覆盖驱动、CUDA兼容运行时、编译工具链、框架接入和超节点优化,技术深度与跨层成长空间非常强。JD未提及明确晋升通道或培训机制。

技术前沿前沿/新兴技术
技术栈AI加速器、GPU、PPU、CUDA、Linux、C/C++、PyTorch、vLLM、Megatron、编译工具链、GPU虚拟化、NCCL
业务类型ambiguous

工作生活

55较低

JD仅明确地点为杭州,未说明远程、弹性或加班政策,因此办公灵活性无法判断。岗位涉及复杂系统问题与集群稳定性,但JD未直接描述工作强度。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

86较高

岗位服务于AI加速器系统软件生态和大规模训练推理集群效率提升,处于AI基础设施关键方向,技术影响力较强。JD未直接描述社会使命或公共价值表述。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs