阿里巴巴
高德-AI Infra 训练与推理引擎优化专家-北京
高德-AI Infra 训练与推理引擎优化专家-北京
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Cuda
Deepspeed
Gpu/Npu
Megatron-Lm
Vllm
分布式训练
推理引擎优化
值不值得投
78综合评分
综合评分 78
前沿AI基建、技术壁垒高、成长空间大，但工作强度与地点灵活性待确认
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
7.5万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3670 个在招 · 其中人工智能 约 370 个
市场机会
选择面较广
北京 · 人工智能 · 约 670 个在招
职位详情
关于这个职位
负责高德下一代AI研发基础设施建设，核心聚焦大模型训练框架架构设计与分布式策略优化，以及推理引擎的性能调优与降本
需深入GPU/NPU底层硬件，结合CUDA/Triton等自研高性能算子，并建设可观测与故障自愈能力，保障千卡级集群稳定高效运行
最低要求
本科及以上学历，计算机科学、软件工程或相关专业，具备系统软件、高性能计算或 AI 基础设施方向的研发经验
精通 C++/Python，具备扎实的多线程、内存管理与性能剖析能力，熟悉 CUDA 编程模型与 GPU 体系结构，能独立完成算子级性能调优
深入理解主流训练框架（Megatron-LM、DeepSpeed、PyTorch FSDP）或推理引擎（vLLM、SGLang、TensorRT-LLM）的实现原理，具备二次开发或自研落地经验
具备千卡及以上规模分布式训练集群的实战经验，熟悉 NCCL、RDMA 等高性能通信机制，能定位并解决通信瓶颈、显存溢出与训练不稳定问题
熟悉模型量化、稀疏化与编译优化（TVM、MLIR、Triton）等推理加速技术，有将优化方案落地到线上高并发服务并量化收益者优先
具备较强的技术攻坚与跨团队协作能力，能在模糊问题中拆解目标、推动方案落地，并对性能与成本指标结果负责
工作职责
负责大模型训练框架的架构设计与性能优化，覆盖数据并行、张量并行、流水线并行与专家并行等分布式策略，支撑千亿参数级模型的稳定高效训练
主导推理引擎的研发与迭代，围绕 KV Cache 管理、Continuous Batching、投机解码、量化与算子融合等方向持续优化，显著降低首 Token 延迟与单位推理成本
深入 GPU/NPU 异构算力底层，结合 CUDA、Triton、FlashAttention 等技术自研高性能算子，打通编译器与运行时链路，充分释放硬件算力上限
建设训练与推理一体化的可观测与故障自愈能力，覆盖慢节点检测、通信抖动定位、断点续训与自动容错，保障大规模集群长周期任务的高可用
与 数据、算法、平台、业务团队协同，将训练加速与推理降本能力沉淀为标准化平台服务，推动优化成果在多条业务线规模化复用
优先资格
有将优化方案落地到线上高并发服务并量化收益者优先
AI 洞察
优缺点分析
优点
- 直接参与千亿参数级大模型底层基建，技术壁垒极高且行业稀缺性强
- 接触最前沿的分布式训练与推理加速技术栈，能快速积累硬核工程经验
- 依托头部企业海量算力与真实业务场景，优化成果可直接规模化复用
- 绩效导向明确，技术攻坚能力易转化为职级晋升与长期激励
- 技术迭代极快，需持续跟进Compiler、NPU生态等前沿动态以保持竞争力
- 适合具备深厚系统软件功底、热衷于底层性能压榨与分布式架构设计，且能承受高强度技术攻坚的资深工程师
缺点 / 挑战
- 千卡集群调试与通信瓶颈排查难度极大，需具备极强的底层排错能力
- 训推平台化推进涉及多团队协同，跨部门沟通与资源协调成本较高
角色解读
- 向AI Infra首席架构师演进，主导集团级底层基础设施规划与技术选型
- 横向拓展至云原生算力调度、异构计算平台或大模型全栈研发领域
- 转向技术管理或战略咨询，负责AI基础设施团队建设与行业技术布道
- 负责大模型训练框架的架构设计与分布式策略优化，保障千亿参数级模型的高效训练
- 主导推理引擎研发与迭代，通过KV Cache管理、算子融合等技术降低延迟与推理成本
- 深入GPU/NPU底层自研高性能算子，打通编译器与运行时链路以释放硬件算力上限
- 建设训推一体化可观测与故障自愈系统，保障大规模集群长周期任务的高可用性
- 精通C++/Python，具备扎实的多线程、内存管理及性能剖析能力
- 熟练掌握CUDA编程模型与GPU体系结构，能独立完成算子级性能调优
- 深入理解主流训练/推理框架底层原理，具备二次开发或自研落地经验
- 熟悉千卡级分布式集群通信机制（NCCL/RDMA）及模型量化、编译优化技术
申请策略
- 提前研究高德在大模型应用侧的业务场景，思考Infra如何反哺上层应用体验
- 准备1-2个完整的性能调优Case，按STAR法则结构化梳理技术决策与取舍过程
- 突出千卡级分布式训练实战案例，量化显存优化比例与训练速度提升数据
- 详细列举自研算子或框架二次开发经历，附Benchmark对比与线上落地收益
- 强调跨团队协作经验，展示如何将技术方案沉淀为标准化平台服务
- 清晰呈现CUDA/Triton底层调优路径，体现对GPU/NPU硬件特性的深刻理解
- 强化NCCL/RDMA网络通信原理与Profile工具使用，掌握集群级性能诊断方法
- 深入研读Megatron-LM/vLLM源码，梳理数据/张量/流水线并行的实现细节
面试指南
- 采用STAR法则（情境-任务-行动-结果），重点突出技术选型依据、瓶颈定位方法与量化收益
- 针对框架对比类问题，从架构设计、适用场景、维护成本三个维度进行客观权衡
- 面对模糊需求，先对齐业务核心指标（如延迟/成本/稳定性），再输出分阶段交付路线图
- 请详细描述一次你解决千卡集群通信瓶颈或显存溢出的完整过程
- 对比Megatron-LM与DeepSpeed的并行策略差异，在实际场景中如何选择？
- 如何通过Triton自研算子替代传统CUDA Kernel？面临哪些兼容性挑战？
- 推理引擎中KV Cache管理与Continuous Batching如何协同以降低首Token延迟？
- 当业务方需求模糊时，你如何拆解目标并推动Infra能力标准化落地？
职位点评
薪资福利80
成长发展92
工作生活55
使命价值78
薪资福利
80较高
JD未明确披露薪资与福利细节，但AI Infra专家岗属市场稀缺序列，头部企业通常提供具有竞争力的现金薪酬与长期激励组合。
薪资信号未披露（AI估算：5.5千–9.5万/月）
成长发展
92较高
岗位深度绑定大模型底层基建与异构算力优化，技术栈处于行业绝对前沿，能提供极高的专业成长空间与技术视野。
技术前沿前沿/新兴技术
技术栈CUDA、Triton、Megatron-LM、DeepSpeed、vLLM、分布式训练、推理引擎优化、GPU/NPU
业务类型cost_center
工作生活
55较低
JD未提及弹性工时或远程办公政策，作为核心基建团队需保障大规模集群长周期任务的高可用，工作节奏可能偏紧凑。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
78中等
岗位致力于构建高效稳定的AI研发底座，直接赋能大模型技术普惠与业务智能化升级，具备较强的技术使命感与行业前瞻性。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs