高德地图
高德-AI Infra 训练与推理引擎优化专家-北京
高德-AI Infra 训练与推理引擎优化专家-北京
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Cuda
Deepspeed
Gpu/Npu
Megatron-Lm
Vllm
分布式训练
推理引擎优化
值不值得投
75综合评分
综合评分 75
顶尖AI Infra技术岗、薪资竞争力强、技术栈前沿，但工作强度可能较高，适合硬核技术人才。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
9.5万
比机器学习工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 250 个在招
市场机会
选择面较广
北京 · 机器学习工程 · 约 520 个在招
职位详情
关于这个职位
负责高德下一代AI基础设施的研发，核心聚焦大模型训练框架架构设计与性能优化，以及推理引擎的深度迭代
通过自研高性能算子、优化分布式通信与算力调度，显著降低训练与推理成本，并构建高可用可观测平台，支撑千亿参数级模型的稳定高效运行
最低要求
本科及以上学历，计算机科学、软件工程或相关专业，具备系统软件、高性能计算或 AI 基础设施方向的研发经验
精通 C++/Python，具备扎实的多线程、内存管理与性能剖析能力，熟悉 CUDA 编程模型与 GPU 体系结构，能独立完成算子级性能调优
深入理解主流训练框架（Megatron-LM、DeepSpeed、PyTorch FSDP）或推理引擎（vLLM、SGLang、TensorRT-LLM）的实现原理，具备二次开发或自研落地经验
具备千卡及以上规模分布式训练集群的实战经验，熟悉 NCCL、RDMA 等高性能通信机制，能定位并解决通信瓶颈、显存溢出与训练不稳定问题
具备较强的技术攻坚与跨团队协作能力，能在模糊问题中拆解目标、推动方案落地，并对性能与成本指标结果负责
工作职责
负责大模型训练框架的架构设计与性能优化，覆盖数据并行、张量并行、流水线并行与专家并行等分布式策略，支撑千亿参数级模型的稳定高效训练
主导推理引擎的研发与迭代，围绕 KV Cache 管理、Continuous Batching、投机解码、量化与算子融合等方向持续优化，显著降低首 Token 延迟与单位推理成本
深入 GPU/NPU 异构算力底层，结合 CUDA、Triton、FlashAttention 等技术自研高性能算子，打通编译器与运行时链路，充分释放硬件算力上限
建设训练与推理一体化的可观测与故障自愈能力，覆盖慢节点检测、通信抖动定位、断点续训与自动容错，保障大规模集群长周期任务的高可用
与 数据、算法、平台、业务团队协同，将训练加速与推理降本能力沉淀为标准化平台服务，推动优化成果在多条业务线规模化复用
优先资格
熟悉模型量化、稀疏化与编译优化（TVM、MLIR、Triton）等推理加速技术，有将优化方案落地到线上高并发服务并量化收益者优先
AI 洞察
优缺点分析
优点
- 接触最前沿的大模型训练与推理技术栈，技术壁垒极高
- 依托超大型互联网平台资源，拥有充足的算力与真实海量业务场景
- 直接参与核心基建建设，技术成果可规模化复用，职业背书强
- 需攻克极复杂的底层系统与硬件协同问题，技术攻关难度大
- 跨团队协作频繁，需在模糊需求中明确技术指标并推动落地
- 适合具备深厚系统编程功底、热衷底层技术攻坚、能承受高压并追求技术深度的资深工程师
缺点 / 挑战
- 大规模集群运维与故障排查压力大，对稳定性要求极高
角色解读
- 向AI基础设施架构师或首席工程师发展，主导公司级底层技术栈演进
- 转向大模型系统优化领域专家，深耕训推一体平台与云原生AI架构
- 积累大规模分布式系统经验后，可向技术管理或AI平台产品负责人转型
- 负责大模型训练框架的架构设计与分布式策略优化，保障千亿参数模型的高效训练
- 主导推理引擎研发与迭代，通过算子融合、量化等技术降低推理延迟与成本
- 深入GPU/NPU底层自研高性能算子，打通编译器与运行时链路以释放硬件算力
- 构建训推一体化可观测与故障自愈平台，保障大规模集群长期稳定运行
- 精通C++/Python及多线程/内存管理，具备扎实的代码性能剖析与调优能力
- 熟练掌握CUDA编程模型与GPU架构，能独立进行算子级开发与优化
- 深入理解主流训练/推理框架底层原理，具备二次开发或自研落地经验
- 熟悉千卡级分布式训练集群通信机制（NCCL/RDMA），能解决显存溢出与通信瓶颈
申请策略
- 提前研究高德地图在大模型导航、语音交互等业务上的AI应用布局，展现业务理解力
- 准备典型的技术攻坚案例，重点说明如何定位复杂瓶颈并给出系统性解决方案
- 突出千卡级分布式训练实战经验，量化性能提升与成本下降指标
- 详细列举自研算子或框架二次开发的具体案例与技术难点突破过程
- 强调跨团队协作推动技术方案规模化落地的完整闭环经历
- 深入研读Megatron-LM、DeepSpeed、vLLM等开源框架源码，掌握其调度与通信机制
- 强化CUDA/Triton高性能编程能力，熟悉FlashAttention等前沿算子实现原理
- 补充TVM/MLIR编译优化知识，提升从算法层到底层硬件的端到端优化视野
面试指南
- 采用STAR法则（情境-任务-行动-结果）结构化阐述技术攻坚过程，突出数据指标
- 结合底层原理（如GPU架构、NCCL通信机制）分析瓶颈根因，避免停留在表层工具使用
- 展示系统性思维，说明如何平衡性能、成本与稳定性，并体现跨团队协同推进能力
- 请详细描述你优化过的一个高性能算子或推理引擎模块，遇到了哪些瓶颈？如何解决的？
- 在千卡分布式训练中，如何定位并解决通信瓶颈或显存溢出问题？
- 对比Megatron-LM和DeepSpeed的并行策略，在实际业务中如何选择与调优？
- 如何设计一套支持断点续训与自动容错的训推平台可观测系统？
- 复习CUDA编程模型、GPU内存层次结构与主流并行策略的理论基础
职位点评
薪资福利85
成长发展95
工作生活40
使命价值60
薪资福利
85较高
该岗位定位为专家级技术角色，通常对应较高的薪酬带宽与市场竞争力，但JD未明确披露具体数字。
薪资信号未披露（AI估算：7.0千–12.0万/月）
成长发展
95较高
聚焦大模型训推引擎与底层硬件优化，技术栈处于行业绝对前沿，成长空间与技术深度极佳。
技术前沿前沿/新兴技术
技术栈CUDA、Triton、Megatron-LM、DeepSpeed、vLLM、NCCL、RDMA、TVM
业务类型cost_center
工作生活
40较低
JD未提及弹性工时或WLB保障，AI Infra底层优化与大规模集群运维通常伴随较高工作强度与应急响应压力。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
60中等
致力于构建高效AI基础设施，虽不直接面向终端用户，但对提升整体业务智能化水平具有间接社会价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
高德地图 的其他在招职位
相似职位推荐
Watch Jobs