阿里巴巴
高德-AI Infra/模型推理工程师/专家-推理加速方向-视觉技术中心
高德-AI Infra/模型推理工程师/专家-推理加速方向-视觉技术中心
发布于 大约 9 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
硕士
算法优化工程师
Ai Infra
Cuda
Tensorrt-Llm
Vllm
具身智能
分布式推理
多模态
推理加速
量化
AI 估算 · 50k–80k
职位详情
关于这个职位
这是阿里巴巴高德地图视觉技术中心的核心技术岗位，专注于构建面向具身智能与交互式世界模型的下一代AI推理基础设施
你将负责推理加速框架、实时调度、量化与算子优化等关键性能机制，打通模型到硬件的全链路，挑战世界级技术难题，用AI驱动国民级APP的创新
该岗位技术挑战大，适合对AI基础设施有浓厚兴趣、追求技术深度的资深工程师
最低要求
学历与专业背景：
年以上工作经验，硕士及以上学历，中大厂AI Infra从事经验
能力要求：
有AI推理加速框架/引擎研发经验者优先，如参与过vLLM、TensorRT-LLM、Triton、OneFlow等相关框架的开发与优化
熟悉具身智能、交互式世界模型、机器人AI相关业务场景，了解实时推理、多模态融合推理、连续状态推理的技术难点者优先
具备分布式推理、多机多卡协同推理研发经验，熟悉NCCL、MPI等通信机制，能解决分布式场景下的通信瓶颈与调度问题
具备AI编译器、中间表示（IR）优化相关经验者优先，熟悉TVM、MLIR等编译工具链优先
具备良好的系统设计能力与问题排查能力，能独立解决复杂的性能瓶颈、内存溢出、硬件适配等工程问题
具备强烈的技术钻研精神，对AI基础设施、前沿AI场景落地有浓厚兴趣，善于攻克技术难题
良好的团队协作与沟通能力，能跨团队协同推进项目，清晰输出技术方案与成果
具备优秀的文档撰写与技术分享能力，注重代码质量与工程规范
工作职责
你将负责推理加速基础框架与关键性能机制建设，打通“模型—引擎—硬件—调度—观测”的全链路
) 推理基础框架与运行时
● 设计并实现端云一体推理框架：统一模型加载、版本管理、热更新、灰度与回滚能力
● 建设流式推理 pipeline：ingest → preprocess/encode → predict/plan → control，支持异步与背压
● 推理引擎集成与改造：vLLM / TensorRT-LLM / SGLang / TGI（云端），TensorRT / ONNX Runtime / TVM / NPU SDK（端侧）
) 实时调度与性能关键路径
● Prefill/Decode 分离调度（如适用）、长度分桶、连续 batching、尾延迟治理（P99/P999）
● KV cache 管理：paged/block、prefix/prompt cache、逐出策略、显存碎片治理
● 多机多卡并行与通信：TP/PP/EP（MoE），NVLink/IB/RDMA 等链路优化
● 投机解码/并行解码（Speculative/Medusa 等）在业务场景的落地与收益闭环
) 量化与算子/Kernel 优化
● 建立 profiling 体系：算子画像（attention/GEMM/视觉编码/采样解码等）、输入分布、性能回归基线
● 分层量化策略：FP8/INT8/INT4 与 activation-aware 量化，质量回归与灰度上线
● CUDA/Triton kernel、算子融合、内存与流水并行优化
端到端 latency 优化而非单点指标
) 可观测性与可靠性
● 建立实时推理指标体系：E2E latency、jitter、FPS/Hz、丢帧率、功耗/温控降频、OOM/重试等
● 帧级/样本级 tracing，故障定位、过载保护、降级与安全回退路径（端侧尤重）
AI 洞察
优缺点分析
优点
- 高德地图是国民级应用，业务场景丰富，技术成果能快速落地并产生实际影响
- 阿里巴巴大厂平台，资源丰富，薪资福利有竞争力，职业发展路径清晰
- 工作强度可能较大，需要应对复杂的性能问题和快速迭代的业务需求
- 对综合能力要求高，不仅需要技术深度，还需要跨团队协作和沟通能力
缺点 / 挑战
- 技术挑战大，能接触到具身智能、世界模型等前沿AI场景，技术成长空间巨大
- 技术难度高，需要深入理解推理引擎、硬件架构、分布式系统等多个领域，学习压力大
- 适合对AI基础设施有强烈兴趣，具备扎实底层技术功底，喜欢挑战技术难题，追求技术卓越的资深工程师
角色解读
- 技术专家路线：在AI推理加速领域深耕，成为该领域的顶尖专家，主导核心技术的演进
- 架构师路线：从单一模块优化走向整体系统架构设计，负责大规模推理基础设施的规划与建设
- 管理路线：随着团队扩张，有机会带领技术小组，负责项目管理和团队建设
- 设计并实现端云一体的AI推理框架，负责模型加载、版本管理、热更新等基础能力建设
- 优化推理引擎（如vLLM、TensorRT-LLM）的性能，包括调度策略、KV cache管理、并行通信等关键路径
- 进行量化、算子融合和Kernel优化，提升模型在云端和端侧的推理效率
- 建立可观测性体系，监控和优化端到端延迟、吞吐量、稳定性等核心指标
- 精通C++/Python，具备扎实的系统编程和性能优化能力
- 深入理解主流推理引擎（vLLM、TensorRT-LLM等）的架构和原理
- 熟悉CUDA/Triton编程，具备算子开发和优化的实际经验
- 了解分布式系统、并行计算和常用通信库（NCCL、MPI）
申请策略
- 在简历中明确写出你解决过的复杂性能问题，用数据量化成果
- 面试前，可以深入了解高德地图的业务场景，思考AI推理技术如何与地图、自动驾驶等业务结合
- 突出在AI推理加速、性能优化方面的项目经验，特别是参与过vLLM、TensorRT-LLM等开源框架的优化工作
- 详细描述在分布式推理、多机多卡协同、通信优化方面的具体案例和成果
- 强调对CUDA/Triton等底层编程的熟练度，以及量化、算子融合等优化技术的实际应用
- 展示对具身智能、世界模型等前沿领域的理解和项目实践
- 深入学习vLLM、TensorRT-LLM等主流推理引擎的源码，理解其核心设计思想
- 系统复习CUDA编程、GPU架构、分布式系统等底层知识，提升性能调优能力
面试指南
- 回答技术问题时，可以采用STAR法则（情境、任务、行动、结果），清晰描述项目背景、你的职责、具体行动和量化成果
- 对于系统设计问题，可以从需求分析、架构选型、关键模块设计、性能评估等维度进行阐述，体现系统思维
- 对于优化类问题，可以强调你的分析思路（如Profiling、瓶颈定位）和迭代优化过程，展示解决问题的能力
- 请详细介绍一下你参与过的推理引擎优化项目，具体解决了什么问题？
- 如何设计一个支持高并发、低延迟的端云一体推理系统？
- 谈谈你对KV Cache、PagedAttention等技术的理解，以及如何优化显存占用？
- 在分布式推理中，如何解决多机多卡通信瓶颈？
- 如何评估和优化一个模型的端到端推理延迟？请举例说明
职位点评
76
综合评分
高薪大厂、前沿技术栈、技术挑战大，但WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
该职位最适合以技术成长为核心驱动力，追求前沿技术挑战，对薪资和职业发展有较高期望，并能接受高强度工作的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展95
工作生活40
使命价值85
薪资福利
80较高
该职位属于阿里巴巴集团，薪资水平在行业内具有较强竞争力，福利待遇完善，能满足求职者对高薪和稳定性的需求。
薪资信号未披露（AI估算：50K-80K/月）
成长发展
95较高
该职位处于AI技术最前沿，涉及具身智能、世界模型等新兴领域，技术挑战大，成长空间广阔，能极大满足求职者的技术成长需求。
技术前沿前沿/新兴技术
技术栈AI Infra、推理加速、vLLM、TensorRT-LLM、CUDA、Triton、量化、具身智能、多模态
业务类型profit_center
工作生活
40较低
该职位要求在北京现场办公，未提及弹性工作或远程办公，且大厂高强度工作文化可能对工作生活平衡有一定影响。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
85较高
高德地图作为国民级应用，其AI技术能直接改善数亿用户的出行体验，具有较高的社会价值。同时，AI基础设施是未来智能社会的基石，行业前景广阔。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号用AI驱动国民级APP的产品迭代和颠覆式创新
创新程度开拓性创新（行业首创）
Watch Jobs