高德地图
高德-AI Infra/模型推理工程师/专家-推理加速方向-视觉技术中心
高德-AI Infra/模型推理工程师/专家-推理加速方向-视觉技术中心
发布于 3 天前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
硕士
信息技术与基础设施
Ai Infra
Cuda
Vllm
分布式推理
推理加速
端云一体
算子优化
量化
Tensorrt-Llm
AI 估算 · 40k–70k
AI Infra方向稀缺，北京大厂硕士3年+专家级，薪资竞争力强，合理范围40k-70k/月
职位详情
关于这个职位
该职位是高德视觉技术中心的AI推理加速专家，负责构建面向具身智能与交互式世界模型的下一代推理基础设施
你将设计端云一体推理框架，优化模型加载、流式推理pipeline、实时调度与性能关键路径，并推动量化与算子优化，确保低延迟和高吞吐
适合在AI Infra领域有扎实经验、热衷于攻坚世界级技术难题的工程师
最低要求
● 学历与专业背景：3年以上工作经验，硕士及以上学历，中大厂AI Infra从事经验
● 能力要求：
有AI推理加速框架/引擎研发经验者优先，如参与过vLLM、TensorRT-LLM、Triton、OneFlow等相关框架的开发与优化
熟悉具身智能、交互式世界模型、机器人AI相关业务场景，了解实时推理、多模态融合推理、连续状态推理的技术难点者优先
具备分布式推理、多机多卡协同推理研发经验，熟悉NCCL、MPI等通信机制，能解决分布式场景下的通信瓶颈与调度问题
具备AI编译器、中间表示（IR）优化相关经验者优先，熟悉TVM、MLIR等编译工具链优先
具备良好的系统设计能力与问题排查能力，能独立解决复杂的性能瓶颈、内存溢出、硬件适配等工程问题
具备强烈的技术钻研精神，对AI基础设施、前沿AI场景落地有浓厚兴趣，善于攻克技术难题
良好的团队协作与沟通能力，能跨团队协同推进项目，清晰输出技术方案与成果
具备优秀的文档撰写与技术分享能力，注重代码质量与工程规范
工作职责
● 你将负责
) 推理基础框架与运行时
● 设计并实现端云一体推理框架：统一模型加载、版本管理、热更新、灰度与回滚能力
● 建设流式推理 pipeline：ingest → preprocess/encode → predict/plan → control，支持异步与背压
● 推理引擎集成与改造：vLLM / TensorRT-LLM / SGLang / TGI（云端），TensorRT / ONNX Runtime / TVM / NPU SDK（端侧）
) 实时调度与性能关键路径
● Prefill/Decode 分离调度（如适用）、长度分桶、连续 batching、尾延迟治理（P99/P999）
● KV cache 管理：paged/block、prefix/prompt cache、逐出策略、显存碎片治理
● 多机多卡并行与通信：TP/PP/EP（MoE），NVLink/IB/RDMA 等链路优化
● 投机解码/并行解码（Speculative/Medusa 等）在业务场景的落地与收益闭环
) 量化与算子/Kernel 优化
● 建立 profiling 体系：算子画像（attention/GEMM/视觉编码/采样解码等）、输入分布、性能回归基线
● 分层量化策略：FP8/INT8/INT4 与 activation-aware 量化，质量回归与灰度上线
● CUDA/Triton kernel、算子融合、内存与流水并行优化
端到端 latency 优化而非单点指标
) 可观测性与可靠性
● 建立实时推理指标体系：E2E latency、jitter、FPS/Hz、丢帧率、功耗/温控降频、OOM/重试等
● 帧级/样本级 tracing，故障定位、过载保护、降级与安全回退路径（端侧尤重）
AI 洞察
优缺点分析
优点
- 背靠高德海量用户场景，技术落地验证性强，成果直接影响数亿用户
- 团队技术氛围浓厚，有开源项目经验，可与业界顶尖人才合作
- 技术深度和广度要求极高，需要同时掌握云侧和端侧推理优化
- 需要持续跟踪前沿技术（如投机解码、量化新方法），学习成本高
- 适合在AI Infra领域有深厚功底、热爱攻坚克难、追求技术极致的技术专家
缺点 / 挑战
- 挑战世界级技术难题，参与具身智能等前沿场景的推理基础设施构建
- 实时推理场景对延迟和稳定性要求苛刻，运维压力较大
角色解读
- 技术深耕：成为AI Infra领域的顶级专家，主导推理架构演进
- 架构师方向：设计大规模端云推理系统，影响国民级应用的技术底座
- 技术管理：后续可带团队，负责推理加速方向的技术规划与人才建设
- 设计和实现端云一体推理框架，涵盖模型加载、版本管理、热更新及灰度回滚
- 构建流式推理pipeline，整合异步背压机制，优化实时调度与尾延迟
- 进行量化与算子优化，包括FP8/INT4量化、CUDA/Triton kernel开发和算子融合
- 建立可观测性体系，监控E2E延迟、抖动、吞吐等指标，确保系统可靠性
- 精通推理加速框架如vLLM、TensorRT-LLM，具备实际开发和优化经验
- 扎实的分布式推理与通信优化能力，熟悉NCCL、MPI及多机多卡并行策略
- 深厚的CUDA/Triton编程和算子优化经验，能独立解决性能瓶颈
- 系统设计能力，能处理内存溢出、硬件适配等复杂工程问题
申请策略
- 了解高德视觉技术中心的开源项目和技术方向，在面试中展现出对业务的思考
- 准备1-2个复杂的性能调优案例，能清晰讲述问题分析和解决过程
- 突出在vLLM、TensorRT-LLM等推理框架的实际贡献或优化案例
- 量化展示你优化的性能指标（如延迟降低x%、吞吐提升x倍）
- 强调分布式推理、多机多卡通信调优的具体项目经验
- 如有开源项目或技术博客，附上链接，体现技术影响力
- 深入掌握CUDA/Triton编程，建议完成一些Kernel优化实践
- 关注最新的推理加速技术，如Speculative Decoding、FlashAttention等
面试指南
- STAR法则：明确背景、任务、行动、结果，量化成效
- 系统思维：从全局出发，考虑模型-引擎-硬件-调度的全链路优化
- 深度剖析：不仅讲做法，还要解释为什么选择该方案，以及权衡取舍
- 请谈谈你在vLLM或TensorRT-LLM中的性能优化经验，具体做了什么？
- 如何设计一个支持高并发、低延迟的实时推理服务？
- 请解释Prefill/Decode分离调度和连续batching的原理及适用场景
- 描述一次你解决分布式训练或推理中的通信瓶颈的经历
- 对于端侧部署，你会如何平衡模型精度和推理速度？
职位点评
70
综合评分
大厂核心AI Infra，技术前沿，薪资优厚，但工作强度大，WLB一般。
更适合这类人
该职位最适合追求技术深度与前沿突破的求职者，对薪资和成长有高期待，愿意接受高强度工作。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展95
工作生活40
使命价值70
薪资福利
75中等
高德作为上市大厂，薪资和福利处于市场较高水平，但JD未明确薪酬范围，仅从公司背景推断较为优厚。
薪资信号未披露（AI估算：40K-70K/月）
成长发展
95较高
该职位聚焦前沿AI推理技术，涉及具身智能、实时推理等最新领域，技术成长空间极大，且团队有开源影响力。
技术前沿前沿/新兴技术
技术栈推理加速、vLLM、TensorRT-LLM、CUDA、Triton、分布式推理、量化、算子优化、端云一体、具身智能、世界模型
业务类型profit_center
工作生活
40较低
工作地点北京，现场办公，未提及弹性工作制或远程，AI Infra方向可能面临高强度迭代，WLB一般。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
高德地图服务数亿用户，技术有显著社会价值，但JD未强调使命导向，整体社会影响力中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs