高德-大模型推理引擎工程师/专家-北京

优缺点分析

角色解读

• 技术深度上，可从推理优化专家向系统架构师或AI Infra负责人发展
• 业务广度上，可拓展至多模态大模型、端侧推理等前沿方向
• 管理路径上，可逐步带领团队，成为技术Leader或总监
• 设计并落地全双工语音交互推理引擎架构，涵盖降噪、ASR、TTS等全链路模型推理服务
• 针对流式语音大模型进行极致性能优化，包括算子定制、低精度量化、分布式推理等
• 搭建从训练到部署的自动化工具链，保障线上服务的高并发、低延迟稳定性
• 预研大语言模型推理加速技术（如KV Cache优化、投机解码），打通多模态交互链路
• 精通C/C++和Python，具备扎实的算法与数据结构基础
• 精通CUDA编程和GPU性能优化，有深度学习算子开发经验
• 熟悉TensorRT、ONNX Runtime等推理框架，并有深度二次开发经验
• 掌握Transformer、Conformer等模型结构，了解语音大模型推理瓶颈

申请策略

• 了解高德语音交互场景（如车载导航、步行语音助手），可在面试中体现业务理解
• 关注阿里集团内部推理引擎相关开源项目（如BladeDISC），展示技术热情
• 突出CUDA算子开发和推理框架二次优化的项目经历，提供具体性能提升数据
• 强调语音模型（ASR/TTS）或大语言模型推理优化的实际落地案例
• 展示高并发、低延迟在线服务的设计与稳定性保障经验
• 若缺乏语音模型背景，可快速学习Conformer、RNNT等结构及推理特性
• 补充KV Cache优化、投机解码等大模型推理加速技术的理论知识

面试指南

• 用STAR法则：背景-任务-行动-结果，量化性能提升指标
• 从系统设计角度：架构模块、关键设计取舍、错误处理、监控告警
• 结合理论与工程：先解释原理，再讲实际落地中的权衡与优化
• 请描述一次你优化CUDA算子的经历，遇到了哪些性能瓶颈？如何解决的？
• 如何设计一个低延迟的流式语音推理服务？考虑打断、优先级调度
• 解释Transformer模型的KV Cache优化原理，以及如何实现动态批处理？
• TensorRT和ONNX Runtime在语音模型推理上的优缺点？你如何选择？
• 如何保障线上推理服务的SLA？遇到显存不足怎么办？