模型推理系统工程师

优缺点分析

角色解读

• 技术深耕方向：成为推理引擎专家或AI系统架构师，主导端侧模型部署方案
• 横向拓展：转向自动驾驶、智能硬件等其他端侧AI领域，或进入Infra团队负责大规模推理集群
• 管理方向：积累项目经验后可担任技术负责人或团队Leader，主导AI系统整体设计
• 负责机器人端侧模型运行后端的架构设计与开发，确保多个模型稳定推理
• 模型导出、量化及推理引擎构建，优化性能指标如TTFT、吞吐和显存占用
• 适配多种推理框架（TensorRT、vLLM等），并建设Model Gateway的后端接口
• 与训练、交互和Infra团队协作，推动模型在机器人Demo中端到端运行
• 精通C++和Python，熟悉Linux环境及系统编程
• 深入理解至少一种推理框架（TensorRT、vLLM等）及其核心概念（量化、KV cache、batching）
• 具备性能分析能力，能定位CPU/GPU/内存/IO瓶颈
• 工程系统意识强，能构建稳定接口和监控日志

申请策略

• 关注智元机器人的技术博客或开源项目，了解其技术栈和研发方向
• 在面试中展示对模型部署全流程的理解，包括量化、推理服务化、监控等
• 突出C++/Python项目经验，尤其是高性能系统开发或推理框架使用案例
• 展示性能优化成果，如模型推理延迟降低、吞吐提升等量化数据
• 强调对TensorRT、vLLM等框架的熟悉程度及实际部署经验
• 如有机器人或自动驾驶部署经验，务必重点提及
• 若不够熟悉推理框架，建议快速学习TensorRT-LLM或vLLM的架构和使用
• 补充CUDA编程和性能profiling工具（如NVIDIA Nsight）的知识

面试指南

• 采用STAR法则：情境-任务-行动-结果，突出技术细节和量化成果
• 从原理到实践：先解释概念（如KV cache），再结合自己的项目说明具体实现和优化
• 强调工程思维：不仅要会优化，还要考虑接口稳定性、日志和监控体系
• 请详细描述你使用过的一个推理框架（如TensorRT）进行模型部署的流程和优化点
• 如何分析模型推理的性能瓶颈？请举例说明你如何定位CPU/GPU问题
• 你对KV cache和batching的理解是什么？在端侧推理中如何应用？
• 设计一个支持多模型调度的后端服务，你会考虑哪些关键点？
• 你对机器人端侧模型部署有什么特别的经验或见解？