具身世界模型推理INFRA工程师 - XiaomiRobotics

优缺点分析

角色解读

• 向具身智能推理系统专家方向发展，主导更复杂的端到端推理优化
• 可晋升为技术Leader，带领团队建设小米机器人平台的推理基础设施
• 积累的经验可迁移至其他AI推理领域，如自动驾驶、大模型推理系统等
• 负责具身世界模型在推理阶段的系统优化，包括模型量化、并行策略适配和推理框架开发
• 与算法团队协作，将最新推理加速技术（如Multi-Token-Prediction、CFG并行）集成到实际系统中
• 持续优化模型在机器人场景的部署效率，确保上线和开源模型的推理速度达到预期
• 精通深度学习模型推理加速技术，如张量并行、专家并行、模型量化（FP8、INT8等）
• 熟悉Diffusion模型和多模态自回归大模型的推理原理和优化方法
• 具备扎实的C++/Python编程能力，熟悉推理框架（如TensorRT、vLLM、FasterTransformer）的二次开发

申请策略

• 在面试中展示你对推理系统性能的追求，可以分享一个你自己优化的具体案例，从问题定义到解决方案
• 关注小米机器人部门的开源项目和博客，了解其技术栈，以便在面试中更有针对性
• 突出你在大模型推理加速方面的项目经验，尤其是Diffusion或多模态模型的优化案例
• 详细描述你使用过的并行策略（如张量并行、专家并行）和量化技术（FP8、INT8），并量化性能提升
• 强调你对推理框架的贡献，例如二次开发或自研推理引擎的经历
• 如果对具身智能不熟悉，建议学习基础概念（如世界模型、可微物理引擎）以快速融入
• 补充CUDA和GPU底层优化知识，提升对硬件友好的算法设计能力

面试指南

• 使用STAR方法（情境、任务、动作、结果）来结构化回答项目经验，重点突出技术细节和量化效果
• 对于并行策略问题，从原理到实现逐步展开，说明不同并行方式的适用场景和权衡
• 量化相关的问题，先解释量化原理，然后结合实际部署中的精度和吞吐率权衡给出具体建议
• 请谈谈你如何优化一个Diffusion模型的推理速度，具体使用了哪些技术？
• 描述一下张量并行和专家并行在推理框架中实现的差异和难点
• 你在多模态大模型推理加速中遇到过哪些挑战？如何解决的？
• 如何设计一个高效的推理系统以支持Multi-Token-Prediction？
• 你对FP8量化的理解是什么？在实际部署中需要注意哪些问题？