多模态感知算法专家/工程师

优缺点分析

角色解读

• 技术专家路线：深入多模态感知、大模型、端到端模型等前沿方向，成为领域权威
• 管理路线：逐步带领团队，负责感知算法方向规划与落地，晋升为算法团队负责人或技术总监
• 横向发展：向机器人系统、决策规划等方向拓展，成为机器人全栈算法专家
• 设计并实现多模态感知模型，融合视觉、激光雷达和语言数据，完成目标检测、分割、深度估计等任务
• 构建面向机器人场景的多模态大模型，提升小样本和长尾类别识别能力，支持few-shot/zero-shot
• 研发多任务统一架构，联合优化检测、分割、深度估计等任务，降低计算冗余
• 参与模型加速与量化部署，迭代高效易部署的算法，并通过数据闭环持续提升模型性能
• 扎实的目标检测/分割/跟踪、深度估计、6D姿态估计等计算机视觉算法基础
• 熟练使用C++和Python，精通PyTorch或TensorFlow等深度学习框架
• 具备自动驾驶或大视觉语言模型（VLM）研究经验者优先，有模型加速和量化经验者优先
• 强大的自学能力，能快速掌握未知领域的新技术

申请策略

• 在面试中准备一个完整的多模态感知项目案例，从问题定义、方案设计到实验结论，展示系统化思考能力
• 提前了解智元机器人的产品线和技术路线（如人形机器人），思考自己的技术如何与其结合
• 重点突出目标检测/分割/跟踪等方面的项目经验，特别是涉及多模态融合或量产落地的案例
• 列出在CVPR/ICCV/NeurIPS等顶会发表的论文或在相关竞赛中的优异名次
• 强调自动驾驶或VLM相关研究经历，以及模型加速和量化的实际成果
• 详细描述C++和Python编程能力，以及PyTorch/TensorFlow等框架的熟练程度
• 补充多模态大模型（如CLIP、LLaVA、Gemini等）的相关知识，动手实现代表性的模型
• 学习模型量化、剪枝、蒸馏等加速技术，尝试优化开源感知模型

面试指南

• 对于项目介绍类问题，使用STAR法则（情境、任务、行动、结果）清晰阐述
• 对于技术设计类问题，先拆解需求，比较不同方案，阐述你的选择理由，并分析潜在Trade-off
• 对于开放性问题（如小样本学习），从现有文献（如MAML、Prototypical Networks）出发，结合项目经验给出实际可行的方案
• 请介绍你参与过的一个多模态感知项目，包括技术选型、遇到的挑战和解决方案
• 如何设计一个统一架构同时处理检测、分割和深度估计？如何平衡各任务的性能？
• 在自动驾驶场景中，如何处理小样本或长尾类别的目标检测？你有什么方法？
• 描述一种模型量化的方法（如PTQ或QAT），并说明其优缺点
• 你对具身智能中的感知有什么理解？与传统自动驾驶感知有何异同？