【北斗】多模态理解后训练与Agent算法研究员

优缺点分析

角色解读

• 成为多模态方向的资深算法专家，主导核心技术方向
• 向视觉Agent及多模态决策智能方向发展，引领行业标杆
• 也可转向技术管理或产品化落地，负责业务线视觉能力建设
• 研发多模态大模型的后训练技术，提升OCR、图文理解等任务的性能
• 探索强化学习与Agent能力，优化模型在长程复杂视觉任务中的推理和决策
• 参与前沿研究并落地到本地生活场景，如视觉搜索、数字人交互等
• 扎实的多模态/视觉大模型背景，熟悉预训练或后训练流程
• 熟练使用PyTorch进行模型训练和调优
• 了解强化学习、Agent对齐等前沿方向优先

申请策略

• 提前了解美团视觉AI团队的公开成果，如论文或技术博客，面试中展现热情
• 准备一两道与业务结合的技术方案题，展示落地思维
• 突出多模态预训练或后训练项目的成果，如性能提升、论文发表
• 强调PyTorch实战经验和大规模训练经验
• 如有开源贡献或竞赛获奖，放在显眼位置
• 补充强化学习或Agent方向的了解，可阅读经典论文或复现实验
• 熟悉Visual CoT、PRM等最新技术，提升视觉推理能力

面试指南

• 优先从方法动机和效果两个角度回答，强调实验验证
• 遇到开放题先划分问题边界，再提出具体方案
• 结合个人项目经历，展示实际解决问题的思路
• 如何设计一个多模态后训练任务来减少模型幻觉？
• 解释Visual CoT的原理，并举例如何应用
• 你如何评估Agent在视觉任务中的表现？
• 描述你使用PyTorch训练大模型时遇到的显存优化问题及解决方案
• 复习多模态大模型的经典架构（如LLaVA、BLIP等），掌握后训练方法