全模态大模型算法工程师

优缺点分析

角色解读

• 技术深耕：成长为多模态大模型领域顶级算法专家，主导核心算法创新
• 技术管理：带领小团队负责模型训练或数据方向，逐步转向技术Leader
• 行业跨界：积累机器人+AI经验，可向具身智能、通用机器人算法方向发展
• 负责全模态大模型数据方案设计，包括数据来源、清洗、合成与配比实验，确保高质量可扩展的数据基座
• 主导SFT监督微调方案，涉及指令数据构造、多轮对话、跨模态对齐等，并进行效果评估与调优
• 投入强化学习后训练算法研究，例如GRPO、DPO等，设计reward建模与训练稳定性优化
• 跟踪业界最新大模型技术，与团队协作推动模型迭代与评测闭环
• 精通深度学习与自然语言处理，熟悉Transformer、多模态模型架构（如Qwen-Omni, GPT-4o）
• 熟练使用主流深度学习框架（PyTorch, TensorFlow），具备分布式训练经验
• 深入理解SFT、RLHF/RLVR系列算法（PPO, GRPO, DPO等），有相关实践
• 具备优秀的问题分析与解决能力，能独立探索新方案并快速实验验证

申请策略

• 表达对智元机器人产品方向的理解，展示将大模型与机器人结合的热情
• 准备一个简短的Tech Talk，概述你解决过的多模态或RL训练难题
• 突出多模态项目经验（如图文理解、语音合成等），尤其是SFT和强化学习实际落地案例
• 强调在数据方案设计或模型训练优化方面的成果，如提升模型性能的具体量化指标
• 展示对前沿模型（GPT-4o, Gemini等）的理解或复现经历，体现技术跟踪能力
• 补强强化学习算法（GRPO, DPO）的数学原理与代码实现，可阅读相关论文并复现
• 熟悉分布式训练框架（DeepSpeed, Megatron）和多模态数据处理工具
• 了解机器人交互场景，可学习人形机器人基础知识

面试指南

• STAR法则：描述项目背景、你的具体任务、采取的行动（数据方案、模型架构、训练细节）和最终结果（指标提升、业务影响）
• 技术对比：对于算法选择，比较不同方法的优缺点并给出选择理由
• 问题解决：描述遇到的技术挑战（如训练崩坏）和定位/修复过程
• 请介绍你参与过的多模态模型SFT项目，数据构造和训练策略是怎样的？
• 在强化学习训练中，如何处理多模态reward设计的不稳定性？
• 如果需要在全模态大模型中支持视频输入，你会如何设计数据管道和训练策略？
• 如何评估多模态模型的对齐效果，有哪些指标？
• 复习常见RLHF/DPO论文，准备好从数学原理到代码实现的完整理解