智元机器人
Omni 预训练研究员
Omni 预训练研究员
发布于 2 小时前普通员工/个人贡献者
全职员工混合式弹性办公人工智能
人工智能
Pytorch
多模态大模型
模型架构设计
深度学习
训练策略优化
论文复现
跨模态融合
预训练
值不值得投
81综合评分
综合评分 81
聚焦全模态基模前沿研发，技术成长空间极大，薪资具竞争力，但需做好应对高强度算法调试的心理准备。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.8万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1570 个在招 · 其中人工智能 17 个
市场机会
选择面较广
上海 · 人工智能 · 约 400 个在招
职位详情
关于这个职位
负责全模态交互基础模型的架构设计与预训练/后训练方案设计，研究跨模态表示与融合方法
需与数据及基础设施团队协作，优化模型能力、训练稳定性与迭代效率，并搭建完善的评测诊断体系以推动模型持续进化
最低要求
计算机、人工智能、电子信息、数学等相关专业本科及以上学历，具备扎实的深度学习基础和独立设计、分析实验的能力
熟悉大模型训练原理，熟练掌握 Python、PyTorch，能够实现和修改模型结构、损失函数及训练流程
具备大模型预训练、持续预训练或多模态预训练项目经验，能够结合损失曲线、梯度和数值异常分析收敛问题，开展有针对性的诊断实验
熟悉视觉、语音、视频至少一个方向的表示学习与建模，了解跨模态对齐或融合，具备论文阅读、复现和系统实验能力，能够与数据、工程团队协作
工作职责
研究全模态基模架构与表示方法，包括视觉与音频编码、离散或连续模态表示、共享骨干与模态专用组件，以及生成端建模与解码
设计预训练与后训练方案，研究多模态训练目标、分阶段训练、参数初始化及优化策略
开展模型规模、数据规模与计算预算的对照实验，提升收敛稳定性和训练效率
与数据团队共同设计数据配比、采样策略与课程学习方案，通过消融实验量化数据、架构和训练策略对各模态能力及跨模态迁移的影响，指导数据迭代
建设模型评测与诊断方法，覆盖图文理解、语音理解与生成、视频时序理解及跨模态推理，评估生成质量与跨模态一致性
分析模态能力失衡、幻觉和遗忘等问题
跟踪并复现前沿全模态研究，沉淀可复现的实验与训练方案
与 Infra 团队协作解决训练异常和性能瓶颈，通过必要的后训练实验验证基模能力向下游任务的迁移
优先资格
有全模态基模训练相关经验者优先
有高质量论文、开源项目或可验证的训练成果者优先
AI 洞察
优缺点分析
优点
- 聚焦全模态基模前沿领域，技术壁垒高且行业需求旺盛
- 直接参与核心算法研发，能接触大规模算力与真实业务场景
- 团队背景扎实，利于积累高水平论文与开源成果
- 全模态训练计算资源消耗巨大，调试难度极高
- 前沿方向迭代快，需保持高强度持续学习
- 适合具备扎实科研功底、热爱底层算法攻关、抗压能力强且对具身智能/大模型充满热情的求职者
缺点 / 挑战
- 需频繁处理梯度异常、模态对齐等底层技术问题，工作压力较大
角色解读
- 可向首席科学家或AI架构师方向发展
- 积累全模态基模经验后可主导核心算法路线
- 横向拓展至具身智能多模态决策层
- 负责全模态基础模型的架构设计与预训练/后训练方案设计
- 研究跨模态表示、融合方法及训练策略
- 搭建模型评测与诊断体系，分析模型能力与缺陷
- 跟踪前沿研究并协同数据/工程团队推进模型迭代
- 扎实的深度学习与大模型训练原理
- 精通Python/PyTorch及模型结构修改
- 掌握至少一种模态（视觉/语音/视频）的表示学习
- 具备论文复现与复杂实验诊断能力
申请策略
- 提前了解智元机器人在具身智能领域的业务布局，面试时重点展示如何将基础模型能力迁移至实际机器人交互场景
- 突出大模型预训练/多模态项目经验，详细列出模型架构修改、训练策略优化及收敛诊断的具体案例
- 附上高质量论文、GitHub开源项目或可复现的训练报告
- 深入研读最新多模态顶会论文，强化PyTorch底层训练框架调优能力
- 补充分布式训练与显存优化知识
面试指南
- 采用STAR法则阐述项目背景、任务、行动与结果
- 针对技术难题，先说明现象定位方法（如梯度流分析、可视化诊断），再给出具体优化手段（如学习率调度、数据配比调整、架构改进）
- 请详细描述你参与过的多模态预训练项目，遇到的最大收敛难题及解决方案？
- 如何设计消融实验来验证跨模态融合模块的有效性？
- 面对模态能力失衡或幻觉问题，你的诊断思路是什么？
- 复习Transformer变体、对比学习、自监督学习等核心机制
- 准备1-2个完整的模型训练调优案例，涵盖数据清洗、损失设计到最终指标提升的全过程
- 熟悉主流多模态基座模型的架构特点
职位点评
薪资福利82
成长发展92
工作生活65
使命价值80
薪资福利
82较高
该岗位聚焦全模态基模核心研发，属于当前AI领域紧缺的高端技术人才，通常对应较高的薪酬定级与长期激励潜力。
薪资信号未披露（AI估算：3.5千–6.0万/月）
成长发展
92较高
岗位直接参与全模态基模核心研发，技术栈高度前沿，提供充足的算力资源与跨团队协作机会，有利于快速积累顶级科研成果与工程经验。
技术前沿前沿/新兴技术
技术栈多模态大模型、预训练、PyTorch、跨模态融合、深度学习、Transformer
成长机会跟踪并复现前沿全模态研究、沉淀可复现的实验与训练方案
业务类型profit_center
工作生活
65中等
AI研发岗位通常允许一定程度的弹性工作安排，但全模态基模训练涉及大量长时间跑实验与调试，实际工作强度可能较高，WLB视团队节奏而定。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
致力于构建通用全模态交互基础模型，直接赋能具身智能与下一代人机交互，具有明确的产业落地愿景与技术突破使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号面向打造竞争力领先的全模态交互基础模型
创新程度开拓性创新（行业首创）
Watch Jobs