智元机器人
优才-大模型算法研究员-通用业务部
优才-大模型算法研究员-通用业务部
发布于 1 天前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
硕士
研究与开发 (研发)
Jax
Llava
Pytorch
Rlhf
Tensorrt-Llm
Vit
Vllm
Gpt-4V
Qwen-Vl
AI 估算 · 40k–70k
大模型研究员岗位稀缺，技术壁垒高，结合上海及B轮公司融资阶段，薪资具备竞争力。
职位详情
关于这个职位
该职位专注于多模态大模型的研究与开发，涉及模型设计、训练、优化及推理加速
你将主导从预训练到指令微调的全链路工作，并负责将模型能力封装为API或SDK，支撑产品应用
适合有深厚算法背景和分布式训练经验的AI研究员
最低要求
计算机、人工智能、数学等相关专业，硕士及以上学历优先
精通PyTorch/JAX，具备大规模分布式训练工程经验（千卡集群、模型并行、数据并行、ZeRO/PP/TP）
深入理解Transformer、ViT、LLaVA、Qwen-VL、GPT-4V等多模态大模型架构，具备预训练/SFT/RLHF全流程实操经验
扎实的强化学习理论基础，熟悉PPO、GAE、Diffusion Policy、ACT、RT-1/RT-2、π0等算法
优秀的代码能力（Python/C++），熟悉ROS2、Isaac Sim/Gym、MuJoCo、Gazebo等仿真与中间件生态
工作职责
负责多模态大模型（如LLaVA、Qwen-VL、GPT-4V类架构）的模型设计、训练策略制定与性能优化
研究视觉编码器（ViT/CLIP/SigLIP）与大语言模型的对齐机制，包括投影层设计、指令微调（SFT）、RLHF/DPO对齐
主导预训练、指令微调、多模态上下文学习（In-context Learning）及模型压缩（量化、剪枝、蒸馏）的全链路
负责模型推理加速（vLLM、TensorRT-LLM、FlashAttention、投机解码等），解决长上下文、高并发场景下的延迟与吞吐问题
构建多模态数据pipeline（图文对、视频-文本、交互相机数据），设计数据清洗、去重与质量评估策略
将MLLM能力封装为API或SDK，支撑产品侧的图文理解、视觉问答、多模态Agent等应用
AI 洞察
优缺点分析
优点
- 前沿技术领域：多模态大模型是当前AI热点，技术积累极具市场价值
- 全链路参与：从研究到工程落地，技能提升全面
- B轮公司：处于快速发展期，成长空间大，可能获得股权激励
- 上海区位：一线城市人才聚集，行业交流机会丰富
- 技术深度要求高：需要同时掌握模型训练、推理优化和工程部署，学习曲线陡峭
- 工作强度可能较大：创业公司节奏快，需要快速迭代和交付成果
- 竞争激烈：行业内顶尖人才聚集，需持续保持学习状态
- 适合有较强自驱力和技术热情、希望在多模态AI领域深耕的算法研究员，尤其偏好全栈型（研究+工程）工作内容
缺点 / 挑战
暂无明显挑战项
角色解读
- 技术方向：可向多模态架构专家或算法研究员高阶发展，主导更前沿的模型设计
- 管理方向：逐步带领团队，负责算法小组或部门的技术路线规划
- 产品化方向：转向AI平台架构师，推动模型落地与业务结合
- 设计并训练多模态大模型，优化模型在视觉和语言任务上的表现
- 研究视觉编码器与语言模型的对齐技术，提升多模态理解能力
- 主导模型压缩和推理加速，确保在高并发场景下的低延迟响应
- 构建数据pipeline并封装模型能力，为产品提供稳定高效的API服务
- 精通PyTorch或JAX，具备大规模分布式训练经验，能处理千卡集群的训练任务
- 深入理解Transformer、ViT及主流多模态架构，有预训练到RLHF的完整实操经验
- 掌握模型压缩、推理加速技术，熟悉vLLM、TensorRT-LLM等工具
- 具备扎实代码能力（Python/C++），熟悉仿真环境如MuJoCo、Isaac Sim
申请策略
- 了解智元机器人的产品方向（具身智能/机器人），思考多模态模型如何与机器人结合
- 准备一个完整的技术演讲式自我介绍，展示技术深度和项目影响力
- 突出大规模分布式训练经验，注明具体集群规模（如千卡）和使用的并行策略
- 列出参与过的多模态项目或开源贡献，尤其是LLaVA、Qwen-VL等相关工作
- 展示在模型压缩、推理加速方面的成果，如提升速度的量化指标
- 如果有强化学习（PPO/RLHF）或仿真相关经验，务必强调
- 复习RLHF和DPO的细节，准备相关手推或面试问题
- 熟悉vLLM和TensorRT-LLM的使用，了解FlashAttention原理
面试指南
- 对于技术实现题：先理清问题核心，指出关键点（如数据、模型、训练），然后结合自身经验分步骤说明，最后总结优化效果
- 对于模型评价题：从架构、训练数据、性能、适用场景等多维度对比，给出客观分析，并提及实际使用中的体会
- 对于开放性问题：展示思考过程，强调权衡（如速度与精度），并补充可能的改进方向
- 请描述你在多模态模型预训练中采用的并行策略和数据配置
- 如何设计视觉encoder与LLM的对齐投影层？有哪些常见设计？
- 在多模态推理加速中，你遇到过哪些瓶颈？如何优化？
- 你如何评价当前主流多模态模型（如LLaVA、Qwen-VL）的优劣？
- 请解释PPO在RLHF中的实现细节，如何处理reward model?
职位点评
69
综合评分
前沿多模态AI研究员，技术成长空间极大，但工作强度高、WLB一般。
更适合这类人
适合高度重视技术成长、愿意投入高强度学习与工作的求职者，对WLB要求不高。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活40
使命价值70
薪资福利
75中等
B轮创业公司，薪资水平具有竞争力，但稳定性不如大厂；福利可能未明确提及，总体补偿性中等偏上。
薪资信号未披露（AI估算：40K-70K/月）
成长发展
90较高
职位涉及最前沿的多模态大模型技术，全链路参与研究与应用，成长空间极大，技术栈先进且具引领性。
技术前沿前沿/新兴技术
技术栈多模态大模型、LLaVA、Qwen-VL、GPT-4V、RLHF、vLLM、TensorRT-LLM、FlashAttention
业务类型profit_center
工作生活
40较低
仅现场办公，上海地点，但创业公司可能要求较高工作强度和弹性工时，WLB一般。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
多模态AI应用于机器人，具有较强的前沿探索意义，但社会影响更多体现在技术进步，直接使命驱动信号不明显。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
智元机器人 的其他在招职位
相似职位推荐
Watch Jobs