智元机器人
大模型算法研究员-通用业务部
大模型算法研究员-通用业务部
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公具身智能
具身智能
Llava
Pytorch
Qwen-Vl
Rlhf
Ros2
Vllm
具身智能
分布式训练
多模态大模型
值不值得投
75综合评分
综合评分 75
前沿具身智能赛道、核心技术岗、技术成长空间极大，但工作强度可能较高且薪资未明确披露。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
6万
与具身智能中位数基本持平
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 1510 个在招 · 其中具身智能 45 个
市场机会
选择面较广
上海 · 具身智能 · 67 个在招
职位详情
关于这个职位
该职位主要负责多模态大模型（如LLaVA、Qwen-VL）的设计、训练与推理加速，研究视觉与语言模型的对齐机制，并构建多模态数据流水线
你需要将大模型能力封装为API或SDK，支撑图文理解、视觉问答及多模态Agent等机器人相关应用落地
最低要求
计算机、人工智能、数学等相关专业，硕士及以上学历优先
精通 PyTorch/JAX，具备大规模分布式训练工程经验（千卡集群、模型并行、数据并行、ZeRO/PP/TP）
深入理解 Transformer、ViT、LLaVA、Qwen-VL、GPT-4V 等多模态大模型架构，具备预训练/SFT/RLHF 全流程实操经验
扎实的强化学习理论基础，熟悉 PPO、GAE、Diffusion Policy、ACT、RT-1/RT-2、π0 等算法
优秀的代码能力（Python/C++），熟悉 ROS2、Isaac Sim/Gym、MuJoCo、Gazebo 等仿真与中间件生态
工作职责
负责多模态大模型（如 LLaVA、Qwen-VL、GPT-4V 类架构）的模型设计、训练策略制定与性能优化
研究视觉编码器（ViT/CLIP/SigLIP）与大语言模型的对齐机制，包括投影层设计、指令微调（SFT）、RLHF/DPO 对齐
主导预训练、指令微调、多模态上下文学习（In-context Learning）及模型压缩（量化、剪枝、蒸馏）的全链路
负责模型推理加速（vLLM、TensorRT-LLM、FlashAttention、投机解码等），解决长上下文、高并发场景下的延迟与吞吐问题
构建多模态数据 pipeline（图文对、视频-文本、交互相机数据），设计数据清洗、去重与质量评估策略
将 MLLM 能力封装为 API 或 SDK，支撑产品侧的图文理解、视觉问答、多模态 Agent 等应用
AI 洞察
优缺点分析
优点
- 处于AI与机器人交叉的最前沿赛道（具身智能），技术壁垒高，个人能力成长极快
- 能够接触千卡集群等顶级算力资源，积累大规模分布式训练与多模态大模型的核心工程经验
- 业务场景明确，算法成果可直接赋能机器人产品，落地成就感强
- 适合对多模态大模型和具身智能有浓厚兴趣，具备扎实算法基础与大规模工程落地能力，且抗压能力强的顶尖算法人才
缺点 / 挑战
- 技术迭代极快，需要持续跟进最新的学术论文和开源模型，学习压力较大
- 大模型训练与调试成本高，解决长上下文、高并发及多模态对齐的工程挑战难度极大
角色解读
- 可向多模态大模型算法专家、具身智能算法架构师方向纵深发展
- 未来有机会带领团队攻克大模型在机器人领域的落地难题，成为行业顶尖的AI科学家或技术负责人
- 负责多模态大模型（如LLaVA、Qwen-VL）的架构设计、训练策略制定与推理加速
- 研究视觉编码器与大语言模型的对齐机制，主导从预训练、指令微调到模型压缩的全链路
- 构建多模态数据流水线，并将大模型能力封装为API/SDK，赋能机器人图文理解与多模态Agent应用
- 精通PyTorch/JAX及大规模分布式训练工程，具备千卡集群、模型并行与数据并行的实战经验
- 深入理解Transformer及多模态大模型架构，具备SFT/RLHF/DPO全流程实操经验
- 扎实的强化学习理论基础，熟悉ROS2及Isaac Sim等机器人仿真与中间件生态
申请策略
- 了解智元机器人在具身智能和人形机器人领域的最新产品与业务方向，思考多模态大模型如何具体赋能其硬件产品
- 重点突出多模态大模型（LLaVA/Qwen-VL等）的预训练与微调经验，以及具体的性能优化指标
- 详细列出千卡集群分布式训练、推理加速（vLLM/TensorRT-LLM）的工程落地成果与踩坑经验
- 展示在强化学习及机器人仿真环境（ROS2/Isaac Sim）中的项目经历或论文发表情况
- 深入学习最新的RLHF/DPO对齐算法及模型压缩（量化、剪枝、蒸馏）技术
- 熟悉vLLM等推理加速框架的底层原理与显存优化技巧，提升高并发场景下的工程解决能力
面试指南
- 采用STAR法则，重点突出“问题背景-技术方案-工程实现-最终收益（如吞吐量提升、延迟降低、指标提升）”
- 对于算法问题，先讲理论理解，再结合具体代码或框架实现细节，最后说明在实际业务中的效果
- 请详细介绍你在多模态大模型预训练或SFT/RLHF全流程中的具体贡献和遇到的难点？
- 在千卡集群分布式训练中，你是如何解决通信瓶颈和显存优化问题的？
- 针对长上下文和高并发场景，你使用了哪些推理加速策略，效果如何？
- 请谈谈你对视觉编码器与LLM对齐机制的理解，以及投影层设计的经验
- 复习多模态大模型（LLaVA, Qwen-VL）的核心论文及架构细节，准备分布式训练和推理加速的底层原理
- 梳理过往项目中的技术难点与解决方案，准备好应对深度技术拷问
职位点评
薪资福利75
成长发展95
工作生活40
使命价值85
薪资福利
75中等
JD未披露具体薪资与福利信息，但多模态大模型与具身智能方向属于当前市场极度稀缺的高精尖岗位，同类岗位市场价极高。
薪资信号未披露（AI估算：4千–8万/月）
成长发展
95较高
岗位涉及多模态大模型、强化学习、具身智能等最前沿技术，且能接触千卡集群，技术成长空间和个人能力壁垒极高。
技术前沿前沿/新兴技术
技术栈多模态大模型、LLaVA、Qwen-VL、PyTorch、JAX、RLHF、DPO、vLLM、TensorRT-LLM、ROS2、Isaac Sim
业务类型profit_center
工作生活
40较低
JD未提及工作模式与WLB相关信息，无法判断实际工作强度与办公灵活性。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
致力于多模态大模型与具身智能的结合，推动机器人智能化发展，具有极高的行业前瞻性与社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs