智元机器人
多模态交互模型工程师
多模态交互模型工程师
发布于 大约 16 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
本科
软件工程
Cuda
Deepspeed
Onnx
Pytorch
Tensorrt
多模态
模型压缩
模型蒸馏
边缘推理
AI 估算 · 35k–60k
多模态模型工程师稀缺，3年+经验，上海B轮公司，薪资有竞争力，中位数约47.5k/月。
职位详情
关于这个职位
该职位负责多模态交互模型的训练、蒸馏、压缩与部署优化，将大模型能力迁移至端侧设备
工作涉及搭建训练流水线、设计蒸馏策略、模型量化与推理加速，以及端侧性能调优
适合有深厚工程能力、熟悉PyTorch及边缘部署的AI工程师
最低要求
计算机、人工智能相关专业本科及以上学历
年以上经验，在训练工程、蒸馏压缩、部署优化中具备至少两项的深厚实战积累
精通 PyTorch 训练体系，代码工程能力极强，能独立且稳定地维护训练仓库
具备量化优化、ONNX/TensorRT/CUDA 推理优化经验
具备出色的 Problem-solving 能力，能将“模型指标不升反降”精准拆解并定位根因
工作职责
训练流水线建设：搭建与维护多模态模型训练 Pipeline（涵盖数据预处理、实验追踪、Checkpoint 管理与回归评测），支持音视频、状态序列等多模态输入
Teacher-Student 蒸馏：使用大模型/专家模块生成 Richer Labels，设计蒸馏目标、Loss 函数与 Hard-negative 机制，将高价值能力稳定转移至端侧，摆脱对云端的在线依赖
模型压缩与部署优化：负责 PTQ/QAT、量化感知训练、剪枝与 KV/Cache 优化
导出 ONNX/TensorRT 等格式
在真实设备上死磕 Latency、显存、功耗与推理抖动
质量与回归治理：建立可复现机制，系统性归因模型失效（数据、标签、结构或部署问题）
联合团队建设 Hard slices 与回放评测
运行时协同：与系统侧拆分快慢路径，trade-off 端侧性能与业务收益，推动模型从“实验室能跑”跨越到“设备稳跑”
同时需要兼顾交互语义建模与任务定义（如回应对象判断、交互时机、主动策略等）
优先资格
拥有 Jetson / ARM / 嵌入式 AI 推理极致优化经验
有流式模型（Streaming）、Chunked inference、端云一致性治理经验
熟悉 FSDP / DDP / DeepSpeed 及混合精度训练
做过端侧语音、视觉、边缘 VLM 或轻量多模态模型
AI 洞察
优缺点分析
优点
- 前沿技术：涉及多模态、蒸馏、量化等热门方向，技术壁垒高
- 行业前景：端侧AI是趋势，智元机器人处于B轮，成长空间大
- 技能积累：可深入掌握从训练到部署的全链路优化，稀缺性强
- 工作强度大：需在真实设备上反复调优，调试周期长
- 技术难度高：需同时掌握训练工程、压缩、部署等多领域知识
- 责任重大：模型失效直接影响产品体验，需要系统性归因能力
- 适合热爱底层优化、享受从理论到落地的成就感、具备强工程能力的AI工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 技术深耕：成为多模态部署优化专家，主导端侧AI方案架构
- 横向扩展：向系统架构或AI芯片协同设计方向发展
- 管理方向：担任模型优化团队Tech Lead，带领团队突破性能瓶颈
- 负责多模态模型的训练全流程，包括数据处理、实验管理、模型检查点跟踪与回归评测
- 设计并实现Teacher-Student蒸馏框架，将大型模型的能力迁移到端侧小模型
- 进行模型压缩（量化、剪枝）与部署优化，确保在边缘设备上的低延迟、低功耗运行
- 与系统团队协作，拆分快慢路径，平衡端侧性能与业务收益，推动模型落地
- 精通PyTorch，能独立维护训练仓库，具备扎实的代码工程能力
- 熟悉模型蒸馏、量化（PTQ/QAT）、ONNX/TensorRT/CUDA推理优化
- 具备问题拆解能力，能精准定位模型指标下降的根因
- 加分项：Jetson/ARM嵌入式优化、流式模型、DeepSpeed分布式训练
申请策略
- 关注智元机器人的产品方向，理解端侧交互场景的痛点
- 在面试中准备一个完整的蒸馏+量化部署案例，展示闭环能力
- 突出端侧模型优化项目：如量化部署、蒸馏落地的实际案例
- 强调PyTorch代码工程能力：如维护过大型训练仓库、自动训练pipeline
- 展示问题解决实例：如何定位并修复模型性能下降的根因
- 补充ONNX/TensorRT/CUDA优化经验，可通过开源项目练习
- 熟悉量化训练工具（如NVIDIA TAO、Intel Distiller）
- 了解嵌入式AI平台（如Jetson、ARM CMSIS-NN）
面试指南
- STAR法则：情境-任务-行动-结果，清晰描述项目背景和个人贡献
- 技术对比框架：从原理、优缺点、适用场景对比不同技术方案
- 问题定位框架：数据-模型-部署的分层排查思路
- 请详细描述你负责过的模型蒸馏项目，包括教师模型设计、损失函数和硬负样本挖掘
- 如何优化一个端侧语音模型的推理延迟？请从量化、剪枝、算子优化等方面回答
- 当模型在设备上推理结果与实验室不一致时，你会如何系统排查？
- 你了解哪些分布式训练框架？在FSDP和DeepSpeed之间如何选择？
- 请解释PTQ和QAT的区别，并说明在什么场景下选择哪种方法
职位点评
69
综合评分
前沿多模态部署岗，技术驱动成长快，但工作强度大且为现场办公。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长、愿意投入时间挑战前沿难题的工程师，对工作生活平衡要求不高。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展90
工作生活40
使命价值65
薪资福利
70中等
薪资处于市场中上水平，B轮融资提供一定期权想象空间，但整体福利未明确提及，补偿性动机中等偏上。
薪资信号未披露（AI估算：35K-60K/月）
成长发展
90较高
职位涉及多模态、蒸馏、量化等前沿技术，与端侧AI趋势契合，成长空间极大；但未明确提及晋升通道。
技术前沿前沿/新兴技术
技术栈多模态、蒸馏、量化、ONNX、TensorRT、CUDA、边缘推理
业务类型ambiguous
工作生活
40较低
仅现场办公，未提及弹性工时或远程，且强调在真实设备上调试，可能工作强度较大，WLB一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
65中等
机器人行业有社会价值，但职位更偏技术实现，使命感一般，整体意义感中等。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
智元机器人 的其他在招职位
相似职位推荐
Watch Jobs