初速度
多模态数据算法
多模态数据算法
发布于 6 小时前普通员工/个人贡献者
全职员工仅现场办公机器学习工程
机器学习工程
Llm
Pytorch
Sft
Vlm
多模态算法
大模型微调
数据质量评估
值不值得投
77综合评分
综合评分 77
自动驾驶企业核心算法岗，聚焦多模态大模型数据工程，技术前沿且成长空间大，薪资具竞争力。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4万
与机器学习工程中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
18 个在招 · 其中机器学习工程 2 个
市场机会
选择面较广
北京 · 机器学习工程 · 约 480 个在招
职位详情
关于这个职位
该职位主要负责多模态大模型（VLM）的数据质量评估与筛选，设计样本打分与分层采样算法，打通自动化训练闭环，以在减少数据量的同时提升或保持模型性能
最低要求
硕士及以上，计算机 / AI/NLP/ 视觉相关专业
具备 VLM/LLM SFT 数据算法落地经验
熟练 Python、PyTorch，精通大模型微调、样本打分、数据采样基础原理
工作职责
针对 VLM Stage2 SFT 数据冗余、多任务分布失衡问题，搭建数据质量评估与筛选流程，在压缩数据量前提下保留图文联合推理能力
设计实现基于 PPL/NLL、双向信息增益的样本打分策略，从图像、问答双维度筛选高价值多模态样本
打通样本打分、子集生成、SFT 训练、模型评测自动化闭环，研发分层采样算法，缓解全局筛选破坏多任务数据分布问题
基于多模态 Benchmark 开展对照实验，迭代优化数据策略，实现减半数据量下模型性能接近 / 超越全量训练基线
调研多模态数据选择前沿方案，落地数据工具链，沉淀标准化数据治理流程
优先资格
有智驾 / 机器人多模态项目经历优先
AI 洞察
优缺点分析
优点
- 处于自动驾驶与多模态大模型结合的前沿赛道，技术壁垒高，行业前景广阔
- 能够接触并解决大模型训练中的数据冗余与分布失衡等核心痛点，技术成长空间大
- 业务处于核心赛道，平台资源充足，有利于积累大型项目经验
- 多模态数据质量评估与筛选属于前沿探索领域，缺乏成熟开源方案，需要较强的独立调研与创新能力
- 适合对大模型数据工程有浓厚兴趣，具备扎实机器学习基础，且希望在自动驾驶或具身智能领域深耕的算法工程师
缺点 / 挑战
- 数据策略的优化需要频繁进行大规模模型训练与评测，对计算资源和实验周期有一定压力
角色解读
- 从数据算法工程师向多模态大模型算法专家发展，掌握大模型训练核心数据链路
- 未来可负责整体数据治理架构或智驾/机器人多模态核心算法团队
- 负责多模态大模型（VLM）的数据质量评估与筛选，设计样本打分与分层采样算法
- 打通从数据筛选到SFT训练、评测的自动化闭环，提升模型训练效率
- 通过对照实验迭代数据策略，在减少数据量的同时保持或提升模型性能
- 熟练掌握Python和PyTorch，精通大模型微调（SFT）原理
- 具备VLM/LLM数据算法落地经验，熟悉样本打分、数据采样及PPL/NLL等评估指标
- 拥有计算机/AI/视觉相关专业硕士及以上学历
申请策略
- 了解初速度在自动驾驶端到端大模型方面的最新进展，思考多模态数据在智驾场景中的具体应用痛点，面试时可结合业务场景提出自己的数据治理思路
- 重点突出VLM/LLM SFT数据算法的落地项目，特别是数据筛选、样本打分或分层采样相关的实际成果
- 展示在减少数据量同时保持或提升模型性能的具体指标（如减半数据量达到全量基线性能）
- 若有智驾或机器人多模态项目经历，务必放在显眼位置
- 深入学习多模态大模型（如LLaVA、Qwen-VL等）的数据处理与微调技术
- 熟悉PPL/NLL、信息增益等数据评估指标的理论推导与代码实现
面试指南
- 采用STAR法则，先描述业务痛点（如数据冗余导致训练效率低），再阐述技术方案（如双向信息增益打分、分层采样），最后用具体数据指标（如数据量减少50%，性能持平或提升）证明效果
- 如何解决VLM SFT阶段的数据冗余和多任务分布失衡问题？
- 请详细介绍你设计过的基于PPL/NLL或信息增益的样本打分策略
- 在减半数据量的前提下，如何保证模型性能不下降甚至超越全量训练基线？
- 如何打通样本打分到SFT训练、评测的自动化闭环？
- 复习多模态大模型（VLM）的架构与SFT微调流程
- 准备1-2个自己主导的数据算法优化项目，梳理其中的技术难点与解决方案
- 了解初速度在自动驾驶感知或端到端模型方面的技术路线
职位点评
薪资福利80
成长发展90
工作生活50
使命价值85
薪资福利
80较高
自动驾驶企业的大模型算法岗，薪资具备较强市场竞争力，但JD未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：3千–5万/月）
成长发展
90较高
岗位聚焦多模态大模型数据算法这一前沿方向，技术挑战大，能深度参与大模型训练核心环节，技术成长与行业前景极佳。
技术前沿前沿/新兴技术
技术栈Python、PyTorch、VLM、LLM、SFT、PPL/NLL、多模态
成长机会调研多模态数据选择前沿方案、沉淀标准化数据治理流程
业务类型profit_center
工作生活
50较低
JD未提及工作模式与WLB相关信息，算法岗通常面临一定的实验与迭代压力，生活化动机满足程度无法明确判断。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
自动驾驶与具身智能是极具社会价值与未来前景的赛道，多模态大模型的应用将直接推动智能驾驶与机器人的发展。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs