地平线
自动驾驶数据挖掘实习生（VLM / Agent 方向）
自动驾驶数据挖掘实习生（VLM / Agent 方向）
发布于 4 小时前实习/见习
实习生仅现场办公自动驾驶
自动驾驶
Rag
Vllm
Vlm
多模态
数据处理
值不值得投
67综合评分
综合评分 67
前沿VLM+Agent技术栈，高成长性的自动驾驶数据科研实习岗
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
6.0千
比自动驾驶中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 380 个在招 · 其中自动驾驶 39 个
市场机会
选择适中
南京 · 自动驾驶 · 11 个在招
职位详情
关于这个职位
该职位聚焦于自动驾驶数据闭环上游，利用VLM（视觉语言模型）与Agent技术从海量路测数据中挖掘长尾场景与Bad Case
核心工作包括场景理解、自动打标、数据集构建及推理流水线开发，旨在将非结构化数据转化为可复用的资产以驱动模型迭代
最低要求
计算机、人工智能、机器人、自动化、车辆工程或相关专业硕士／博士在读
熟练使用 Python，能用 NumPy、Pandas、OpenCV 独立处理大规模文件与标注（parquet、jsonl、视频抽帧），会写 SQL 或用过 Spark、DuckDB
代码写得清楚，别人能复跑
真正用过至少一种视觉语言模型或多模态模型（Qwen-VL、InternVL、LLaVA、CLIP 等），能说清它的输入输出形式、常见失效方式，以及显存与吞吐上的代价，而不只是调用过 API
理解检测、跟踪、分割或图文检索的基本概念，能读懂 precision、recall、mAP、覆盖率这类指标，并知道指标好看不等于场景选对了
理解自动驾驶场景的基本构成：感知输出、轨迹与规划、接管与急刹、场景标签、clip 与帧的关系
能自己定义“什么样的样本值得挖”，并用分布、覆盖率、召回率证明挖掘有效，而不是凭感觉挑图
能读英文论文和官方文档，能把一次挖掘实验写清楚：目标、方法、指标、失败案例、下一步，结论能用数字和样例支撑
工作职责
长尾场景挖掘（Scenario Mining）：先用规则与统计信号（感知置信度、轨迹冲突、急刹与接管、目标类别稀有度、场景标签分布）做粗筛，再结合 VLM 与 Agent 做语义复核与排序
交付可复核的 Corner Case 与 Hard Case 候选清单、命中率统计和漏筛分析，而不是一次性脚本
场景理解与自动打标：用 Qwen-VL、InternVL、LLaVA 一类视觉语言模型对 clip 做场景描述、目标属性抽取与危险度判断
设计 prompt、few-shot 示例与抽检机制，交付可入库的结构化标签、标注规范与一致性报告，量化其与人工标签的一致率
数据集与评测集构建：围绕具体能力项（cut-in 加塞、施工区、异形障碍物等）定义数据规格、采样策略与难例配比，完成去重、分层采样和训练／验证／测试隔离
交付带版本、带分布分析与已知偏差说明的数据集、评测集和数据卡
Batch Inference 流水线：用 vLLM、SGLang、TensorRT-LLM 把 VLM 推理跑成稳定的离线批处理流水线，处理抽帧采样、批大小与显存、失败重试、结果落库、吞吐与成本统计
交付可复现、可审计的推理流水线及其成本与质量报告
Agent 化数据挖掘：基于 Tool Calling、MCP、RAG、Multi-Agent 把“检索数据—看片段—调模型—校验—汇总”串成可重复执行的挖掘 Agent，让业务方用自然语言提需求
交付 Agent 工作流、查询模板和接入说明
你的工作从逐条看数据，变成设计规则、检查中间结果与验收产出
数据有效性验证与 Bad Case 归因：设计“加了这批数据模型有没有变好”的对照实验，按场景切片看指标变化，并把失败样本归因到数据缺失、标注错误、模型能力边界或评测口径
交付可复现的实验报告、补数清单和回归用例，推动需求进入下一轮数据闭环
优先资格
有自动驾驶、机器人或视频理解相关的项目、论文或竞赛经历，能说清数据从哪来、怎么筛、最后模型指标提升了多少
做过 Scenario Mining、长尾数据挖掘、主动学习或难例挖掘，能讲清筛选信号、命中率和最终收益
有 VLM 微调、蒸馏、量化或大规模 Batch Inference 的实践经验，处理过显存、吞吐、失败重试与成本问题
自己搭过用于数据处理的 Agent 或 RAG 系统（Tool Calling、MCP、Multi-Agent），能说明它替你省掉了哪一步人工、又在哪一步不可靠
了解向量检索、聚类、主动学习等数据选择方法，或熟悉自动驾驶数据的常见形态（clip、关键帧、多传感器、标注文件）
AI 洞察
优缺点分析
优点
- 处于自动驾驶数据闭环的核心上游，技术栈前沿（VLM + Agent）
- 直接参与真实业务课题，成果直接影响模型训练效果
- 地平线作为头部自动驾驶芯片厂商，平台资源丰富，行业影响力大
- 需要同时掌握数据工程、传统CV指标和大模型应用，知识跨度大
- 长尾数据挖掘本身具有探索性和不确定性，需通过实验验证数据有效性，工作结果难以像常规开发那样标准化
- 适合对自动驾驶数据闭环感兴趣、具备较强编程能力和大模型落地经验的计算机/AI相关专业硕博研究生
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向自动驾驶数据平台架构师、AI算法工程师（特别是多模态/大模型方向）或数据科学专家发展
- 随着大模型在自动驾驶中的应用深化，此类兼具数据工程与大模型应用能力的复合型人才极具竞争力
- 负责从海量自动驾驶路测数据中挖掘长尾场景（Corner Case）和坏例（Bad Case）
- 使用视觉语言模型（VLM）和智能体（Agent）技术对数据进行自动打标、场景理解和结构化处理
- 构建和维护数据清洗、标注及推理的自动化流水线
- 熟练掌握 Python 及数据处理库（NumPy, Pandas, OpenCV）
- 深入理解并使用过 VLM/多模态模型（如 Qwen-VL, InternVL）
- 具备搭建 Agent/RAG 系统及批量推理流水线（vLLM, TensorRT-LLM）的能力
- 理解自动驾驶基础概念及评估指标
申请策略
- 准备一个具体的案例，说明如何通过数据分析发现模型短板并改进
- 关注地平线在数据闭环方面的最新技术博客或论文，展现对业务的深刻理解
- 突出展示使用 Python 处理大规模数据集的经验
- 详细描述使用 VLM 进行场景理解或自动标注的项目，强调对模型输入输出、显存优化及失效模式的理解
- 展示搭建 Agent 或 RAG 系统的实际案例
- 深入学习 vLLM、SGLang 等大模型推理加速框架的使用
- 复习自动驾驶常见场景（Cut-in, 施工区等）的特征及评估指标
- 提升英文文献阅读及实验报告撰写能力
面试指南
- 使用 STAR 法则（情境、任务、行动、结果）描述项目经历
- 重点阐述技术选型的理由、遇到的困难（如显存溢出、数据噪声）及解决方案
- 对于评估类问题，强调数据分布分析和对照实验的重要性
- 请详细介绍你使用过的一个 VLM 项目，你是如何处理其显存和吞吐问题的？
- 在自动驾驶数据采集中，如何定义和挖掘长尾场景（Long-tail scenarios）？
- 如果让你设计一个基于 Agent 的数据挖掘流程，你会包含哪些组件？
- 如何评估挖掘出的数据对模型性能的提升作用？
- 请解释一下 Precision, Recall, mAP 在目标检测中的含义及其局限性
职位点评
薪资福利65
成长发展92
工作生活40
使命价值80
薪资福利
65中等
作为知名上市企业的实习岗位，薪资通常符合市场中等偏上水平，但实习津贴绝对值有限，稳定性虽高但实习期短，整体补偿性动机满足程度中等。
薪资信号未披露（AI估算：4.0–7.0千/月）
成长发展
92较高
极高。岗位涉及最前沿的 VLM 和 Agent 技术在自动驾驶领域的应用，技术栈新颖且深度大，能提供极高的技能成长空间和行业视野。
技术前沿前沿/新兴技术
技术栈VLM、Agent、Qwen-VL、InternVL、LLaVA、vLLM、SGLang、TensorRT-LLM、RAG、Multi-Agent
业务类型profit_center
工作生活
40较低
JD 未提及弹性工作或远程办公，且涉及大量数据处理和实验验证，通常意味着较高的工作强度和专注度，WLB 可能一般。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
自动驾驶是关乎交通安全的重要领域，通过优化数据闭环提升模型安全性，具有较高的社会价值和行业使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
地平线 的其他在招职位
相似职位推荐
Watch Jobs