地平线
计算机视觉算法实习生（VLM-多模态）
计算机视觉算法实习生（VLM-多模态）
发布于 3 小时前实习/见习
实习生仅现场办公计算机视觉工程
计算机视觉工程
Occupancy
Pytorch
Vlm
多模态融合
点云处理
自动驾驶
计算机视觉
值不值得投
80综合评分
综合评分 80
顶尖自动驾驶大厂、前沿VLM技术栈、高成长潜力、高强度技术挑战
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较实习机会。
薪资怎么样
1.0千
比计算机视觉工程中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 380 个在招 · 其中计算机视觉工程 8 个
市场机会
选择面较广
北京 · 计算机视觉工程 · 约 150 个在招
职位详情
关于这个职位
该职位是地平线自动驾驶部门的算法实习岗位，主要参与基于VLM（视觉语言模型）的Occupancy真值与多模态语义重建算法研发
你需要融合LiDAR、Camera及位姿信息，利用开放词汇识别和场景上下文解决传统分割方法的不足，并负责算法的工程化落地与评估优化
最低要求
硕士或博士在读，计算机科学、人工智能、自动化、电子信息、测绘遥感、数学等相关专业
具备扎实的计算机视觉与深度学习基础，理解语义 / 实例分割、视觉语言模型及跨模态特征对齐等基本原理，了解三维坐标变换、点云投影与体素表示等基础知识
对 VLM、开放词汇检测 / 分割、多模态学习、三维语义重建或 Occupancy 中至少一个方向有一定了解，有相关课程、科研或项目经历，能够结合实验分析模型效果与失效原因
熟悉 Python / PyTorch，能够阅读和修改开源模型代码，具备基本的模型训练、推理、实验复现能力，熟悉 Linux、Git 等开发工具
每周能够实习 5 天及以上，连续实习 3 个月及以上，能够长期实习者优先
工作职责
参与自动驾驶通用 Occupancy 真值与多模态语义重建算法研发，融合 LiDAR、Camera 及位姿信息，构建高质量三维占据与语义真值，支撑自动驾驶模型训练、评测与数据生产
参与基于 VLM 的占据语义纠错与精细化分类算法研发，利用视觉语言理解、开放词汇识别与场景上下文信息，解决传统分割方法中类别划分不够细致、长尾类别识别不足、相似类别易混淆等问题，提升 Occupancy 真值的语义准确性与类别覆盖度
研究二维语义与三维占据的关联及融合方法，将 VLM 的对象识别与语义判断同目标定位、精细分割及点云几何结合，实现像素 / 区域语义向点云与体素的准确映射，维护跨视角、跨帧语义一致性，改善遮挡、稀疏观测与动态场景下的真值质量
参与面向自动驾驶场景的 VLM 领域适配与数据闭环建设，探索类别体系对齐、提示词优化、领域微调与不确定性评估，结合多视角观测和几何约束进行输出校验，实现错误样本挖掘、自动质检与人工复核协同，降低语义真值生产成本
参与算法工程化落地，开展 Bad Case 分析与重建质量评估，建立语义 mIoU、细粒度类别准确率、跨帧一致性及人工抽检等评估流程，持续优化算法精度、鲁棒性，以及大规模数据处理下的计算效率和内存 / 显存占用
优先资格
有 VLM 领域适配、参数高效微调、视觉定位、开放词汇检测 / 分割或细粒度识别实践，具备将视觉语言模型与分割模型结合，用于自动标注、语义纠错或标注质检的项目经验
熟悉 nuScenes、SemanticKITTI、Waymo 等自动驾驶数据集，有点云—图像融合、多视角语义融合、三维语义分割、Occupancy 真值生成或大规模多模态数据处理经验
具备 C++、Open3D、CUDA 或模型推理优化经验者优先
在 CVPR、ICCV、ECCV、NeurIPS、ICRA、IROS 等相关会议或期刊发表过论文，或有高质量开源项目 / 竞赛经历
AI 洞察
优缺点分析
优点
- 接触自动驾驶最前沿的VLM与Occupancy技术栈，平台行业领先，有助于简历含金量提升
- 技术门槛高，需同时掌握2D视觉、3D点云及大模型知识，对学术背景和工程能力要求双重严格
- 计算机视觉方向在读硕博，对自动驾驶和多模态大模型有浓厚兴趣且具备较强科研能力的同学
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向自动驾驶感知算法专家、多模态大模型研究员方向发展，积累前沿AI技术在自动驾驶落地的实战经验
- 负责自动驾驶场景中Occupancy（占据栅格）真值的构建与多模态语义重建，确保数据质量以支撑模型训练
- 需要扎实的计算机视觉与深度学习基础，特别是VLM（视觉语言模型）、多模态融合及三维重建相关知识
申请策略
- 准备详细的项目介绍，重点阐述如何解决长尾类别识别或跨模态对齐等技术难点
- 突出VLM、多模态融合、3D语义分割相关的科研项目或论文，强调PyTorch工程实现能力
- 复习点云处理库（如Open3D），熟悉主流自动驾驶数据集（nuScenes, Waymo），了解VLM微调技巧
面试指南
- 使用STAR法则（情境、任务、行动、结果）描述项目经历，重点突出技术选型的理由、遇到的挑战及解决方案
- 请详细介绍你参与的VLM或多模态相关项目，你在其中的具体贡献是什么？
- 如何理解Occupancy网格在自动驾驶中的作用？与传统BEV感知有何异同？
- 在处理点云和图像融合时，如何解决时空同步和坐标系转换的问题？
- 如果模型在长尾类别上表现不佳，你会从哪些角度进行分析和优化？
- 复习Transformer架构在多模态中的应用，了解最新VLM进展，梳理点云与图像融合的经典论文
职位点评
薪资福利70
成长发展95
工作生活60
使命价值85
薪资福利
70中等
地平线作为已上市的头部自动驾驶公司，提供的实习津贴通常高于市场平均水平，但实习岗位本身薪资上限有限。
薪资信号未披露（AI估算：0.3–0.5千/月）
成长发展
95较高
该职位涉及VLM、Occupancy等前沿技术，能接触到自动驾驶核心数据闭环，对个人技术成长极具价值。
技术前沿前沿/新兴技术
技术栈VLM、Occupancy、多模态、PyTorch、点云处理、语义分割
业务类型profit_center
工作生活
60中等
互联网/科技公司算法岗通常节奏较快，但实习岗位相对正式员工压力稍小，需确认具体加班情况。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
致力于通过AI技术推动自动驾驶发展，提升道路安全，具有显著的社会价值和行业使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs