哈啰出行
智驾算法工程师/专家（VLA.VLM方向）-【自动驾驶】
智驾算法工程师/专家（VLA.VLM方向）-【自动驾驶】
发布于 大约 17 小时前普通员工/个人贡献者
上海市 / 广州市
高级经验
全职员工
仅现场办公
硕士
强化学习
LLM
自动驾驶
模型压缩
VLM
CLIP
ViT
AI 估算 · 30k–60k
自动驾驶算法专家岗位，技术要求高，市场稀缺，一线城市薪资水平高，互联网大厂通常提供15薪。
职位详情
关于这个职位
该职位负责基于视觉语言模型（VLM）和大语言模型（LLM）研发自动驾驶行为预测与运动规划的基座模型，涉及模型预训练、微调及车端/云端部署优化
你将与硬件、部署及系统团队紧密合作，推动前沿技术落地
适合具备大模型、强化学习等背景的算法专家
最低要求
计算机、人工智能、深度学习或相关专业硕士及以上学历
具备扎实的深度学习基础，熟悉Transformer、BERT、ViT、CLIP、BLIP等主流的视觉语言模型框架
熟悉VLM（如Qwen-VL系列，InternVL系列）或LLM（如GPT系列，LLaMA系列），具备大模型预训练、微调、推理和工程化等经验
具有VLA建模、生成式模型（Diffusion Policy）、强化学习等算法背景
工作职责
基于Vision Language Model（VLM）和Large Language Model（LLM），设计和实现自动驾驶中面向行为预测和运动规划的基座模型
参与基座模型的预训练、后训练（SFT + RL），提升基座模型的行为预测和运动规划能力
针对车端/云端部署，开展模型算法层面的性能优化工作，例如压缩，剪枝，蒸馏，训练/推理加速等，确保模型可用性、系统实时性和资源利用率
与硬件团队、部署团队和系统团队紧密协作，推动模型部署，以及在仿真和车载平台的落地
跟踪行业前沿技术，将创新性方案应用于实际项目，推动新技术在产品中的落地
优先资格
有计算机视觉领域顶会或顶刊论文（CVPR/ICCV/ECCV/ICML/NeurlPS/TPAMI/IJCV等），或者有顶级学术比赛成果/实际项目经验
具备从零开始构建多模态系统或算法平台的能力
具备良好的团队内及跨团队的沟通能力
具备快速学习和解决问题的能力
AI 洞察
优缺点分析
- 接触最前沿的VLM/LLM技术并将其应用于自动驾驶，技术积累价值高
- 哈啰出行作为大型互联网公司，平台资源丰富，团队协作规范，项目落地性强
- 自动驾驶行业处于高速发展期，人才需求旺盛，职业前景广阔
- 职位涉及从研究到部署的全链路，技能提升全面，可成长为复合型人才
- 自动驾驶算法对精度和实时性要求极高，模型优化难度大，需要不断攻克技术难点
- 行业竞争激烈，需要持续跟踪学术前沿并快速迭代，工作强度较高
- 多团队协作（硬件、系统、部署）沟通成本较高，需具备良好的跨部门协调能力
- 适合对自动驾驶和大型语言模型有浓厚兴趣，具备扎实深度学习背景和工程能力，喜欢挑战高难度技术问题的算法专家
角色解读
- 在自动驾驶算法领域深入研究，从算法工程师成长为技术专家或架构师，主导核心模型设计
- 向多模态AI或具身智能方向拓展，结合自动驾驶经验进入机器人、通用人工智能等前沿领域
- 横向发展，可转向算法平台构建、技术管理或产品技术负责人等角色
- 设计和实现基于VLM/LLM的自动驾驶行为预测和运动规划模型，这是自动驾驶决策系统的核心
- 参与大模型的预训练、SFT和强化学习，优化模型对复杂驾驶场景的理解和决策能力
- 针对车端/云端部署进行模型压缩、剪枝、蒸馏等优化，确保在实际硬件上的实时性和资源效率
- 与硬件、部署和系统团队协作，推动模型从研发到仿真和实车的落地
- 扎实的深度学习基础，熟悉Transformer、ViT、CLIP等主流视觉语言模型框架
- 具备VLM/LLM的预训练、微调和推理经验，了解Qwen-VL、InternVL、GPT、LLaMA等模型
- 掌握VLA建模、生成式模型（如Diffusion Policy）和强化学习算法
- 具备模型压缩、剪枝、蒸馏等工程优化能力，能独立处理部署中的性能问题
申请策略
- 了解哈啰出行的自动驾驶业务方向和产品定位，在面试中展示你对该领域痛点的理解
- 准备一个完整的技术案例，从问题定义、模型设计、训练优化到部署效果，体现系统思维
- 突出在VLM/LLM领域的项目经验，尤其是预训练、微调和部署的完整案例
- 强调在自动驾驶行为预测或运动规划方面的实际成果，如论文、比赛或开源贡献
- 展示模型压缩、剪枝、蒸馏等优化经验，表明你具备工程落地的能力
- 如果有强化学习或生成式模型（Diffusion Policy）的经验，务必详细描述
- 如果缺乏VLM/LLM经验，可深入学习相关开源模型（如Qwen-VL、InternVL）并动手实践微调
- 补充自动驾驶领域的基础知识，如行为预测、运动规划、感知融合等
面试指南
- STAR法则：先描述情境（Situation）和任务（Task），再说明采取的行动（Action），最后展示结果（Result）
- 对比分析：对于方法类问题，先阐述几种常见方法的优缺点，再结合实际场景给出选择理由
- 请详细描述你参与过的VLM或LLM项目，包括模型架构、训练策略和最终效果
- 在自动驾驶行为预测中，如何平衡模型精度和实时性？请举例说明
- 请解释Diffusion Policy的工作原理及其在运动规划中的优势
- 如何进行大模型的压缩和推理加速？有哪些常用的方法？
- 请描述一个你解决过的具有挑战性的技术问题，并说明你的解决思路
- 复习VLM/LLM的核心论文，理解模型架构和训练技巧，准备一个你熟悉的模型的详细解读
匹配度报告
71
综合匹配度
前沿自动驾驶算法岗，技术成长极佳，薪资有竞争力，但工作强度可能较高。
适合人群
最适合追求技术前沿和个人成长，对薪资和工作生活平衡要求适中的算法专家。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利70
成长发展95
工作生活40
使命价值80
薪资福利匹配
70中等
职位未明确披露薪资福利，但基于公司规模及行业水平，薪资应具竞争力，但加班可能影响稳定性评价。
薪资信号未披露 (30K-60K/月)
成长发展匹配
95较高
职位聚焦前沿的VLM/LLM和自动驾驶技术，能够极大提升技术深度和广度，成长空间巨大。
技术前沿前沿/新兴技术
技术栈VLM、LLM、Transformer、ViT、CLIP、Diffusion Policy、强化学习、模型压缩、剪枝、蒸馏
业务类型profit_center
工作生活匹配
40较低
未提及远程或弹性工作，自动驾驶行业通常工作强度较大，WLB可能一般。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值匹配
80较高
自动驾驶是高速增长赛道，技术推动社会出行变革，但职位描述中未明确提及社会使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs