百度
视觉语言模型（VLM）算法工程师（J98999）
视觉语言模型（VLM）算法工程师（J98999）
发布于 3 天前普通员工/个人贡献者
北京市 / 上海市
中级经验
全职员工
仅现场办公
学历未注明
深度学习
PyTorch
强化学习
自动驾驶
VLM
模仿学习
VLA
多模态大模型
AI 估算 · 30k–60k
核心算法岗，技术前沿，百度自动驾驶投入大，薪资竞争力强。
职位详情
关于这个职位
该职位负责百度下一代自动驾驶VLM/VLA大模型的研发，涵盖车端与云端部署
你将参与多模态大模型的结构调优、蒸馏、评测，以及高质量数据生产，以提升Robotaxi的安全性和智能性
适合有深度学习背景，对自动驾驶和视觉语言模型充满热情的算法工程师
最低要求
计算机、机器人、人工智能等相关专业，熟练使用C++、Python，有良好模型训练基础及代码规范
具备深度学习、大语言模型等相关算法学习与工作背景，包括但不限于：VLM/VLA、3D-LLMs、Deep Learning Planning、Deep Renforcement Learning、Imitation Learning、Deep Generative Model等
熟练使用至少一种深度学习框架（如PyTorch、Paddle等）
具有良好的沟通能力，能够在团队内和团队间高效协作
对新技术和未知领域保持好奇心和求知欲
工作职责
负责下一代自动驾驶VLM/VLA大模型研发，支持车端与云端部署
多模态大模型的开发与迭代，包括但不限于结构调优、模型蒸馏、评测体系等工作，提升大模型在无人驾驶场景中的理解推理与决策规划能力
支持面向L4的多模态大模型高质量数据生产，包括但不限于基于离线大模型进行数据挖掘与标注，提升驾驶思考推理过程数据质量与分布，通过数据驱动方式提升模型能力
与上下游模块协同，提升Robotaxi安全性和智能性
持续跟进业界与学界自动驾驶端到端大模型技术路径，完成方案验证与转化落地
优先资格
有机器学习领域顶级会议期刊论文发表、ACM等编程比赛获奖经历者优先
有计算机、机器人、人工智能或相关学科领域博士学位者优先
AI 洞察
优缺点分析
优点
- 百度Apollo自动驾驶平台成熟，拥有海量数据和丰富场景，技术落地机会多
- VLM/VLA是自动驾驶前沿方向，技术积累价值高，有利于长期职业发展
- 大厂薪资待遇优厚，福利完善，并有股票激励机会
- 自动驾驶对模型安全性要求极高，算法鲁棒性面临严峻考验
- 技术迭代快，工作强度可能较大，需要持续学习和快速适应
- 团队竞争激烈，需具备较强的自我驱动力和抗压能力
- 适合对自动驾驶和视觉语言模型有浓厚兴趣，具备扎实深度学习基础，追求技术前沿和高回报的算法工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 成长为自动驾驶多模态大模型领域的专家，主导核心算法方向
- 向技术Leader或架构师发展，带领团队攻克技术难题
- 横向拓展至自动驾驶全栈系统或AI平台研发，拓宽技术视野
- 负责下一代自动驾驶VLM/VLA大模型的研发，涵盖模型结构设计、训练、蒸馏和部署
- 通过数据驱动方法提升大模型在无人驾驶场景中的理解、推理和决策规划能力
- 与上下游模块协同，优化Robotaxi的安全性和智能性，并持续跟进业界前沿技术方案
- 精通Python和C++，具备扎实的深度学习模型训练和调优经验
- 熟悉VLM/VLA、多模态大模型、强化学习或模仿学习等相关算法
- 熟练使用PyTorch等深度学习框架，有模型部署和优化经验者优先
申请策略
- 深入了解百度Apollo的技术架构和业务方向，在面试中展现对自动驾驶行业的热情
- 准备一个端到端自动驾驶相关项目的完整案例，体现从研究到落地的思考
- 重点突出多模态大模型、自动驾驶或相关领域的项目经验，包括模型设计、训练和部署
- 强调模型优化、蒸馏、数据挖掘等工程落地能力
- 如有顶会论文或编程竞赛奖项，务必醒目展示
- 补充VLM/VLA方向的最新论文和开源代码，如LLaVA、Flamingo等
- 学习模型推理优化技术，如TensorRT、ONNX等，提升对车端部署的理解
面试指南
- 先提炼问题的核心技术点，再分层阐述原理、挑战和解决方案
- 结合具体项目经验，用STAR法则说明遇到的问题、采取的行动和取得的成果
- 展现对系统整体架构的理解，而不局限于单一模块
- 请介绍最近关注的VLM论文，并说明其技术贡献与不足
- 如何设计模型蒸馏策略以提升小模型在车端的推理效率？
- 在自动驾驶场景中，VLA如何实现从感知到决策的端到端规划？
- 如何处理自动驾驶中的长尾场景（如罕见路况）数据问题？
- 模型从云端部署到车端需要考虑哪些优化措施？
匹配度报告
71
综合匹配度
百度核心算法岗，自动驾驶VLM前沿，高薪高成长，WLB一般。
适合人群
适合高度追求技术成长和薪资回报，能够接受一定工作强度，对自动驾驶充满热情的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利85
成长发展90
工作生活40
使命价值70
薪资福利匹配
85较高
百度作为大厂，薪资福利具有市场竞争力，但JD中未明确提及具体薪资和福利，需面试时确认。
薪资信号未披露（AI估算：30K-60K/月）
成长发展匹配
90较高
该职位聚焦VLM/VLA前沿技术，深度学习背景要求高，能极大促进技术成长，公司平台也提供丰富的学习资源。
技术前沿前沿/新兴技术
技术栈VLM、VLA、多模态大模型、PyTorch、强化学习、模仿学习、自动驾驶、端到端
业务类型profit_center
工作生活匹配
40较低
JD未提及弹性工作或WLB，且大厂核心算法岗通常工作强度较高，现场办公模式缺乏灵活性。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值匹配
70中等
自动驾驶技术对交通安全和出行效率有正面社会影响，但JD未强调社会价值或使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs