小米
自动驾驶大模型预训练高级算法工程师
自动驾驶大模型预训练高级算法工程师
发布于 大约 15 小时前普通员工/个人贡献者
上海市
专家级经验
全职员工
仅现场办公
硕士
自动驾驶
Deepspeed
Diffusion Models
Megatron-Lm
Pytorch
Vla
世界模型
分布式训练
多模态学习
端到端自动驾驶
AI 估算 · 60k–90k
职位详情
关于这个职位
作为小米自动驾驶核心算法团队的大模型预训练高级算法工程师，你将站在物理AI与自动驾驶的前沿，负责构建下一代端到端自动驾驶基础模型
工作内容包括设计多模态大模型预训练框架、构建世界模型、推动端到端规划算法研发，并负责千卡级分布式训练优化
你将直接决定智能驾驶系统的上限，推动L2+至L4级自动驾驶技术的落地与进化
最低要求
教育背景：计算机、自动化、数学等相关专业硕士及以上学历，博士优先
研究能力：在自动驾驶、多模态学习、世界模型、具身智能等至少一个领域有深厚积累
以第一作者发表过顶会/顶刊论文（如CVPR, ICCV, ECCV, NeurIPS, ICLR, TPAMI等），或有Kaggle、Waymo挑战赛等顶级竞赛获奖经历
技术栈：精通PyTorch等深度学习框架
精通自监督/弱监督预训练算法、对比学习、掩码建模等技术
深入理解多模态融合与对齐机制（如CLIP, BLIP, LLM-based agents）
熟悉扩散模型（Diffusion Models）原理及加速采样技术
具备扎实的端到端自动驾驶算法基础，熟悉Planning/Control模块者优先
工程能力：拥有千卡级GPU集群的分布式训练实战经验，熟悉Megatron-LM, DeepSpeed等框架，能够独立解决大规模训练中的收敛与性能瓶颈
具备优秀的代码能力，熟练掌握Python/C++，有良好的系统设计与工程规范意识
团队与领导力：具有3人以上技术团队管理经验，善于跨团队（如数据平台、仿真、测试、硬件）协调资源，推动复杂项目落地
具备清晰的技术战略思考能力，能够从0到1规划技术路径，并拆解执行
软性素质：安全敬畏心：深刻理解自动驾驶的安全红线，在算法设计中始终将安全性置于首位
极客精神：追求算法性能的极致，同时保持务实态度，平衡学术前瞻性与工程落地性
适应力：愿意拥抱技术变革，适应创业公司般的高强度迭代节奏，对解决未知难题充满热情
工作职责
模型研发与创新：负责自动驾驶多模态大模型的预训练框架设计与优化，探索自监督/弱监督学习在长尾场景下的应用，主导视觉-语言-动作（VLA）或多模态对齐技术的研发
世界模型构建：深入研究生成式模型（如Diffusion、Autoregressive Model），构建自动驾驶领域的世界模型，提升模型对物理规律、因果关系的理解与推演能力，赋能仿真与规控
端到端技术演进：参与或主导基于大模型的端到端规划算法研发，打通从感知到决策的全链路优化，解决传统模块化系统中的信息损耗与累积误差问题
大规模训练工程落地：负责千卡级分布式训练的优化，包括但不限于数据并行、模型并行、流水线并行策略，以及显存优化和通信加速，确保训练的高效与稳定
技术战略规划：跟踪学术界（CVPR/ICCV/ECCV/NeurIPS等）及业界前沿动态，结合业务实际制定技术路线图，攻克数据闭环中的核心算法难题
优先资格
加分项：在GitHub上有具有影响力的开源项目
有LLM（大语言模型）微调、RLHF（人类反馈强化学习）相关经验
熟悉车端部署与TensorRT加速，了解嵌入式系统特性
AI 洞察
优缺点分析
优点
- 小米作为大厂，资源丰富，平台稳定，薪资待遇优厚
- 团队核心，工作成果直接影响智能驾驶系统上限，成就感强
- 有机会与学术界和业界顶尖人才合作，发表高水平论文
- 技术难度高，要求博士或顶会论文，竞争激烈
- 自动驾驶安全要求高，算法设计需严谨，容错率低
- 适合在自动驾驶、多模态学习或世界模型领域有深厚积累，追求技术极致，能适应高强度工作，并希望站在行业前沿的顶尖算法工程师
缺点 / 挑战
- 站在物理AI与自动驾驶前沿，技术挑战大，成长空间广阔
- 高强度迭代节奏，可能面临较大工作压力
角色解读
- 从高级算法工程师向技术专家或技术经理发展，主导核心算法方向
- 在自动驾驶领域深耕，成为世界模型或端到端方向的领军人物
- 有机会参与技术战略规划，影响公司自动驾驶技术路线图
- 设计并优化自动驾驶多模态大模型的预训练框架，探索自监督学习在长尾场景的应用
- 构建自动驾驶世界模型，提升模型对物理规律和因果关系的理解，赋能仿真与规控
- 参与端到端规划算法研发，打通感知到决策的全链路，解决传统模块化系统的信息损耗问题
- 负责千卡级分布式训练优化，包括并行策略、显存优化和通信加速，确保训练高效稳定
- 精通PyTorch等深度学习框架，熟悉自监督/弱监督预训练算法、对比学习、掩码建模
- 深入理解多模态融合与对齐机制，熟悉扩散模型原理及加速采样技术
- 具备千卡级GPU集群分布式训练经验，熟悉Megatron-LM、DeepSpeed等框架
- 优秀的代码能力，熟练掌握Python/C++，有良好的系统设计与工程规范意识
申请策略
- 了解小米自动驾驶业务进展，在面试中展现对公司的热情
- 准备技术分享，展示对自动驾驶安全的理解和敬畏心
- 突出顶会论文或顶级竞赛获奖经历，展示研究深度
- 强调千卡级分布式训练实战经验，体现工程能力
- 展示端到端自动驾驶或世界模型相关项目，突出技术匹配度
- 提及团队管理经验，体现领导力和跨团队协调能力
- 补充LLM微调和RLHF经验，增强多模态大模型能力
- 熟悉车端部署和TensorRT加速，提升工程落地能力
面试指南
- 使用STAR法则：情境、任务、行动、结果，清晰展示项目贡献
- 结合具体技术细节，如模型架构、训练策略、性能指标，体现专业性
- 强调安全意识和务实态度，展示对自动驾驶领域的深刻理解
- 请介绍你在自动驾驶大模型预训练方面的项目经验
- 如何设计一个自监督预训练任务来利用海量无标注驾驶数据？
- 在千卡级分布式训练中，你如何解决通信瓶颈和显存不足的问题？
- 谈谈你对世界模型在自动驾驶中应用的理解
- 如何平衡算法创新与工程落地的关系？
职位点评
76
综合评分
前沿技术、高薪、高强度，适合技术极客。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
最适合追求技术成长和行业前沿的求职者，愿意接受高强度工作以换取职业发展。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展95
工作生活40
使命价值85
薪资福利
80较高
该职位薪资水平高，福利待遇好，但具体薪资未披露，需面议。
薪资信号面议 (60K-90K/月)
成长发展
95较高
该职位处于技术前沿，涉及世界模型、VLA等新兴方向，成长空间大，但晋升路径未明确提及。
技术前沿前沿/新兴技术
技术栈PyTorch、自监督学习、多模态、世界模型、Diffusion、VLA、分布式训练
业务类型profit_center
工作生活
40较低
工作地点在上海，但未提及弹性办公或远程，且暗示高强度迭代，WLB可能较差。
工作模式仅现场办公
办公地点未明确
加班情况JD含高强度暗示词
使命价值
85较高
自动驾驶行业前景广阔，技术具有社会价值，但JD中未明确提及使命导向。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs