高德地图
高德-强化学习算法工程师/专家-世界模型动作控制与后训练方向
高德-强化学习算法工程师/专家-世界模型动作控制与后训练方向
发布于 3 天前普通员工/个人贡献者
北京市
中级经验
全职员工
仅现场办公
硕士
研究与开发 (研发)
Deepspeed
Dpo
Megatron-Lm
Ppo
Pytorch
世界模型
具身智能
强化学习
生成式模型
AI 估算 · 35k–65k
北京AI算法专家岗位，技能稀缺，市场竞争激烈，薪资水平较高。
职位详情
关于这个职位
这是一个面向空间智能与具身智能的强化学习算法岗位，你将专注于世界模型的后训练与对齐，通过RL算法优化百亿参数模型的物理动作控制能力
工作涉及奖励模型设计、数据闭环构建及分布式训练系统优化，目标是让机器在虚拟世界中学会精准决策
适合对强化学习、生成式模型有深入理解且热爱技术攻关的算法专家
最低要求
● 计算机科学、人工智能、机器人、应用数学、自动化或相关专业硕士及以上学历
● 在强化学习（特别是 Deep RL、MBRL）、大模型对齐或具身智能领域有深入的研究背景，具备扎实的马尔可夫决策过程（MDP）、最优化理论、概率论与深度学习基础
● 核心算法领域（至少精通以下其中一项，熟悉多项）：
○ 大模型对齐与后训练：深入理解大模型对齐技术原理，精通 PPO, DPO, DiffusionNFT 等对齐算法
有实际的Diffusion/Flow 生成式模型后训练（Post-training）调优经验
○ 强化学习与世界模型：精通基于模型的强化学习（Model-based RL，如 Dreamer系列, MBPO, Dyna架构）
理解并在连续控制（Continuous Control）任务上有丰富经验
○ 生成式模型理解：熟悉基础的生成模型原理（Diffusion/Flow Model, DiT, VAE），理解时空注意力机制，了解 Sora, Video LDM 等视频生成架构及 ControlNet 等可控生成技术
○ 多模态与Reward评估：熟悉 CLIP, VLM 等多模态视觉语言模型，能熟练运用多模态表征进行物理世界状态评估及 Reward Function 的设计
● 精通 Python/C++ 编程，熟练掌握 PyTorch 等主流深度学习框架
具备优秀的工程实现能力，熟悉 Megatron-LM, DeepSpeed, vLLM 等大规模分布式训练/推理框架
● 工作年限：1-3年相关领域算法研发经验
工作职责
● 世界模型后训练（Post-training & Alignment）：研发基于人类反馈或AI反馈的强化学习算法（如 FlowGRPO/DiffusionNFT/AWP/AWM 等），对基础动作控制世界模型进行对齐与微调，大幅提升其对复杂动作指令的遵循能力、生成帧的物理一致性以及长时序可控性
● 奖励模型构建（Reward Modeling）：结合物理学先验、多模态视觉特征与常识逻辑，设计并训练鲁棒的奖励模型（Reward Model）或判别器，用于精准评估世界模型生成的未来状态与动作意图的匹配度及合理性
● 探索机制与数据飞轮（Exploration & Data Loop）：构建自动化数据闭环，利用主动探索机制，在庞大的动作-状态空间中挖掘高价值的边界案例（Corner Cases）和反事实轨迹，反哺并增强世界模型的生成能力
● 产线落地与强化学习系统优化：与基座生成模型团队紧密配合，解决千亿/百亿级参数模型在 RL 阶段的显存墙与通信瓶颈，优化 DiffusionNFT/FlowGRPO 等算法在大规模分布式系统上的训练效率与稳定性
● 前沿追踪：跟踪学术界和工业界在强化学习、世界模型后训练、大模型对齐（Alignment）相关领域的最新进展，保持公司在该领域的技术领先地位
优先资格
● 在顶级会议（如 NeurIPS、ICLR、ICML、CVPR、ICRA、IROS）发表过 RL 或 World Model 相关高质量论文
● 在 GitHub 上有高 Star 开源项目，参与过知名 RL/Alignment 开源社区（如 RLHF相关库, Ray RLlib, Stable Baselines3 等）的贡献
● 对 Physical AI（物理AI）、Spatial Intelligence（空间智能）有独到见解，曾复现、深入剖析或改进过 Dreamer-v3, Genie, Sora, InstructGPT 等相关工作
AI 洞察
优缺点分析
优点
- 技术前沿：直接参与世界模型后训练、RL对齐等最前沿AI方向，技术含金量极高
- 资源优势：背靠阿里巴巴，拥有海量算力、真实物理世界交互数据以及顶尖团队
- 成长空间：团队兼具学术与产业视角，鼓励创新，个人有大量机会发表论文或产出影响力成果
- 薪资竞争力：AI算法专家在北京属于高薪职位，公司提供有竞争力的薪酬和福利
- 工作强度：技术攻关期可能需要高强度投入，面对Reward难收敛等问题需要极大耐心
- 技术难度：涉及多领域交叉（RL、生成模型、分布式系统），对综合能力要求极高
- 适合对强化学习和世界模型有浓厚兴趣、享受技术突破乐趣、愿意在高压环境下快速成长的算法研究员
缺点 / 挑战
- 竞争压力：团队内部和外部AI人才竞争激烈，需要持续学习和产出
角色解读
- 技术深耕：从强化学习算法工程师成长为世界模型/具身智能领域的技术专家，主导前沿算法的研发与落地
- 团队领导：随着团队扩张，可晋升为技术Leader，带领子方向团队攻关核心难题
- 行业影响力：通过在顶级会议发表论文或开源项目，积累个人品牌，成为行业KOL
- 负责世界模型的后训练与对齐，研发基于人类反馈或AI反馈的强化学习算法（如FlowGRPO、DiffusionNFT等），提升模型动作生成的质量和物理一致性
- 设计并训练奖励模型，结合物理先验和多模态特征评估生成结果的合理性
- 构建自动化数据闭环，利用主动探索挖掘边界案例，不断优化模型生成能力
- 与基座模型团队协作，解决大规模分布式训练中的显存和通信瓶颈，优化训练效率
- 扎实的强化学习理论基础，精通PPO、DPO、DiffusionNFT等对齐算法，或Dreamer、MBPO等基于模型的强化学习方法
- 深入理解生成式模型（Diffusion/Flow Model、DiT、VAE），熟悉视频生成架构和可控生成技术
- 熟练掌握PyTorch，并有Megatron-LM、DeepSpeed、vLLM等分布式训练框架的实际使用经验
- 具备多模态理解能力，熟悉CLIP、VLM等模型，能设计基于多模态表征的奖励函数
申请策略
- 在求职信中表达对具身智能和世界模型的热情，并简要阐述你对未来技术方向的理解
- 提前了解高德视觉技术中心发表的论文和开源项目，面试中展现对团队工作的熟悉度
- 突出强化学习相关项目经验，特别是使用PPO、DPO或Dreamer系列算法的实际案例，附上性能提升数据
- 展示生成式模型方面的研究或工程成果，如视频生成、Diffusion模型调优等
- 强调分布式训练技能，列出Megatron-LM、DeepSpeed等框架的使用经验和效果
- 如有顶级会议论文或高Star开源项目，务必醒目位置呈现
- 补强多模态奖励模型设计能力，可以动手实现一个基于CLIP的简单Reward Model
- 深入熟悉一种扩散模型后训练框架（如DiffusionNFT的代码库），理解其核心实现
面试指南
- 对于算法原理类问题：先阐述核心公式和直觉，再结合实际经验说明调参技巧和常见陷阱
- 对于系统设计类问题：先分解问题为子模块，分别提出方案，最后权衡利弊给出推荐
- 对于前沿理解类问题：结合文献和个人见解，展示技术视野，并指出尚待解决的难题
- 请详细解释PPO算法的流程，并讨论其在连续控制任务中的应用局限
- 如何设计一个合理的奖励函数来评估视频生成模型的物理一致性？
- 在训练大规模Diffusion模型时，你遇到过哪些分布式训练问题？如何解决？
- 如果你需要将Dreamer算法扩展到百亿参数世界模型，会面临哪些挑战？
- 谈谈你对世界模型后训练中“对齐”的理解，与传统RLHF有何异同？
职位点评
68
综合评分
前沿AI岗位，技术天花板高，薪资优厚，但工作强度较大，适合热爱挑战的算法专家。
更适合这类人
最适合以技术成长为首要目标的求职者，对工作生活平衡要求不高，愿意投入时间攻克技术难题。
表现最好
成长发展
相对薄弱
工作生活
薪资福利65
成长发展95
工作生活40
使命价值70
薪资福利
65中等
薪资具有行业竞争力，但JD未明确具体数字和福利，补偿性动机满足程度中等。
薪资信号未披露（AI估算：35K-65K/月）
成长发展
95较高
岗位聚焦前沿技术，有大量学习和成长机会，发展性动机得到极好满足。
技术前沿前沿/新兴技术
技术栈强化学习、世界模型、Diffusion、PPO、DPO、Dreamer、Megatron-LM、DeepSpeed
业务类型ambiguous
工作生活
40较低
仅现场办公，未提及弹性工作或WLB措施，生活化动机满足程度有限。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
AI技术对社会具有潜在正面影响，但直接的社会意义感不强，行业处于高速增长期。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs