哔哩哔哩
大模型强化学习算法工程师（RL/RM）
大模型强化学习算法工程师（RL/RM）
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公AI算法
AI算法
Grpo
Llm
Omni Model
Ppo
Prompt Engineering
Pytorch
Reinforcement Learning (Rl)
Vlm
值不值得投
81综合评分
综合评分 81
一线大厂核心AI算法岗，技术前沿极具挑战性，发展空间广阔但工作强度可能较高
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.8万
比AI算法中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 920 个在招
市场机会
选择面较广
上海 · AI算法 · 92 个在招
职位详情
关于这个职位
负责哔哩哔哩音视频生成大模型的后训练工作，通过强化学习（RL）或奖励模型（RM）技术优化提示词工程效果
核心职责包括构建视听剧本偏好数据、训练奖励模型以评估创意与叙事质量，或利用PPO/GRPO等算法提升模型对用户意图的理解及剧本编排能力，最终实现从用户指令到高质量成片的效果提升
最低要求
熟悉 Transformer 及大模型后训练流程
熟练使用 Python、PyTorch
具备 LLM、VLM 或 Omni 中至少一类模型的训练与评测经验
RM 方向：具备偏好数据构建、排序学习或奖励模型训练经验，能将主观创作要求转化为可复现的标注标准，并分析模型评分与人工判断的分歧
RL 方向：具备大模型强化学习实操经验，熟悉 PPO、GRPO 等至少一种方法，能结合采样结果、奖励分布和 KL 散度诊断奖励投机、过度扩写或策略退化
工作职责
奖励模型（RM）方向：
与 PE 和评测团队共同制定视听剧本的偏好标准
围绕同一创作意图，构建候选剧本、分镜及对应成片的对比数据，评估创意保留、叙事连贯、镜头可执行性及音画配合
训练基于 LLM / VLM / Omni 的奖励模型，结合剧本文本、实际生成的画面与声音、人工偏好，判断哪套 PE 方案更能稳定实现预期效果
设计能区分具体创作决策的困难样本，例如保持画面不变，仅调整关键音效的入点
通过成片盲评检验奖励信号，识别模型对提示词长度、修饰词密度或特定风格的偏好
强化学习（RL）方向：
围绕意图理解、剧本编排、分镜与声音规划，对 LLM / VLM / Omni 开展强化学习后训练，负责策略采样、奖励设计、策略更新及训练诊断
将下游生成结果纳入训练反馈，让策略模型学会保留用户明确指定的内容，补全未指定的创作细节，并根据成片问题修订剧本
例如，当悬念被提前出现的音效破坏时，模型能定位对应镜头，调整声音入点并保留其余安排
在相同生成模型、采样预算和评测条件下，对比原始提示词、SFT 策略和 RL 策略，以成片盲选胜率、用户约束满足率和推理成本衡量 PE 改进带来的收益
优先资格
有音视频生成 PE、剧本创作、分镜设计或声音设计经验，能结合成片解释一次提示词修改如何改变镜头、节奏或叙事效果
有 Omni 模型、音视频联合理解或时序评测经验，做过说话人识别、声音事件定位或音画同步相关项目
有利用成片盲评或真实用户反馈优化大模型策略的经验，或有大规模并行采样、分布式强化学习训练经验
AI 洞察
优缺点分析
优点
- 处于AIGC音视频生成最前沿赛道，技术栈前沿（Omni/RL/RM），平台流量大资源多
- 跨模态对齐难度大，需要同时理解文本、图像、音频逻辑，业务落地效果评估复杂
- 具备扎实深度学习基础，对多模态生成和大模型后训练有浓厚兴趣的研究型工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI算法专家、大模型架构师方向发展，或在AIGC音视频领域成为垂直领域的技术负责人
- 专注于音视频生成大模型的后训练阶段，通过强化学习或奖励模型技术优化模型输出质量
- 精通Python/PyTorch，深入理解Transformer架构，熟练掌握PPO/GRPO等RL算法或RM训练技巧
申请策略
- 准备关于如何解决奖励模型稀疏性或策略退化问题的深度思考，展现对业务场景的理解
- 突出LLM/VLM/Omni模型训练经验，详细展示RL/RM在具体任务中的调优案例及量化成果
- 补充音视频处理相关知识（如分镜、音效原理），了解PPO/GRPO的最新变体及稳定性技巧
面试指南
- 采用STAR法则，重点阐述背景、技术选型理由、实施细节、遇到的问题及解决方案、最终量化结果
- 请详细描述你使用PPO进行大模型微调的具体流程和遇到的挑战
- 如何构建高质量的偏好数据集来训练奖励模型？
- 在多模态场景下，如何定义和计算KL散度以防止策略崩溃？
- 如何处理音视频生成中不同模态之间的对齐问题？
- 复习强化学习理论基础，梳理过往大模型训练项目，准备针对多模态理解的案例分析
职位点评
薪资福利85
成长发展92
工作生活60
使命价值80
薪资福利
85较高
作为已上市的超大型互联网公司，提供具有市场竞争力的薪酬和完善的福利体系，稳定性较高。
薪资信号偏高 (3.5千–6.0万/月)
成长发展
92较高
岗位涉及最前沿的Omni模型和强化学习后训练技术，技术壁垒高，成长空间巨大。
技术前沿前沿/新兴技术
技术栈LLM、VLM、Omni、PPO、GRPO、Reward Modeling、Reinforcement Learning
业务类型profit_center
工作生活
60中等
互联网大厂研发岗位通常工作强度较大，JD未提及弹性工作制，需做好高强度心理准备。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
致力于提升音视频生成质量，推动AIGC技术在内容创作领域的落地，具有显著的行业创新价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
哔哩哔哩 的其他在招职位
相似职位推荐
Forward Deployment Manager
辉瑞 · 上海市
AI 估算 · 4.5–7.5万20 分钟前发布
Forward Deployment Manager
辉瑞 · 上海市
AI 估算 · 4.5–7.5万26 分钟前发布
Forward Deployment Sr. Manager
辉瑞 · 上海市
AI 估算 · 4.5–7.5万26 分钟前发布
Senior Manager, AI Platform & Foundation
辉瑞 · 上海市
AI 估算 · 8.0–15.0万26 分钟前发布
大模型推理优化工程师
中国平安 · 深圳市
薪资 · 2.5–2.5万27 分钟前发布
南京实习基地-AGI算法实习生
影石创新 · 南京市
AI 估算 · 0.2–0.4千1 小时前发布
AI首席科学家（技术专家）
海尔 · 青岛市
AI 估算 · 8.0–15.0万1 小时前发布
多模态算法实习生（J107216）
百度 · 北京市
AI 估算 · 0.4–0.6千2 小时前发布
Watch Jobs