阿里巴巴
数据技术及产品部-RL Data 工程师-Work（设计方向）
数据技术及产品部-RL Data 工程师-Work（设计方向）
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Bad Case归因
Reward Model
Rubric
强化学习
数据标注
值不值得投
80综合评分
综合评分 80
阿里核心大模型RL数据岗，技术前沿、成长空间大，但项目节奏快、WLB一般。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.5万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3140 个在招 · 其中数据标注与评测 39 个
市场机会
选择适中
杭州 · 数据标注与评测 · 33 个在招
职位详情
关于这个职位
该职位主要负责强化学习（RL）数据在Work（设计）方向的端到端项目管理与数据体系搭建
你需要制定标注规范、进行轨迹级标注与质量管控，并与算法团队协同闭环，驱动模型性能达到业界SOTA
最低要求
有 Visual Design 等领域的行业经验，能基于专业判断对 Agent 输出做准确的对错裁定，而非仅凭"看起来合理"
具备轨迹级标注能力：能对 Agent 多步执行序列逐步评判正确性、必要性、思考质量，准确归因 bad case 根因（模型能力不足 / 评测标准缺陷 / 任务定义问题）
能理解并严格执行 Rubric 评分标准，标注一致性高
遇到 Rubric 未覆盖的边界情况能准确记录并反馈，而非自行发挥
有双标校验、分歧仲裁的协作经验，能清晰表述评分依据，说服或接受他人的合理异议
能区分"最终结果错误"与"过程路径不优"——前者是硬伤，后者需按梯度扣分而非一刀切判零
熟悉 Agent 工具调用模式（bash/python/API），能读懂执行日志和代码片段，判断操作是否冗余、是否有隐性副作用
精通 Figma/Adobe 系列，理解栅格、色彩、字体层级等设计规范，能从审美和工程两个维度评判视觉产物
工作职责
端到端负责RL数据（Work 方向）项目：从方案设计、数据有效性验证到规模化生产 ，帮助模型在性能上达到业界SOTA
数据体系搭建：构建 Work 方向数据构造与标注规范体系，涵盖 AI 办公软件、金融、法律、电商、网络安全、芯片 EDA、Visual Design 等方向的 Rubric 制定、评分标准分级与标注案例库建设
轨迹标注生产：对模型 Rollout 产出的多步执行轨迹进行逐步标注（正确性/必要性/思考质量/整体 Reward），管理外部数据供应商交付质量，运营内部专家数据产能
Bad Case 归因分析：对标注轨迹中的失败步骤做根因分类（模型能力不足 / 评测标准缺陷 / 任务定义问题），输出结构化改进清单，驱动训练数据补充与评测体系修正
标注质量管控：建立双标一致性校验、金标准抽检、系统性偏差检测与分歧仲裁机制，确保标注数据可直接用于 Reward Model 训练，标注间一致率 ≥80%
数据输出与迭代：周期性输出标注数据质量报告，识别模型能力薄弱区间，指导算法团队调整 Rollout 抽样策略与难度分布
随模型迭代补充更高难度标注数据，保持 Reward Model 区分度
定义评分标准(rubrics)、黄金集(golden sets)和奖励信号(reward signals)，确保训练数据质量可量化、可追溯、可迭代
协同算法团队闭环：与模型训练/RL算法团队紧密配合，将模型效果反馈翻译为数据改进策略，驱动数据→模型→评测的飞轮
AI 洞察
优缺点分析
优点
- 参与大模型核心训练数据建设，接触业界前沿的强化学习与Agent技术
- 与顶尖算法团队协同闭环，个人能力成长快，在AI数据领域行业认可度高
- 需要兼顾设计专业审美与工程逻辑，对Bad Case的归因分析要求极高的细致度与专业性
- 适合具备设计专业背景、对AI大模型训练有浓厚兴趣，且具备严谨逻辑与数据分析能力的复合型人才
缺点 / 挑战
- 标注质量管控压力大，需建立严格机制确保标注间一致率达标，工作挑战较高
角色解读
- 可向资深数据专家、AI数据产品负责人方向发展，成为连接数据与算法的核心桥梁
- 深入理解大模型训练与强化学习底层逻辑，掌握业界前沿的RLHF/RLAIF技术体系
- 负责强化学习数据在Work（设计）方向的端到端项目，制定标注规范与评分标准
- 对Agent多步执行轨迹进行逐步标注与质量管控，分析Bad Case根因
- 与算法团队紧密协同，将模型效果反馈转化为数据改进策略，驱动数据与模型的飞轮迭代
- 具备Visual Design等领域的专业经验，精通Figma/Adobe等设计工具，能从审美和工程维度评判视觉产物
- 理解Agent工具调用模式，能读懂执行日志和代码片段，判断操作冗余与隐性副作用
- 具备轨迹级标注能力与双标校验、分歧仲裁经验，能准确区分结果错误与过程不优
申请策略
- 准备几个具体的Bad Case分析案例，展示你如何区分“结果错误”与“过程不优”并进行梯度扣分
- 突出Visual Design领域的专业经验及Figma/Adobe工具的高级应用能力
- 展示过往在数据标注、质量管控或Agent评测相关的项目经历，强调一致性指标
- 强调对代码/执行日志的理解能力及Bad Case归因分析的实际案例
- 提前了解强化学习（RL）、Reward Model及Agent工具调用的基本原理
- 熟悉大模型数据标注规范及Rubric制定流程，练习对多步执行轨迹的拆解评判
面试指南
- 采用STAR法则（情境、任务、行动、结果），重点突出你的“专业判断标准”、“质量管控机制”和“与算法团队的闭环反馈”过程
- 请分享一个你主导的复杂数据标注项目，你是如何保证标注一致性的？
- 在Visual Design领域，你如何评判一个Agent生成的视觉产物？
- 如果模型输出的设计结果最终正确，但中间步骤冗余，你会如何评分？
- 如何构建一套针对设计方向的Rubric评分标准？
- 复习Figma/Adobe的高级功能及设计规范（栅格、色彩、字体层级）
- 了解阿里通义千问或相关大模型在设计、办公等垂直领域的应用案例与Agent能力边界
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
核心大模型数据岗位，薪资具备较强市场竞争力，福利体系完善。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
90较高
深入参与大模型强化学习核心环节，接触前沿AI技术，与顶尖算法团队协同，技术成长空间巨大。
技术前沿前沿/新兴技术
技术栈强化学习、Reward Model、Agent、Figma、Adobe、Rubric、Rollout、Python
业务类型ambiguous
工作生活
60中等
核心大模型项目通常节奏较快，工作强度与压力较大，WLB可能受限。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与推动AI大模型能力边界，助力AI在办公、设计等垂直领域的落地，具有较高的技术使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度开拓性创新（行业首创）
Watch Jobs