阿里巴巴
智多星RL Data - Cowork方向
智多星RL Data - Cowork方向
发布于 2 天前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Llm-As-Judge
Reward Model
数据标注
数据闭环
自动化验证
质量控制
值不值得投
73综合评分
综合评分 73
前沿AI数据工程岗位，技术驱动、专业性强、发展空间大，但工作模式和WLB信息不明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
50K
比数据标注与评测中位数高
发布情况
新岗位 · 2 天前发布
公司情况
这家公司招聘很活跃
约 2650 个在招 · 其中数据标注与评测 26 个
市场机会
选择适中
杭州 · 数据标注与评测 · 20 个在招
职位详情
关于这个职位
这个职位负责为AI办公协作Agent构建和优化高质量的训练数据
你需要设计领域化的任务体系与实例模板，构建可直接用于模型训练的高质量推理链，设计并执行分层的质量验证方案，建立评分标准和质检体系，确保Reward Model的数据质量
这是一个连接数据、模型与评测的关键角色，对AI Agent的能力提升至关重要
最低要求
在读博士生优先（特别优秀的硕士生可放宽）
在数据分析、金融、法律、医疗、电商、网络安全、芯片/半导体、Visual Design 等至少一个领域的专业经验，能基于专业知识对复杂 Agent 输出做对错裁定
熟悉 Python，能独立完成数据抓取、清洗、批量调用 LLM、结果聚合等脚本化工作
能读懂 Agent 执行日志和代码片段，判断工具调用是否冗余或有隐性副作用
具备规模化数据生产经验
有 AI 办公 / Cowork Agent 场景的产品或数据经验
熟悉 LLM-as-judge、self-consistency、rejection sampling 等数据自动化验证方法
熟悉主流 Agent Benchmark 的评测机制
工作职责
领域任务体系搭建（Taxonomy 设计）
对陌生专业领域做结构化拆解：一级领域 → 二级场景 → 任务类型 → instance 模板，产出可复用、可扩展的标注体系
Instance 与 Reasoning 构造
设计 instance 结构，并针对不同任务选择合适的 reasoning 获取路径
保证 reasoning 是 SFT/RFT 训练可直接使用的高质量推理链
分层验证方案设计
针对不同任务定义分层校验机制
把“评价推理质量”这类模糊问题降维为可自动化、可追溯的子任务
Rubric 与评分标准建设
制定各方向 Rubric、评分分级与标注案例库，定义黄金集（golden sets）和奖励信号（reward signals），确保训练数据质量可量化、可迭代
擅长大批量生成高质量 rubric，而不是拍脑袋写几条规则
轨迹标注与 Bad Case 归因
对模型 Rollout 产出的多步执行轨迹进行逐步标注，并对失败步骤做根因分类，输出结构化改进清单驱动训练数据补充与评测体系修正
标注质量管控
建立双标一致性校验、金标抽检、系统性偏差检测与分歧仲裁机制，管理外部数据供应商交付质量、运营内部专家产能，确保标注间一致率 ≥80%，数据可直接用于 Reward Model 训练
数据 → 模型 → 评测 闭环
周期性输出数据质量报告，识别模型能力薄弱区间，指导算法团队调整 Rollout 抽样策略与难度分布
随模型迭代补充更高难度标注数据，保持 Reward Model 区分度
AI 洞察
优缺点分析
优点
- 接触AI领域最前沿的Agent和RL技术，工作内容技术含量高，对模型能力有直接影响
- 岗位职责覆盖数据-模型-评测闭环，能系统性地理解AI产品研发全流程，培养全局视野
- 在阿里巴巴这样的头部平台，能接触到海量、复杂的真实场景数据和技术资源
- 需要快速学习和理解陌生领域的专业知识，并将其转化为可操作的数据标准，学习曲线陡峭
- 作为数据侧角色，需要持续与算法、工程等多方团队协作沟通，推动闭环运转，对沟通和项目管理能力有要求
- 适合拥有扎实专业背景（如博士或相关领域经验）、对AI技术有浓厚兴趣、擅长抽象思考和体系化设计，并乐于通过数据工程驱动技术提升的求职者
缺点 / 挑战
- 工作需要高度的逻辑思维和抽象能力，将“质量”这种模糊概念进行量化定义和自动化，挑战大
角色解读
- 深耕AI数据工程领域，成为数据质量与评估体系专家，影响模型训练效果
- 向AI算法协作或产品经理方向发展，参与Agent产品的顶层设计与核心能力建设
- 凭借深厚的领域知识和数据经验，转向特定行业解决方案专家或技术管理者
- 构建面向AI办公协作Agent的结构化任务体系与标注规范，设计可扩展的数据生产模板
- 设计并构造用于SFT/RFT训练的高质量推理链（Reasoning）和实例（Instance）
- 建立完整的数据质量管控体系，包括评分标准、自动化验证方法和人工质检流程，确保训练数据质量
- 追踪模型训练与评测效果，通过数据分析驱动数据策略和模型能力的迭代优化
- 具备至少一个垂直领域（如金融、医疗、法律等）的专业知识，能对复杂AI输出进行专业判断
- 熟练的Python编程能力，能够独立完成从数据清洗到LLM批量调用的全流程脚本开发
- 熟悉LLM评估方法（如LLM-as-judge）和主流Agent评测体系，有规模化数据生产经验
- 强大的逻辑思维和抽象能力，能将复杂的质量评估问题转化为可量化、可执行的流程
申请策略
- 在简历和面试中，主动展示你对于“如何保证AI训练数据质量”的思考框架，而不仅仅是罗列技能
- 提前了解阿里巴巴在AI办公、协作Agent方面的产品布局和技术方向，在面试中展现你的关注度和见解
- 突出你的垂直领域专业经验和具体成果（例如：在XX领域发表过论文、处理过XX规模的数据、完成过XX项目）
- 重点展示Python数据处理脚本、LLM调用工具、数据分析pipeline等技术项目经历，说明处理的数据规模和解决的问题
- 详细描述你参与过的任何数据标注、质量评估、评测体系建设的工作，强调流程设计和结果量化
- 如果有参与过AI Agent相关的产品或研究项目，务必清晰阐述你的角色和贡献
- 深入学习LLM-as-judge、Reward Modeling、Rejection Sampling等数据自动化验证技术的原理与实践
- 复习和练习使用Python进行大规模数据抓取、清洗、调用API（特别是LLM API）并处理结果的综合项目
面试指南
- 采用“问题分析-方案设计-实施落地-结果验证”的框架来回答设计类问题，体现系统性思维
- 回答技术经历问题时，使用STAR法则（情境-任务-行动-结果），并突出你在数据质量或效率提升方面的具体贡献
- 对于方法论问题，先讲核心原理，再结合具体场景说明如何应用和规避风险
- 请介绍一个你最熟悉的垂直领域（如金融/医疗），如果为该领域设计一个AI Agent的评测任务，你会如何定义任务类型、评判标准和数据质量要求？
- 你如何评估一个AI Agent的输出轨迹（多步操作）的质量？请描述你会建立的分层校验机制
- 在大规模数据标注项目中，你如何保证不同标注员之间的一致性？如果出现系统性偏差，你会如何发现和解决？
- 请描述一次你使用Python处理复杂数据并用于分析或建模的经历，遇到了什么挑战，如何解决的？
- 对于LLM-as-judge这种方法，你认为它的主要优势和可能引入的偏差分别是什么？如何减少这些偏差？
职位点评
薪资福利78
成长发展92
工作生活40
使命价值70
薪资福利
78中等
该职位位于杭州，对博士学历和高级经验有明确要求，技术门槛高，基于市场判断薪资水平应具有竞争力。但JD未提及具体福利政策，补偿性满足主要来自薪资预期。
薪资信号偏高 (40K-60K/月)
成长发展
92较高
该职位直接参与AI前沿技术（RL、LLM）的训练数据构建，工作内容技术深度和专业性极强，能极大锻炼系统性设计、领域知识应用和数据工程能力，发展前景广阔。
技术前沿前沿/新兴技术
技术栈Python、LLM-as-judge、Reward Model、Agent、Rejection Sampling、self-consistency
成长机会可迭代
业务类型profit_center
工作生活
40较低
JD未对工作模式（远程/混合）、加班情况进行任何说明，生活化动机的满足程度无法从现有信息判断，存在不确定性。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
该职位工作直接服务于提升AI Agent（特别是办公协作场景）的智能水平，具有明确的正向技术价值。行业处于高速发展期，创新性强，能带来较强的使命感和技术驱动感。
行业发展高速增长赛道
社会影响中性/一般
使命信号确保训练数据质量可量化、可迭代
创新程度积极采用新技术
Watch Jobs