阿里巴巴
晓天衡宇-大模型标注评测工程师-设计
晓天衡宇-大模型标注评测工程师-设计
发布于 大约 8 小时前基层主管/组长
杭州市
高级经验
全职员工
仅现场办公
本科
数据工程
Rl
Rlhf
Rubric
Sft
Ui/Ux
Visual Design
团队管理
数据标注
数据质量
AI 估算 · 20k–40k
阿里大厂，杭州，3年以上且管理团队，薪资较高，16薪。
职位详情
关于这个职位
该职位负责视觉设计方向的大模型训练数据（SFT/RL阶段）的标注管理与质检，与算法和产品团队协作设计标注流程，管理标注专家团队，确保数据质量
适合具备UI/UX设计背景且了解RLHF数据生产的候选人
最低要求
本科及以上学历，在 AI 评测、RLHF / RL 轨迹标注、rubric 设计等领域有实际项目经验
具备视觉设计、UI/UX 或创意设计领域 3 年以上从业或研究经历，能独立评判设计产出的质量与审美合理性
对标注质量和 reward signal 分布敏感，能通过科学方法发现问题（如 verifier 漏洞、LLM Judge 偏好拟合等），推动业务指标达成
对设计工具链（Figma、draw.io、PS 等）和设计规范有深入理解
熟悉数据标注工具与质检平台，掌握 Python，能进行抽检统计、一致性分析与自动化脚本编写
了解 reward modeling 基本概念，熟悉偏好生成类任务的评测范式
具备目标管理和团队管理能力，能统筹 5 人以上标注专家团队
善于跨团队沟通协作，关注效果数据和目标达成
积极主动，对 AI 有激情
思维严谨，拒绝"感觉上 / 差不多"，每个判断都能指向具体证据
工作职责
负责 Visual Design 方向 AI 训练数据（SFT / RL 阶段）的标注管理与质检工作
与算法及产品团队协作，理解 RM 训练和 rollout 打分的数据诉求，交付满足研发需求的高质量数据
设计并落地覆盖 UI 设计、视觉创意、排版布局等场景的标注与质检流程，持续优化 rubric 与 verifier，推动双标一致率等核心指标达成
统筹本方向的评测方案与数据生产方案，为 rubric 设计、verifier 校验、轨迹打分等环节制定可操作的标准
定期开展 pass 与非 pass 双向抽检，迭代标注规范
构建并维护本方向的数据质量管理体系，对轨迹根因归因（模型能力 / 评测缺陷 / 任务定义）的闭环负责
警惕分数虚高等隐性风险，持续优化迭代
管理标注专家团队，统筹日常任务分配与产能调度
与上下游（算法、产品、领域专家）充分协作，把个人判断力沉淀为团队方法论
AI 洞察
优缺点分析
优点
- 身处AI大模型核心领域，接触前沿技术（RLHF等），技术积累价值高
- 阿里巴巴平台大，资源丰富，职业发展空间广阔
- 工作内容综合性强，兼顾设计、数据、管理，综合能力提升快
- 数据标注工作可能较枯燥，需要高度耐心和严谨性
- 适合有视觉设计背景、对AI数据生产感兴趣、且具备一定管理能力和Python技能的候选人
缺点 / 挑战
- 涉及跨团队协作，沟通成本较高
- 需要同时具备设计和技术背景，门槛较高
角色解读
- 可向AI数据质量管理专家方向发展，负责更大规模的数据生产体系
- 可转岗至算法评测或数据科学方向，利用对数据质量的深刻理解
- 管理路径：可逐步晋升为数据团队经理或总监
- 负责视觉设计方向AI训练数据（SFT/RL阶段）的标注管理与质检，确保数据质量满足模型训练需求
- 设计并优化标注与质检流程，制定rubric和verifier标准，推动双标一致率等指标达成
- 管理标注专家团队，统筹任务分配和产能调度，将个人经验沉淀为团队方法论
- 熟悉RLHF/RL轨迹标注及评测方法论，理解reward modeling基本概念
- 具备视觉设计/UI/UX领域专业背景，能独立评判设计质量
- 掌握Python，能进行数据统计分析和自动化脚本编写
- 熟悉Figma、PS等设计工具
申请策略
- 了解阿里巴巴晓天衡宇部门的业务方向，展示对AI数据质量的理解
- 在简历中突出对细节和质量控制的追求
- 突出在AI评测或数据标注领域的项目经验，尤其是与RLHF相关的
- 强调视觉设计能力，展示作品集或具体设计项目成果
- 体现团队管理和跨部门协作经验，量化管理人数和成果
- 学习RLHF和reward modeling的基础知识，了解LLM训练流程
- 提升Python数据分析能力，掌握pandas等工具
- 熟悉主流数据标注平台和质检工具
面试指南
- 用STAR法则回答项目经验，聚焦数据、行动、结果
- 对于质量评估问题，强调数据驱动和量化指标
- 管理问题要体现目标管理和协调能力
- 请描述一个你如何设计标注规范并保证质量的案例
- 如何评估一个verifier的可靠性？请举例说明
- 你如何管理一个5人以上的团队，确保标注效率和质量？
- 你对RLHF中的数据质量有何理解？
- 如何用Python进行一致性分析？
职位点评
72
综合评分
阿里大模型数据标注评测岗位，前沿技术，薪资优厚，但工作强度可能较大，WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求AI前沿技术和职业发展，且能接受现场办公和一定工作强度的求职者。
表现最好
薪资福利
相对薄弱
工作生活
薪资福利80
成长发展80
工作生活50
使命价值70
薪资福利
80较高
阿里巴巴作为上市大厂，薪资和福利通常具备较强竞争力，但JD未披露具体薪资和福利细节。
薪资信号未披露（AI估算：20K-40K/月）
成长发展
80较高
岗位涉及RLHF等前沿技术，能够显著提升AI数据领域的专业能力，发展空间广阔。
技术前沿前沿/新兴技术
技术栈RLHF、SFT、RL、Python、rubric、verifier
业务类型ambiguous
工作生活
50较低
工作地点在杭州，需现场办公，JD未提及弹性工作或远程，互联网大厂通常工作强度较大，WLB一般。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
AI行业处于高速增长期，岗位对AI模型质量有直接贡献，但数据标注工作的社会意义感相对中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs