阿里巴巴
晓天衡宇-大模型标注评测工程师-电商
晓天衡宇-大模型标注评测工程师-电商
发布于 3 小时前基层主管/组长
全职员工仅现场办公数据标注与评测
数据标注与评测
Reward Modeling
Rl
Sft
团队管理
大模型评测
数据标注
电商
质量管理
值不值得投
78综合评分
综合评分 78
核心大模型评测岗，技术前沿、成长空间大、薪资偏高，但团队管理与交付压力较大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.5万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3080 个在招 · 其中数据标注与评测 35 个
市场机会
选择适中
杭州 · 数据标注与评测 · 31 个在招
职位详情
关于这个职位
该职位负责电商、对话及多模态方向的大模型AI训练数据标注管理与质检工作
你需要设计并优化标注流程与评测方案，管理30人以上的标注专家团队，确保高质量数据交付，推动大模型在电商场景下的效果提升
最低要求
本科及以上，具备30人以上的标注人员管理经验，对标注质量审核、人员提效、Agent自动化等方面有较深的理解，有电商等方面的经验加分
对标注质量与 reward signal 分布敏感，能通过科学方法发现问题、推动业务指标达成
熟悉数据标注工具与质检平台，掌握 Python，能做抽检统计与一致性分析
了解 reward modeling 基本概念
具备团队管理与跨团队协作能力，思维严谨，判断都能指向具体证据
工作职责
负责电商、对话、多模态方向 AI 训练数据（SFT / RL 阶段）的标注管理与质检
与算法、产品团队协作，理解 RM 训练与 rollout 打分的数据诉求，交付高质量数据
导购与对话 Agent、评测集构建、多轮对话 / 长程任务理解、用户意图理解分类、面向商品理解 / 类目属性、搜索相关性等场景，设计标注与质检流程，持续优化 rubric 与 verifier，推动双标一致率等核心指标达成
统筹本方向评测方案与数据生产方案，制定可操作标准，定期开展双向抽检，迭代标注规范
构建并维护数据质量管理体系，对轨迹根因归因负责，警惕分数虚高等隐性风险
管理标注专家团队，统筹任务与产能
与上下游充分协作，把个人判断力沉淀为团队方法论
优先资格
有电商等方面的经验加分
AI 洞察
优缺点分析
优点
- 处于大模型核心赛道，直接接触SFT/RL等前沿训练环节，积累稀缺的AI数据工程经验
- 依托电商场景，业务落地性强，数据价值能直接转化为业务收益
- 团队管理规模大，能充分锻炼大型团队统筹与跨部门协作能力
- 大模型评测标准迭代快，需要持续学习并快速调整标注规范与rubric，工作节奏较快
- 具备大模型数据标注经验、有大型团队管理背景，且对AI底层训练逻辑有浓厚兴趣的复合型人才
缺点 / 挑战
- 管理大型团队且需对数据质量负全责，面临较大的产能交付与质量把控双重压力
角色解读
- 纵向可晋升为AI数据运营总监或大模型评测负责人，统筹更大规模的数据生产与评测体系
- 横向可向大模型算法工程师、AI产品经理或业务策略专家转型，深入理解模型底层逻辑
- 负责大模型在电商、对话等场景下的训练数据标注与质检，确保SFT/RL阶段的数据质量
- 设计并优化标注流程与评测方案，管理30人以上的标注专家团队，统筹任务产能
- 与算法和产品团队协作，构建数据质量管理体系，分析并解决reward signal分布等核心问题
- 具备大模型数据标注、评测及Reward Modeling相关理论基础与实操经验
- 熟练掌握Python，能够进行抽检统计、一致性分析及自动化提效工具开发
- 拥有30人以上团队管理经验，具备优秀的跨部门协作与流程设计能力
申请策略
- 提前了解电商大模型的业务场景，准备针对性的评测优化案例，展现对业务落地的理解
- 突出过往大模型或NLP数据标注/评测项目经验，特别是SFT/RL阶段的数据交付成果
- 量化团队管理规模与提效成果，如管理人数、双标一致率提升、产能优化数据等
- 展示Python数据分析与自动化脚本开发能力，以及如何将其应用于质检与一致性分析
- 深入了解Reward Modeling原理及大模型RLHF/DPO等对齐训练流程，提升与算法团队的沟通深度
- 学习并实践更高级的数据质量评估指标与自动化评测工具链，提升整体评测效率
面试指南
- STAR法则：情境-任务-行动-结果，重点突出你在流程设计、质量把控和团队管理中的具体动作与量化收益
- 问题拆解：面对复杂问题（如分数虚高），先描述排查思路（根因归因），再给出解决方案及预防机制
- 请分享一个你主导的大模型数据标注/评测项目，你是如何设计流程并保证双标一致率的？
- 在管理30人以上团队时，你如何平衡产能交付与数据质量？遇到分数虚高或reward signal异常时如何处理？
- 你如何利用Python或Agent自动化手段提升标注团队的质检效率？请举例说明
- 针对电商导购Agent场景，你认为评测集构建的核心难点是什么？如何设计rubric？
- 复习大模型训练基础（SFT, RLHF, Reward Model），了解当前主流评测基准及电商场景的特殊性
- 梳理过往团队管理中的典型案例，准备好应对产能与质量冲突、跨部门协作摩擦等情景面试题
职位点评
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
核心AI业务线，薪资具备较强竞争力，且大模型方向属于当前市场高薪领域。
薪资信号偏高 (2.5千–4.5万/月)
成长发展
90较高
深度参与大模型SFT/RL核心环节，技术前沿性极强，能积累稀缺的AI数据工程与评测经验。
技术前沿前沿/新兴技术
技术栈SFT、RL、Reward Modeling、Agent、Python、大模型评测
业务类型profit_center
工作生活
50较低
JD未提及工作模式与WLB信息，但管理大型团队且涉及核心业务交付，工作强度可能较大。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
推动大模型在电商场景的落地，提升用户导购体验，具有较高的行业应用价值与效率提升意义。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs