阿里巴巴
晓天衡宇-大模型标注评测工程师-数据方向
晓天衡宇-大模型标注评测工程师-数据方向
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai Coding
Clickhouse
Sql
大模型评测
数据标注
数据质量管控
值不值得投
80综合评分
综合评分 80
阿里大模型核心数据评测岗，技术前沿、成长空间大、薪资竞争力强，但WLB未明确。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.5万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3530 个在招 · 其中数据标注与评测 46 个
市场机会
选择适中
杭州 · 数据标注与评测 · 45 个在招
职位详情
关于这个职位
该职位负责大模型AI Coding方向的数据质量验收与标注规范设计，主导代码生成、补全及Agentic场景的标注框架搭建
你需要对标注团队进行技术赋能与专家级审核，并探索更科学的评测指标，确保训练数据的高质量与模型目标对齐
最低要求
有真实数据仓库或数据工程开发经验，熟练使用 SQL，有 Hive/Spark/Flink 或主流 OLAP 数据库（ClickHouse、Presto 等）使用经验
具备代码/SQL 审阅与质量判断能力，能读懂他人 SQL 与数据管道，判断逻辑正确性、性能与数据质量问题，识别错误或低质答案
熟悉数据工程协作文件，理解数据模型设计文档、ETL 调度配置、数据质量报告、字段血缘关系等工程产物
具备结构化表达与标准化能力，能把质检问题清晰描述为缺陷类型、判定依据、影响范围与整改建议，并沉淀为可复用的验收标准
深刻理解模型能力发展脉络，能预判下一阶段的标注和评测重点
熟悉从基础能力到复杂能力的演进路径
理解训练数据的分布和特点，能设计针对性的评测来检验数据效果
具备反作弊意识，能识别模型是"真懂"还是"背题"
工作职责
验收数据工程方向 AI Coding 数据质量：对数据处理 bug-fix、pipeline feature 开发等任务数据进行质量验收，核查任务的真实性、难度合理性与工程场景还原度
标注规范与数据设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务
设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准
基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐
数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题
建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势
设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性
标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践
担任技术难题的终极裁判，解决边界案例和歧义问题
参与标注工具需求设计，提升代码标注效率
探索更科学的评测指标、更高效的评测和标注方法
优先资格
参与过大模型（LLM）数据项目标注/评测/质检/验收工作
AI 洞察
优缺点分析
优点
- 身处大模型核心研发链路，直接接触AI Coding与Agentic等前沿技术，技术视野开阔
- 依托头部平台的丰富算力与数据资源，能够参与制定行业领先的标注与评测标准
- 岗位稀缺性高，兼具数据工程与模型理解能力，未来在AI人才市场具备极强竞争力
- 作为质量把控的终极裁判，需要处理大量边界案例和歧义问题，对技术深度和耐心要求高
- 适合具备扎实数据工程背景、对大模型技术有浓厚兴趣，且希望在AI数据质量与评测领域深耕的技术型人才
缺点 / 挑战
- 大模型技术迭代极快，需要持续学习最新的模型能力与评测方法，学习压力较大
角色解读
- 纵向可发展为数据质量与评测专家，主导大模型核心数据标准的制定
- 横向可拓展至大模型算法工程、数据产品经理或AI训练策略方向，成为懂数据、懂模型的复合型人才
- 负责大模型AI Coding方向的数据质量验收，核查数据处理任务的真实性与工程场景还原度
- 主导代码方向标注规范的制定与迭代，设计Agentic场景下的复杂任务链评估标准
- 对标注员产出进行专家级审核，建立数据质量评估体系，并为标注团队提供技术培训与赋能
- 扎实的数据工程开发能力，熟练使用SQL及Hive/Spark/Flink等大数据组件或主流OLAP数据库
- 具备优秀的代码/SQL审阅能力，能准确判断逻辑正确性、性能及数据质量问题
- 深刻理解大模型能力发展脉络与训练数据分布，具备反作弊意识与结构化表达能力
申请策略
- 在简历或面试中展现对模型是真懂还是背题的深刻思考，体现反作弊意识与数据分布理解力
- 重点突出数据仓库或数据工程开发经验，展示熟练使用SQL及大数据组件的实际项目成果
- 强调代码审阅与质量把控能力，提供发现并解决复杂数据/代码逻辑问题的具体案例
- 若有大模型数据标注、评测或质检经验，需详细阐述参与的模型类型及解决的核心痛点
- 提前了解当前主流大模型在代码生成、Agent规划方面的能力边界与常见缺陷
- 熟悉Agentic场景下的multi-step reasoning、tool use等概念，尝试构建简单的评测用例
面试指南
- STAR法则：针对项目经验问题，按照情境、任务、行动、结果的框架，突出你在质量管控中的具体动作和量化收益
- 技术深度+业务理解：针对模型评测问题，先阐述技术原理（如数据分布、过拟合机制），再结合具体业务场景给出可落地的评测方案
- 请分享一个你主导的数据质量管控或数据验收项目，你是如何定义量化指标并追踪质量趋势的？
- 在AI Coding场景下，如果模型生成的代码看似正确但存在隐蔽的性能问题或安全漏洞，你会如何设计评测标准来识别？
- 如何判断模型是真正理解了代码逻辑，还是仅仅在背题？请结合训练数据分布谈谈你的看法
- 在设计Agentic场景的标注框架时，你会如何拆解multi-step reasoning和tool use任务链？
- 复习数据工程核心知识（SQL优化、数据模型设计、ETL流程），并准备几个代码/SQL审阅的实战案例
- 深入了解当前大模型在代码生成和Agent任务上的最新研究进展（如SWE-bench、HumanEval等评测集），形成自己的见解
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
核心大模型技术岗薪资竞争力强，虽未披露具体薪资，但结合岗位门槛与市场行情，薪酬处于行业前列。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
90较高
岗位直接接触大模型前沿技术，能深度参与模型训练数据标准的制定，技术成长与行业视野拓展空间极大。
技术前沿前沿/新兴技术
技术栈LLM、AI Coding、Agentic、multi-step reasoning、tool use、planning、self-correction、SQL、Hive、Spark、Flink、ClickHouse
业务类型profit_center
工作生活
60中等
JD未提及工作模式与WLB信息，作为核心研发支撑岗，工作节奏可能较快，生活化动机满足程度存在不确定性。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
参与大模型核心数据把控，推动AI技术向更可靠方向发展，具有较高的技术使命感与行业推动价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs