阿里巴巴
晓天衡宇-大模型标注评测工程师-移动端方向
晓天衡宇-大模型标注评测工程师-移动端方向
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai Coding
Ios
大模型
数据标注
评测
质量评估
值不值得投
73综合评分
综合评分 73
前沿AI数据评测岗，技术成长性强，但办公模式与WLB信息不明。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
28K
比数据标注与评测中位数低
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 2510 个在招 · 其中数据标注与评测 21 个
市场机会
选择适中
杭州 · 数据标注与评测 · 17 个在招
职位详情
关于这个职位
该职位负责阿里巴巴移动端方向AI Coding数据的标注、评测和质量管控工作
你需要对bug-fix、功能开发等任务数据进行验收，主导制定代码方向的标注规范，并设计复杂Agentic场景下的标注框架
同时，你需要审核标注员产出，建立数据质量评估体系，为标注团队提供技术培训，并探索更科学的评测方法，确保训练数据质量以支持大模型发展
最低要求
有 Android 或 iOS 原生开发经验 — 熟悉 Java/Kotlin（Android）或 Swift/Objective-C（iOS），有上架过 App 或完整项目开发经历
具备代码审阅与质量判断能力 — 能读懂移动端代码，判断实现正确性、平台兼容性与稳定性问题，识别错误或低质答案
熟悉移动端工程协作文件 — 理解 Gradle 构建配置、接口联调、Crash 分析、权限管理、版本兼容等移动端工程实践
具备结构化表达与标准化能力 — 能把质检问题清晰描述为缺陷类型、判定依据、影响范围与整改建议，并沉淀为可复用的验收标准
深刻理解模型能力发展脉络，能预判下一阶段的标注和评测重点
熟悉从基础能力到复杂能力的演进路径
理解训练数据的分布和特点，能设计针对性的评测来检验数据效果
具备反作弊意识，能识别模型是"真懂"还是"背题"
工作职责
验收移动端方向 AI Coding 数据质量 — 对 bug-fix、功能开发等任务数据进行质量验收，核查任务的真实性、难度合理性与平台场景还原度
标注规范与数据设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务
设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准
基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐;
数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题
建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势
设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性;
标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践
担任技术难题的终极裁判，解决边界案例和歧义问题
参与标注工具需求设计，提升代码标注效率;
探索更科学的评测指标、更高效的评测和标注方法
优先资格
参与过大模型（LLM）数据项目标注/评测/质检 / 验收工作
AI 洞察
优缺点分析
优点
- 直接参与大模型数据核心环节，能接触AI前沿技术与复杂应用场景
- 岗位职责覆盖规范制定、审核、培训等多方面，有利于综合技术能力提升
- 依托阿里巴巴平台，在AI与数据领域有丰富的资源和行业影响力
- 大模型技术迭代迅速，需持续学习以预判标注和评测重点
- 适合拥有扎实移动端开发背景、对AI与数据质量有浓厚兴趣，并乐于通过标准化与赋能推动技术落地的求职者
缺点 / 挑战
- 需要同时具备移动端开发与AI数据评测的交叉知识，技术门槛较高
- 数据质量要求严格，工作需高度细致与标准化，可能面临重复性审核压力
角色解读
- 可向AI数据管理、质量保障专家或技术项目经理方向发展，负责更大规模的数据团队或流程
- 随着大模型技术发展，可深耕评测方法学，成为AI评测领域的专家
- 结合移动端与AI经验，有机会参与更前沿的AI Coding工具或平台构建
- 负责移动端AI Coding数据的质量验收，核查任务真实性、难度合理性与场景还原度
- 主导制定和迭代代码方向的标注规范，并设计复杂Agent场景下的标注框架与评估标准
- 对标注员产出进行专家级审核，建立数据质量评估体系与一致性校验流程
- 为标注团队提供技术培训，解决技术难题，并探索更高效的评测方法
- 具备扎实的Android或iOS原生开发经验，能熟练进行代码审阅与质量判断
- 熟悉移动端工程实践，如Gradle配置、接口联调、Crash分析等
- 拥有结构化表达与标准化能力，能将复杂问题清晰定义为可复用的验收标准
- 深刻理解大模型能力发展脉络与训练数据特点，具备反作弊意识
申请策略
- 仔细研究阿里巴巴在AI数据与评测领域的公开成果，体现对业务的理解
- 准备具体案例，说明如何解决数据质量或标注歧义问题，以展示实操能力
- 突出Android或iOS项目经验，尤其是上架应用或完整开发经历，展示代码审阅能力
- 强调任何与数据标注、评测、质检相关的项目经验，即使是非正式的
- 列举参与过的代码规范制定、质量管控或团队培训经历，体现结构化思维
- 补充对大模型、AI Coding或Agent技术的理解与自学成果
- 深入学习大模型训练数据特点与评测方法，了解主流标注框架与质量指标
- 实践复杂场景下的数据设计，如multi-step reasoning或tool use的标注案例
面试指南
- 采用STAR法则（情境、任务、行动、结果）结构化描述项目经验，突出你的技术判断与问题解决能力
- 强调标准化思维，从任务分解、标准定义、到一致性验证的完整流程
- 结合具体技术细节（如Gradle配置、代码安全漏洞）展示专业深度
- 请描述一个你负责的移动端代码质量审核或数据验收项目，遇到了哪些挑战，如何解决？
- 你如何为一个新的AI任务（如代码审查）设计标注规范和评估标准？
- 当标注员对复杂案例（如Agent的planning步骤）产生分歧时，你会如何裁判和统一标准？
- 你认为当前移动端AI Coding数据质量最大的痛点是什么？有什么改进建议？
- 你如何区分模型是真正理解任务还是仅仅“背题”？请举例说明
职位点评
薪资福利70
成长发展85
工作生活55
使命价值80
薪资福利
70中等
该职位未披露具体薪资福利信息，补偿性动机满足程度有限，但基于岗位层级与技术要求，市场竞争力应处于中上水平。
薪资信号未披露（AI估算：20K-35K/月）
成长发展
85较高
该职位涉及前沿的大模型数据标注与评测技术，对技能深度与广度要求高，能提供显著的专业成长机会。
技术前沿前沿/新兴技术
技术栈大模型、AI Coding、数据标注、评测、Agent
成长机会持续优化标注指南、探索更科学的评测指标
业务类型ambiguous
工作生活
55较低
职位未提及任何办公模式或工作生活平衡相关信息，无法判断远程或弹性安排，生活化动机满足程度较不确定。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
该职位处于AI与大模型这一高速增长赛道，对推动智能技术发展有直接贡献，意义感动机较强。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs