阿里巴巴
晓天衡宇-大模型标注评测工程师-DevOps/运维方向
晓天衡宇-大模型标注评测工程师-DevOps/运维方向
发布于 大约 4 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Agentic
CI/CD
Llm
Yaml
数据标注
数据质量
值不值得投
75综合评分
综合评分 75
大模型数据质量前沿岗，技术成长性强，但需适应现场办公与潜在的高强度工作节奏。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
35K
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2480 个在招 · 其中数据标注与评测 12 个
市场机会
选择不多
杭州 · 数据标注与评测 · 8 个在招
职位详情
关于这个职位
该职位是阿里巴巴晓天衡宇团队的大模型标注评测工程师，专注于DevOps/运维方向
主要负责对AI Coding相关的数据进行质量验收，设计和迭代针对代码生成、Agent场景的标注规范，并负责数据质量管控与标注团队赋能
这是一个将DevOps/运维专业知识与大模型训练数据质量评估相结合的技术岗位
最低要求
有真实 DevOps 或运维工程经验 — 熟悉 CI/CD 流程（Jenkins/GitLab CI/GitHub Actions），有 K8s、Docker 或云平台（阿里云/AWS/GCP）实际运维经验
具备配置/脚本审阅与质量判断能力 — 能读懂 YAML/IaC 与 Shell 脚本，判断实现正确性、幂等性、风险点与稳定性问题，识别似是而非的错误答案
具备故障定位和风险意识 — 能分析服务宕机、Pod OOM、CI 构建失败、网络超时等常见运维故障，判断止血与根因分析方案的合理性
具备结构化表达与标准化能力 — 能把质检问题清晰描述为缺陷类型、判定依据、影响范围与整改建议，并沉淀为可复用的验收标准
深刻理解模型能力发展脉络，能预判下一阶段的标注和评测重点
熟悉从基础能力到复杂能力的演进路径
理解训练数据的分布和特点，能设计针对性的评测来检验数据效果
具备反作弊意识，能识别模型是“真懂”还是“背题”
工作职责
验收 DevOps/运维方向 AI Coding 数据质量 — 对 CI/CD 配置、故障排查、build-release-config 等任务数据进行质量验收，核查任务设计的真实性、难度合理性与运维场景还原度
标注规范与数据设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务
设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准
基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐;
数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题
建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势
设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性;
标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践
担任技术难题的终极裁判，解决边界案例和歧义问题
参与标注工具需求设计，提升代码标注效率;
探索更科学的评测指标、更高效的评测和标注方法
优先资格
参与过大模型（LLM）数据项目标注/评测/质检 / 验收工作
AI 洞察
优缺点分析
优点
- 岗位位于大模型技术前沿，能深度参与影响AI能力的核心数据环节
- 工作内容跨领域，能同时强化运维技术和数据科学两方面的专业能力
- 依托大型平台，有机会接触到复杂的业务场景和顶尖的技术工具
- 技术要求高，需要同时具备DevOps和数据质量评估的复合知识
- 工作细致且严谨，需要对代码质量和数据准确性有极高的标准
- 可能需要快速跟进大模型技术的快速演进，并持续更新标注评测方法
- 适合具有扎实运维背景、对代码质量有执着追求、且对大模型技术原理感兴趣的工程师，希望从传统的DevOps领域拓展到AI数据基建方向
缺点 / 挑战
暂无明显挑战项
角色解读
- 在数据质量领域深耕，成为大模型数据评测的技术专家或团队负责人
- 向更综合的AI基础设施或MLOps方向发展，负责模型训练、部署的全流程效能提升
- 凭借对模型能力的深刻理解，转型为AI产品经理或算法策略研究员
- 作为DevOps/运维领域的专家，对大模型训练数据（特别是AI Coding任务）进行质量审核与验收，确保数据真实有效
- 主导制定和优化代码相关的数据标注规范，设计复杂的Agent场景评测框架
- 建立并维护数据质量评估体系，对标注团队进行技术赋能与质量把控
- 扎实的DevOps/运维技能，精通CI/CD工具链、容器化及主流云平台
- 优秀的代码阅读与审查能力，能识别逻辑错误、安全风险和风格问题
- 强大的结构化思维与沟通能力，能将技术问题转化为清晰的质检标准
申请策略
- 在申请材料或面试中，表达对“用运维思维保障AI数据质量”这一交叉领域的独特见解
- 研究阿里巴巴在AI和云计算方面的产品与技术动态，将个人技能与其需求相结合进行阐述
- 突出在CI/CD、Kubernetes、云平台上的实际项目经验和问题解决案例
- 详细描述过往在代码审查、配置管理或故障排查中确保质量的具体实践
- 如有参与任何数据相关工作（如测试、质量保障）或了解AI/LLM的基础知识，应重点体现
- 强调将复杂技术问题标准化、文档化的经验
- 系统学习大语言模型（LLM）的基础知识和训练数据相关的概念
- 熟悉常见的代码质量评估框架和工具
面试指南
- 使用STAR法则（情境、任务、行动、结果）清晰地讲述过往项目经历
- 结合具体的工具、技术指标和量化结果来回答技术性问题，体现专业性
- 对于开放性或设计类问题，展现结构化思考能力，先阐述分析框架，再给出具体方案
- 请描述一个你处理过的最复杂的运维故障，以及你如何进行根因分析和修复
- 如何评估一个CI/CD流水线配置（如Jenkinsfile）的质量和潜在风险？
- 如果发现一批大模型生成的代码存在“似是而非”的错误，你会如何设计评测方案来系统性地发现这类问题？
- 你认为在DevOps/运维场景的AI数据标注中，最大的挑战是什么？你会如何应对？
- 请解释你对“多步推理（multi-step reasoning）”和“工具使用（tool use）”在Agent场景中如何体现的理解
职位点评
薪资福利75
成长发展90
工作生活50
使命价值85
薪资福利
75中等
该职位属于技术含量较高的复合型岗位，在杭州市场具备较好的薪资竞争力。福利方面JD未明确提及具体项目。
薪资信号面议 (25K-45K/月)
成长发展
90较高
该职位直接参与大模型核心能力的数据基建工作，技术栈前沿（LLM, Agent），且有明确的规范制定、体系搭建和团队赋能职责，技能成长和职级晋升路径清晰。
技术前沿前沿/新兴技术
技术栈LLM、Agentic、CI/CD、Kubernetes、Docker
成长机会持续优化标注指南、提升代码标注效率、探索更科学的评测指标
业务类型profit_center
工作生活
50较低
JD中未明确说明办公模式和加班情况。作为核心研发或数据质量岗位，现场办公的可能性较大，工作节奏可能需要适应项目周期。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
该职位的工作直接影响大模型在关键行业（如软件开发、运维）的应用效果和可靠性，对于推动AI技术落地有实质意义，行业处于高速增长赛道。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs