阿里巴巴
晓天衡宇-大模型评测专家-toc
晓天衡宇-大模型评测专家-toc
发布于 1 天前基层主管/组长
全职员工仅现场办公数据标注与评测
数据标注与评测
A/B测试
Ai辅助工具
Bad Case分析
Llm-As-Judge
Rubric设计
团队管理
大模型评测
版本管理
自动化评测
值不值得投
75综合评分
综合评分 75
前沿大模型评测岗位，技术挑战高、发展机会多，但办公灵活性和WLB信息不足。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
35K
比数据标注与评测中位数高
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 2510 个在招 · 其中数据标注与评测 21 个
市场机会
选择适中
杭州 · 数据标注与评测 · 17 个在招
职位详情
关于这个职位
负责阿里巴巴大模型评测体系的建设与项目管理，主导toC场景的Rubric设计与终审，跨部门协同将算法需求转化为评测方案，深入分析模型bad case并为优化提供反馈，同时探索自动评估新方法以提升评测效率
最低要求
本科及以上学历，计算机、人工智能、金融、统计学等相关专业
深度参与过 A/B 盲评、rubric 设计等评测任务，有自动化评测平台或评测流水线建设经验优先
有团队管理经验，有带 5 人以上标注/评测团队的实际经历优先
较强的跨领域沟通能力与团队协作意识，能与不同学科背景的研究人员、算法团队及外部专家高效配合，将学科需求准确转化为可落地的评测方案
有良好的自驱力和学习能力，持续跟踪大模型与评测领域技术进展
工作职责
评测体系建设与项目管理：统筹评测任务的排期、分工与交付管理，确保多条线并行推进、按时交付
制定并迭代评测任务的 SOP，建立质量管控机制（一致率监控、数据验收等）
管理评测团队，负责质量验收、能力培养、效率提升等
Rubric 设计：主导toC场景（agentic search、多轮能力等） rubric 的设计与终审
提炼通用 rubric 范式，沉淀为可复用的模板
主动识别效率瓶颈与质量风险，推动标准化和自动化改进
跨部门协同与需求对接：作为接口人，与算法等团队对接评测需求，明确评测目标、验收标准与交付节奏
将算法团队的改进需求转化为可执行的评测方案
利用AI 辅助工具提升标注效率
深入分析模型在真实场景任务中的 bad case，精准归因问题来源（指令遵循失败、幻觉、上下文遗忘等），输出模型能力弱点分布图谱，为算法与训练团队提供可操作的优化方向与数据反馈
探索评测自动评估方案，研究主观评测新方法（如 LLM-as-Judge、对比评分、多维度量表等），将主观判断转化为可量化、可复现的评估指标，持续提升评测覆盖度与效率
持续跟踪评测领域前沿方法，对现有评测基准进行充分调研与优缺点分析，建立评测数据的版本管理与防泄露机制，保障评测集的时效性与区分度
优先资格
有自动化评测平台或评测流水线建设经验
有带 5 人以上标注/评测团队的实际经历
AI 洞察
优缺点分析
优点
- 直接参与大模型前沿技术的评测工作，技术视野开阔
- 有明确的团队管理职责，能快速提升领导力和项目统筹能力
- 作为跨部门接口人，能深度理解AI从研发到落地的全流程
- 评测体系建设具有长期价值，成果可量化且影响深远
- 模型技术快速迭代，需持续学习新方法以保持评测有效性
- 适合对AI模型质量有追求、具备技术深度和管理潜力、善于沟通协作的求职者
缺点 / 挑战
- 评测任务需并行推进，项目管理和交付压力较大
- 跨部门协作中需平衡多方需求，沟通成本较高
角色解读
- 可晋升为AI质量负责人或评测团队管理者，负责更大范围的模型质量保障
- 转向算法优化或数据科学领域，利用评测洞察驱动模型迭代
- 成为评测方法专家，参与行业标准制定或技术研究
- 负责大模型评测体系的全流程管理，包括任务排期、质量监控和团队协调
- 主导评测Rubric的设计与优化，确保评测标准科学、可复用
- 与算法团队紧密协作，将模型改进需求转化为可执行的评测方案
- 深入分析模型评测中的bad case，输出问题图谱指导算法优化
- 熟悉大模型评测方法（如A/B盲评、Rubric设计），具备自动化评测平台建设经验
- 具备团队管理能力，能带领5人以上评测或标注团队高效工作
- 优秀的跨部门沟通与协作能力，能与算法、研究等多背景团队对接
- 对AI前沿技术有持续学习热情，能跟踪评测领域最新进展
申请策略
- 提前了解阿里巴巴在大模型领域的产品方向（如通义千问），思考评测如何支撑业务
- 准备1-2个完整的评测项目案例，涵盖从需求分析到结果反馈的全流程
- 突出大模型或AI相关评测项目经验，详细说明评测体系设计成果
- 强调团队管理经历，如带领团队规模、质量提升案例
- 列举参与的自动化评测平台或流水线建设，突出效率提升数据
- 展示跨部门协作案例，说明如何将业务需求转化为技术方案
- 学习LLM-as-Judge等新型评测方法，了解最新评测基准和工具
- 提升数据分析和可视化能力，以便更好地输出模型能力图谱
面试指南
- 使用STAR框架（情境-任务-行动-结果）回答行为问题，突出个人贡献和成果
- 技术问题结合具体项目经验，强调方法论和实际效果
- 协作类问题着重描述沟通策略和共赢解决方案
- 如何为大模型的多轮对话能力设计评测Rubric？
- 请描述一个你通过分析bad case推动模型优化的具体案例
- 当算法团队和评测团队对交付标准有分歧时，你会如何处理？
- 你如何衡量评测体系的有效性？有哪些关键指标？
- 对于LLM-as-Judge等自动评估方法，你有哪些实践经验或思考？
职位点评
薪资福利75
成长发展85
工作生活60
使命价值75
薪资福利
75中等
岗位要求较高的技术能力和管理经验，市场薪资水平具有竞争力，但具体福利未在JD中披露。
薪资信号偏高 (25K-45K/月)
成长发展
85较高
涉及大模型前沿评测技术，有团队管理和跨部门协作的成长机会，技术挑战性强。
技术前沿前沿/新兴技术
技术栈大模型评测、Rubric设计、LLM-as-Judge、自动化评测
成长机会持续跟踪评测领域前沿方法
业务类型ambiguous
工作生活
60中等
工作地点固定于杭州办公园区，但JD未明确办公模式和加班情况，生活化支持信息有限。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
大模型评测是AI质量保障的关键环节，对推动模型进步有直接价值，行业处于高速增长阶段。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs