阿里巴巴
晓天衡宇-大模型评测工程师-应用方向（北京）
晓天衡宇-大模型评测工程师-应用方向（北京）
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai Agent
Llm评测
数据分析
统计检验
题库设计
值不值得投
81综合评分
综合评分 81
前沿技术栈与高成长空间的大模型核心评测岗，薪资竞争力强，但工作节奏与挑战并存。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.5万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2910 个在招 · 其中数据标注与评测 31 个
市场机会
选择适中
北京 · 数据标注与评测 · 17 个在招
职位详情
关于这个职位
该职位主要负责大语言模型（LLM）的人工评测竞技场设计与运营，包括题库构建、排名算法维护及AI Agent办公助手类产品的端到端评测
你需要运用统计学原理和Python数据分析能力，建立科学的评测指标体系，为模型迭代和产品优化提供可靠的数据支持
最低要求
计算机、统计学、数据科学等相关专业本科及以上学历，具备大模型评测、数据分析或产品测评相关工作经验
熟悉 LLM 能力评测体系与主流公开榜单，理解 Arena 对战机制及 Elo/BT 排名算法的统计原理，能够准确判断胜率差异所需样本量与置信区间
具备评测题库设计与标注一致性管理经验，能够独立完成评测方案设计与质检流程搭建
熟悉 AI Agent 及办公助手类产品形态与典型工作流，理解任务型评测与单模型评测的差异，能够定义可量化的成功标准与归因维度
具备良好的 Python 数据分析能力，可独立完成胜率矩阵计算、bootstrap 抽样与显著性检验
对维度共线性与权重设定具备清晰认知，理解避免双重计分、合规项以否决门方式处理等评测设计原则
工作职责
负责 LLM 人工评测竞技场（Arena）的整体设计与运营，统筹题库构建、对战机制、评委组织与排名算法
负责评测题库的规划与建设，覆盖创作、设计、中文、GUI 等重点场景，把控自建题占比与数据来源分类（开源／自建／混合），保证题目的区分度与抗刷分能力
负责 Elo/BT + bootstrap 排名体系的落地与维护，处理胜率矩阵的传递性、一致性与显著性问题，确保结论的统计可靠性
负责 AI Agent 办公助手类产品（如 QwenWork、WorkBuddy 等）的端到端评测，围绕真实办公工作流构建任务集，覆盖文档处理、数据分析、跨应用协作、检索问答等场景
建立端到端成功率与分步归因指标体系，评估任务完成度、多步推理与工具调用、长上下文与记忆、稳定性与可用性等能力，输出产品横向对比与迭代建议
负责榜单口径的统一维护，制定在榜数量与版本汰换规则，定期产出能力榜与性价比榜
AI 洞察
优缺点分析
优点
- 处于大模型与AI Agent爆发的核心赛道，能够深入接触最前沿的LLM能力边界与评测方法论
- 依托丰富的算力与数据资源，能够主导具有行业影响力的评测榜单，职业背书价值高
- 工作内容兼具统计学严谨性与产品业务Sense，能力模型复合且稀缺
- 评测结果的客观性与抗刷分能力要求极高，需要在统计原理与业务场景间寻找最佳平衡
- 具备统计学与数据分析背景，对大模型技术有浓厚兴趣，且具备严谨逻辑思维与产品视角的复合型人才
缺点 / 挑战
- 大模型能力迭代极快，评测题库与指标体系需要高频更新，面临持续的学习与抗压挑战
角色解读
- 纵向可发展为评测领域专家或大模型质量保障负责人，主导核心评测体系的建设
- 横向可向AI产品经理或大模型应用研发方向拓展，深入理解模型能力边界与业务落地
- 设计并运营大模型人工评测竞技场（Arena），构建题库并维护Elo/BT排名算法体系
- 针对AI Agent办公助手产品进行端到端评测，构建真实工作流任务集并建立归因指标体系
- 维护评测榜单口径，定期输出能力榜与性价比榜，为模型迭代提供数据支撑
- 扎实的统计学基础，熟悉Elo/BT排名算法、Bootstrap抽样及显著性检验
- 熟练使用Python进行数据分析，能独立处理胜率矩阵与统计计算
- 深入理解LLM能力评测体系及AI Agent产品形态，具备评测方案设计与质检经验
申请策略
- 关注晓天衡宇及通义千问相关的最新技术博客或开源榜单，了解其评测理念与口径
- 突出在统计学、数据分析或机器学习评测方面的项目经验，特别是涉及排名算法或显著性检验的实践
- 展示对LLM或AI Agent产品的深度理解，如有过相关评测、题库设计或产品测评经历需重点描述
- 强调Python数据处理能力，列举独立完成的复杂数据计算或自动化评测脚本开发案例
- 深入学习Elo/BT排名算法的数学推导及Bootstrap抽样在统计检验中的实际应用
- 体验并拆解主流AI Agent办公助手产品，尝试自行设计端到端评测任务集与归因维度
面试指南
- 针对算法与统计问题：采用“原理简述 + 数学/逻辑推导 + 实际业务场景应用 + 遇到的坑及解决方案”的结构
- 针对评测设计问题：采用“业务场景理解 + 指标定义（成功率/归因维度） + 题库构建策略 + 质检与迭代机制”的结构
- 请详细解释Elo/BT排名算法的原理，以及如何处理胜率矩阵的传递性与一致性问题？
- 在设计AI Agent办公助手评测时，如何定义任务的成功标准？如何进行分步归因？
- 如何保证评测题库的区分度与抗刷分能力？请分享你过往在标注一致性管理上的经验
- 请描述一次你使用Python进行复杂数据分析或统计检验（如Bootstrap）的完整过程
- 复习统计学核心概念（置信区间、显著性检验、共线性等），并准备将其映射到LLM评测场景的话术
- 提前体验QwenWork等AI Agent产品，思考其在文档处理、跨应用协作等场景下的评测难点与破局思路
职位点评
薪资福利85
成长发展90
工作生活60
使命价值85
薪资福利
85较高
该岗位属于前沿技术方向，对统计学与数据分析复合能力要求较高，市场同类岗位薪资具备较强竞争力，能较好满足补偿性动机。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
90较高
岗位处于大模型与AI Agent最前沿，能深度参与行业级评测榜单建设，技术成长与行业视野拓展空间极大。
技术前沿前沿/新兴技术
技术栈LLM、AI Agent、Elo/BT、Bootstrap、Python、Arena
业务类型ambiguous
工作生活
60中等
JD未明确提及工作模式与WLB信息，无法准确判断工作强度与生活平衡情况，生活化动机满足程度中等。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
参与大模型能力边界的探索与行业评测标准的制定，工作成果对推动AI技术健康发展具有显著的正向社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
Watch Jobs