阿里巴巴
晓天衡宇-评测平台-评测方向
晓天衡宇-评测平台-评测方向
发布于 大约 8 小时前普通员工/个人贡献者
全职员工仅现场办公测试开发
测试开发
Mlops
分布式系统
大模型评测
值不值得投
73综合评分
综合评分 73
前沿AI评测平台，技术成长空间大，薪资有竞争力，但工作强度可能较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
40K
比测试开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2090 个在招 · 其中测试开发 19 个
市场机会
选择适中
杭州 · 测试开发 · 48 个在招
职位详情
关于这个职位
该职位负责阿里晓天衡宇评测平台的设计与研发，专注于大模型与Agent的评测框架建设，包括评测集适配、任务Agent化以及前沿评测范式探索
你将与算法团队紧密合作，通过数据分析和可视化输出评测洞察，支撑模型迭代决策
适合对AI评测有热情、具备扎实工程能力的候选人
最低要求
计算机相关专业本科及以上学历，3年以上平台研发或AI工程经验
工程功底扎实，精通Python或Java至少一门，熟练使用Linux开发环境与Shell脚本自动化
理解大模型评测体系，熟悉开源评测集与主流评测框架，具备评测框架、数据Pipeline、分布式任务调度或MLOps平台的设计与落地经验
熟悉Docker、Kubernetes、Conda等环境隔离与资源调度技术，能独立处理复杂依赖管理与可复现性问题
对AI评测有热情，看重指标设计的科学性与工程实现的严谨性
能阅读英文文献、分析开源项目源码，准确抽象评测集核心逻辑并完成平台化落地
工作职责
评测平台架构与框架建设
设计并研发面向大模型与Agent的通用评测框架，支持多模态输入输出、长程任务执行、工具调用链路、执行反馈等评估维度
推动评测流水线标准化，打通数据集管理、环境隔离、任务调度、指标计算、结果归档与可视化各环节
对评测结果做数据清洗、统计分析与可视化，向算法团队输出分析报告与洞察
评测集适配与建设
吃透业界主流评测集（如SWE-bench、Terminal-Bench、JobBench等），完成向平台的精准适配
面向代码生成、工具使用、推理、多轮对话、多模态生成等任务场景，设计可量化的评估方式与指标体系
建立Benchmark版本管理机制，让评测过程与结果可追踪、可对比、可复现，支撑模型迭代决策
评测任务Agent化与Harness Engineering
以Harness Engineering思路把评测任务本身Agent化，提升评测集接入效率与执行的智能化水平
开发自动化诊断工具，定位评测适配异常、指标抖动、环境漂移等问题，降低人工排查成本
探索LLM-as-Judge、多智能体评判、人类偏好对齐等前沿评测范式，提升评估的客观性与覆盖度
AI 洞察
优缺点分析
优点
- 阿里巴巴平台资源丰富，可接触大规模真实业务场景
- 评测框架建设复杂度高，需要处理多模态、长程任务等复杂场景
- 对工程能力要求高，需精通分布式、容器化等技术
- 工作强度可能较大，需要持续跟进前沿技术
- 适合对AI评测有热情，具备扎实工程能力，喜欢解决复杂技术问题的工程师
缺点 / 挑战
- 大模型评测是AI领域前沿方向，技术挑战大，成长空间广阔
- 薪资水平较高，福利完善
角色解读
- 从评测平台工程师向AI评测专家发展，深入大模型评估方法论
- 可转向MLOps、AI基础设施等方向，成为大模型工程化专家
- 在阿里内部有技术晋升通道，可发展为技术Leader或架构师
- 设计并研发大模型与Agent的通用评测框架，支持多模态、长程任务、工具调用等评估维度
- 适配业界主流评测集（如SWE-bench、Terminal-Bench），并设计量化评估指标与Benchmark版本管理
- 将评测任务Agent化，开发自动化诊断工具，探索LLM-as-Judge等前沿评测范式
- 精通Python或Java，熟悉Linux和Shell脚本自动化
- 熟悉Docker、Kubernetes、Conda等环境隔离与资源调度技术
- 理解大模型评测体系，具备评测框架、数据Pipeline或MLOps平台的设计落地经验
申请策略
- 了解阿里巴巴在AI评测方面的布局和晓天衡宇团队的业务方向
- 准备展示自己设计评测方案或平台的经验案例
- 突出大模型评测、MLOps平台或分布式系统的项目经验
- 强调Python/Java编程能力，以及Docker、Kubernetes等容器化技术
- 展示对开源评测集（如SWE-bench）的理解和适配经验
- 深入学习主流评测框架（如OpenCompass、lm-evaluation-harness）的源码
- 熟悉LLM-as-Judge等前沿评测方法
- 加强分布式任务调度和MLOps知识
面试指南
- 使用STAR法则：情境、任务、行动、结果，突出具体技术细节和量化成果
- 强调工程实践，结合项目经验说明如何解决实际问题
- 展示对评测科学性的理解，如指标设计、数据清洗、结果分析
- 请描述你设计或使用过的评测框架，如何保证评测结果的可靠性？
- 如何适配一个新的评测集到现有平台？请举例说明
- 如何解决评测过程中的环境依赖和可复现性问题？
- 谈谈你对LLM-as-Judge的看法和实现思路
- 如何设计一个支持多模态和长程任务的评测框架？
职位点评
薪资福利75
成长发展90
工作生活50
使命价值70
薪资福利
75中等
阿里巴巴作为大型互联网公司，薪资福利具有竞争力，但JD未明确具体薪资和福利细节。
薪资信号未披露（AI估算：30K-50K/月）
成长发展
90较高
职位涉及大模型评测前沿技术，能深度参与平台建设，技术成长空间大，但JD未提及晋升或培训。
技术前沿前沿/新兴技术
技术栈大模型、Agent、MLOps、Docker、Kubernetes
业务类型ambiguous
工作生活
50较低
JD未提及工作模式，但作为技术研发岗，可能需要现场办公，工作强度可能较大。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
大模型评测是AI领域重要方向，对推动AI技术发展有积极意义，但JD未明确社会价值导向。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs