阿里巴巴
AI Data-大模型评测-Work方向
AI Data-大模型评测-Work方向
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai办公
Llm As Judge
大模型评测
数据分析
自动化评测
软件工程
值不值得投
78综合评分
综合评分 78
阿里大模型核心评测岗，技术前沿、成长空间大，适合具备跨行业Know-how的复合型技术极客。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3250 个在招 · 其中数据标注与评测 40 个
市场机会
选择适中
杭州 · 数据标注与评测 · 38 个在招
职位详情
关于这个职位
该职位主要负责构建大模型在Work方向（如办公、金融、法律等）的评测体系与Benchmark，研发自动化评测技术，并通过周期性评测输出模型短板，指导数据生产与模型迭代
适合具备跨行业经验与软件工程背景，致力于推动大模型能力落地的专业人才
最低要求
通用能力要求：
有AI+办公、金融、法律、科研、企业级项目管理等行业经验，对相关技术趋势有深入理解和判断，并将其转化为可量化的评测维度
具备从零设计 Benchmark 的经验，理解评测集在区分度、抗污染性、生态效度等方面的设计权衡
扎实的软件工程背景，Work软件产研背景，能从开发者视角审视代码能力评测的合理性
熟悉主流评测集的设计理念与局限性
方向要求（具备以下任一方向经验）：
AI 办公 & 数据分析：精通 Excel 高级功能（透视表/VBA/Power Query）、Python 办公自动化（openpyxl/pandas/python-pptx），有钉钉/飞书等协同平台 API 开发经验
金融 & 法律：金融侧熟悉财报分析、估值建模、研报撰写
法律侧有合同审查、法条检索、判例分析实务经验
能识别模型输出中的专业性错误（术语误用、逻辑断裂、引用失实）
电商：有选品、详情页、促销策划的运营实操，熟悉淘天/1688/跨境平台后台逻辑与数据指标
网络安全：具备渗透测试或 CTF 实战经验，熟悉安全工具链（Burp/Metasploit/Nmap），能判断 Agent 漏洞利用路径的合理性与完整性
芯片设计 EDA：有 RTL 设计或验证经验，熟悉 Verilog/SystemVerilog 及主流 EDA 工具（Synopsys/Cadence），能评估综合/时序/DRC 流程的操作正确性
Visual Design：精通 Figma/Adobe 系列，理解栅格、色彩、字体层级等设计规范，能从审美和工程两个维度评判视觉产物
工作职责
评测集体系搭建：构建Work方向评测体系，涵盖基模、AI应用下的AI办公软件、金融、法律、GUI&CLI 、企业级工作流大型项目等方向评测体系
Benchmark建设：构建高专业、高覆盖率的in-house 评测集，管理运营专家评测集生产，评测集合成技术生产
评测集环境定制化开发：基于基础环境，定制化开发相关环境，构建与真实场景相匹配的环境，以支持评测集建设
自动化评测集技术：LLM as Judge, Agent as Judge等评测技术研发，实现高效的自动评测
评测输出：周期性评测模型短板，在模型研发阶段提供针对性的数据建议
指导数据生产、模型迭代
AI 洞察
优缺点分析
优点
- 处于AI大模型核心研发链路，能深度接触前沿模型能力边界，技术视野开阔
- 依托集团丰富的算力、数据与真实业务场景资源，评测体系能直接落地并产生业务价值
- 跨行业经验要求使得岗位壁垒极高，复合型背景不易被替代，职业生命周期长
- 需要同时具备软件工程能力与特定垂直行业的深厚Know-how，对个人的综合学习能力要求极高
- 适合具备扎实技术背景，同时对某一垂直行业有深刻理解，且对大模型能力评估有浓厚兴趣的复合型技术人才
缺点 / 挑战
- 评测体系从0到1建设难度大，需不断应对模型快速迭代带来的评测集失效与抗污染挑战
角色解读
- 可向大模型评测专家、AI数据科学家或大模型产品负责人方向发展
- 在AI大模型爆发的当下，积累的核心评测能力将使你成为行业稀缺的“模型裁判”人才，具备极高的职业壁垒
- 构建大模型在办公、金融、法律等垂直领域的评测体系与Benchmark，定义量化评测维度
- 研发LLM/Agent as Judge等自动化评测技术，搭建与真实场景匹配的定制化评测环境
- 通过周期性评测输出模型短板，为数据生产与模型迭代提供针对性指导
- 具备从零设计Benchmark的经验，深刻理解评测集在区分度、抗污染性、生态效度等方面的设计权衡
- 拥有扎实的软件工程背景，能从开发者视角审视代码能力评测的合理性
- 在特定垂直行业（如AI办公、金融、法律、安全、EDA等）具备深厚的实操经验与业务Know-how
申请策略
- 建议在简历或面试中明确自己最擅长的1-2个垂直方向，并准备相关的评测集设计案例
- 关注阿里通义千问等模型的最新动态与评测报告，了解其能力边界与迭代方向
- 突出从零设计Benchmark或评测集的项目经验，详细说明设计维度与权衡过程
- 强调在特定垂直领域（如金融、法律、办公自动化等）的实操经验与业务理解深度
- 展示自动化评测技术（如LLM as Judge）的研发、应用成果或相关开源贡献
- 深入学习主流大模型评测框架与指标（如OpenCompass, lm-evaluation-harness等）
- 提升Python数据处理与自动化脚本编写能力，熟悉评测环境定制化开发
- 了解目标垂直行业的最新业务痛点与AI落地场景，积累行业评测案例
面试指南
- STAR法则：情境（业务背景）-任务（评测目标）-行动（设计维度、环境搭建、自动化方案）-结果（评测输出、模型改进效果）
- 对于设计类问题，采用“目标拆解-指标定义-数据构造-验证迭代”的框架，展现系统性思维
- 如何从零设计一个针对金融/法律领域的大模型评测Benchmark？需要考虑哪些核心维度？
- 在评测集设计中，如何平衡区分度、抗污染性和生态效度？请举例说明
- 请分享一个你使用LLM as Judge或Agent as Judge进行自动化评测的实践经验及遇到的挑战
- 针对你熟悉的垂直行业，大模型目前最大的能力短板是什么？如何通过评测来指导改进？
- 准备1-2个自己主导或深度参与的Benchmark/评测集设计案例，详细阐述设计思路与踩过的坑
- 复习大模型评测领域的最新论文与开源项目，了解行业主流评测方法论
职位点评
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
阿里集团大模型核心岗位，薪资具备市场竞争力，但JD未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：3.5千–6.5万/月）
成长发展
90较高
处于AI大模型前沿领域，能深度参与模型迭代与评测技术研发，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈LLM as Judge、Agent as Judge、Benchmark、Python、自动化评测
业务类型ambiguous
工作生活
50较低
JD未提及工作模式与WLB相关信息，核心研发岗位通常工作节奏较快，生活化动机满足程度有限。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
推动大模型在各行各业的落地应用，解决真实业务痛点，具有较高的技术使命感与行业价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs