阿里巴巴
数据技术及产品部-Coding & Agent 评测专家-杭州/北京
数据技术及产品部-Coding & Agent 评测专家-杭州/北京
发布于 大约 9 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Llm
Swe-Bench
代码智能
技术文档
数据质量管控
评测设计
值不值得投
81综合评分
综合评分 81
AI前沿技术岗，主导代码与Agent评测体系，成长性极强，薪资有竞争力，WLB与加班情况需进一步确认。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
38K
比人工智能中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2550 个在招 · 其中人工智能 约 230 个
市场机会
选择面较广
杭州 · 人工智能 · 约 260 个在招
职位详情
关于这个职位
负责主导设计并构建面向代码生成（Code Intelligence）与智能体（Agent）的评测基准与体系，定义模型能力边界
工作将涵盖从评测任务设计、评测集构建到质量管控与模型优化协作的全流程，是推动大模型在代码与Agent领域能力进化的核心角色
最低要求
对代码生成与智能体领域有深入理解和判断，能清晰阐述“什么是好的代码能力”和“什么是好的 Agent 能力”，并将其转化为可量化的评测维度
具备从零设计 Benchmark 的完整经验，理解评测集在区分度、抗污染性、生态效度等方面的设计权衡
扎实的软件工程背景，具备实际的中大型项目开发经验，能从一线开发者视角审视代码能力评测的合理性
熟悉主流代码评测集（如SWE-bench、LiveCodeBench、BigCodeBench 等）和 Agent 评测集（如 WebArena、OSWorld、GAIA、AgentBench 等）的设计理念与局限性
熟练掌握 Python，具备数据处理、统计分析与可视化能力
了解主流 LLM 推理服务的调用方式与工程约束
了解 Agent 框架的核心机制（如 ReAct、Tool Use、Planning 等范式），对 MCP 等工具协议有认知或实践经验
优秀的技术写作与沟通能力，能将评测设计思路清晰传达给研究与工程团队，并撰写高质量的评测报告与技术文档
工作职责
主导设计并构建面向代码生成与智能体的评测基准，涵盖能力维度拆解、任务难度分级、数据集构造、评分标准制定等全流程，具备从 0 到 1 打造高区分度评测集的能力
持续跟踪学术界与工业界在代码智能（Code Intelligence）和 Agent 领域的前沿进展，提出评测方向演进策略的专业判断，确保评测体系能有效度量模型的真实能力边界
设计覆盖真实开发场景的代码评测任务，包括但不限于：代码补全、多文件编辑、调试修复、重构优化、仓库级理解、工具调用链路等，推动评测从"解题"向"工程实践"演进
设计面向复杂 Agent 场景的评测任务体系，涵盖多步推理、环境交互、工具编排、长程规划、错误恢复等维度，构建能反映真实 Agentic 工作流的端到端评测方案
建立评测数据质量管控机制，包括题目查重与污染检测、难度标定与校准、人工标注规范制定与一致性审核，确保评测结果的可信度与可复现性
与模型训练团队紧密协作，将评测洞察转化为模型能力改进方向
与工程团队协同推动评测基础设施建设，支撑高频次、大规模的自动化评测流程
优先资格
研发背景、在代码智能或 Agent 评测领域有学术发表或开源项目贡献（如参与 SWE-bench、BigCodeBench 等项目建设）
有评测数据污染检测、动态评测集构建等方向的研究或工程经验
有竞赛编程或开源社区深度参与背景，对代码能力的分层评估有直觉认知
有将评测能力产品化的经验，如构建过评测平台、Leaderboard 或内部评测服务
对模型训练流程有基本了解，能将评测信号与训练策略对齐
AI 洞察
优缺点分析
优点
- 站在AI技术前沿，直接影响大模型核心能力的演进方向，技术影响力大
- 平台资源丰富，能接触到顶尖的模型、海量的数据和一流的工程基础设施
- 跨团队协作频繁，与模型训练、工程、产品团队深度合作，能全面了解AI产品全链路
- 领域专业性强，技能壁垒高，个人专业品牌价值突出
- 评测体系设计需高度创新和严谨，对从业者的综合技术素养和学术品味要求极高
- 技术迭代速度极快，需要持续投入学习以跟踪代码智能与Agent领域的最新动态
- 适合具备深厚软件工程背景、对AI代码与Agent能力有强烈好奇心、喜欢通过严谨方法度量复杂系统、并乐于在技术交叉领域构建体系性解决方案的资深技术专家
缺点 / 挑战
- 评测结果需要服务于多方决策，可能面临来自业务、训练团队等多方面的压力和挑战
角色解读
- 技术专家路线：深耕AI评测领域，成为公司内外有影响力的评测体系架构师
- 产品化路线：将评测能力封装为平台或服务，向内外部提供模型能力评估解决方案
- 研究路线：引领评测方法学创新，产出高质量研究成果或推动开源社区建设
- 为大模型在代码生成和Agent能力方面建立“度量衡”，设计从0到1的评测标准和数据集
- 深入研究代码智能和Agent技术的最新进展，确保评测体系始终能精准评估模型的前沿能力
- 设计贴近真实软件开发和复杂Agent任务场景的评测案例，推动模型能力向工程化应用演进
- 全面管理评测数据质量，与训练和工程团队紧密合作，将评测结果转化为模型改进的驱动力
- 对代码生成和Agent技术有深刻的领域知识，能定义“好能力”的量化指标
- 具备完整的Benchmark设计与构建经验，理解评测集的核心设计原则
- 扎实的软件工程基础和Python数据处理分析能力，熟悉LLM推理流程
- 熟悉前沿的代码/Agent评测集，并具备出色的技术沟通与文档写作能力
申请策略
- 在申请或面试中，尝试用具体的例子（如某个评测集的某个不足之处）来阐述你对评测体系设计的思考
- 准备1-2个你认为最具挑战性或最有价值的评测任务设计案例，清晰地阐述其目标、设计思路和验证方法
- 了解阿里巴巴在代码智能和Agent方向的主要产品或研究动态，思考你的评测工作如何与之契合
- 突出任何从零到一设计、构建评测Benchmark、数据集或相关平台的项目经历，量化其区分度与影响力
- 强调在代码智能（如参与过SWE-bench等开源评测集）或Agent领域的实践、研究或开源贡献
- 展示扎实的Python编程、数据科学技能以及在复杂软件工程中的实践案例
- 附上技术博客、论文、报告或清晰的技术文档，展现技术写作与沟通能力
- 深入研究1-2个标杆性代码/Agent评测集（如SWE-bench, WebArena）的论文与源码，理解其设计细节与局限
面试指南
- 采用STAR原则（情境、任务、行动、结果）来结构化地描述项目经历
- 对于设计类问题，先阐述核心目标与挑战，再分点说明具体的设计方案（如能力拆解、任务设计、评估指标），最后讨论潜在的权衡与验证方法
- 结合对业界主流评测集的了解，对比说明你的设计思路的优劣和创新点
- 请介绍一个你主导设计的评测Benchmark，包括其目标、核心评测维度、数据集构成以及你认为它最成功和最失败的地方
- 如何评估一个大型语言模型在“仓库级代码理解与修改”任务上的能力？你会设计哪些任务和评分标准？
- Agent评测面临的最大挑战是什么（如环境搭建、复现性、评估标准等）？你有什么解决思路？
- 如果发现评测集存在数据污染或区分度不足的问题，你会如何排查和解决？
- 你如何看待评测工作与模型训练之间的关系？如何确保评测结果能有效指导模型优化？
职位点评
薪资福利80
成长发展95
工作生活60
使命价值85
薪资福利
80较高
作为大型科技集团的专家级岗位，薪资竞争力预期较强，平台稳定。但JD未明确列出具体福利项。
薪资信号偏高 (25K-50K/月)
成长发展
95较高
岗位聚焦于AI领域最前沿的代码智能与Agent评测，技术门槛高，能深度参与构建评测体系，直接接触模型能力核心，成长空间和专业积累价值极高。
技术前沿前沿/新兴技术
技术栈Python、LLM、Agent、Code Intelligence、SWE-bench、ReAct、MCP
成长机会主导设计、从0到1、持续跟踪前沿进展、将评测洞察转化为模型能力改进方向
业务类型ambiguous
工作生活
60中等
工作地点在杭州或北京，均为一线城市。JD未明确办公模式与加班情况，但基于跨团队协作和项目制工作性质，可能需要较高的现场办公灵活性和一定的工作投入。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
85较高
该岗位通过定义评测标准来推动AI在编程和自动化任务上的进步，直接服务于提升生产力，具有明确的行业创新价值和技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号推动评测从'解题'向'工程实践'演进、能有效度量模型的真实能力边界
创新程度开拓性创新（行业首创）
Watch Jobs