Alibaba logo
阿里巴巴
数据技术及产品部-大模型评测算法-coding方向

数据技术及产品部-大模型评测算法-coding方向

发布于 1 小时前

普通员工/个人贡献者

AI 估算 · 4.5–8.0万 · AI 参考估算
高级经验
硕士
全职员工仅现场办公AI算法
AI算法
Coding Agent
Humaneval
Swe-Bench
大模型评测
模型裁判
程序分析
自动化测试
静态分析

值不值得投

79综合评分

综合评分 79

前沿大模型 Coding 评测岗,技术成长强、项目影响力高,办公模式与WLB信息未披露

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

6.3万

与AI算法中位数基本持平

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 5250 个在招 · 其中AI算法 约 120 个

市场机会

选择面较广

杭州 · AI算法 · 约 130 个在招

职位详情

关于这个职位

该职位聚焦大模型 Coding 能力评测,负责从评测体系、数据集、自动化判分到 Coding Agent 评测环境的建设

你将通过真实研发场景和仓库级任务诊断模型短板,并推动评测结果反哺模型训练、版本回归与产品发布决策

最低要求

硕士及以上学历,计算机及相关专业

具备扎实的算法、软件工程和机器学习基础
具备大模型 Coding、Coding Agent、程序分析、自动化测试或模型评测相关经验,曾独立主导复杂技术项目,并对方案设计与最终效果负责
深入理解代码生成与智能体评测方法,熟悉 HumanEval、LiveCodeBench、SWE-bench 等代表性基准,能够分析其适用范围、局限及潜在评测偏差
具备优秀的工程能力,熟练掌握 Python,并熟悉至少一门主流开发语言
能够处理真实项目中的依赖、构建、测试和调试问题,具备仓库级开发经验
具备评测数据与实验设计能力,能够系统处理任务难度、区分度、覆盖度、判分一致性、统计置信度及数据泄漏等问题,而非仅依赖单一榜单指标
具备较强的技术判断、问题抽象与跨团队推动能力,能够在目标不完全明确的情况下定义问题、拆解路径,并持续交付可衡量的技术成果

工作职责

主导评测体系建设:定义 Coding 能力分层、场景覆盖与评价标准,建立兼顾真实性、区分度、可复现性和迭代效率的评测方案

研发高质量评测数据:围绕真实代码仓库与研发流程,建设任务采集、自动化合成、难度校准与质量控制机制,解决数据污染、任务歧义和评测集饱和等问题
研发自动化判分方法:结合编译执行、单元测试、集成测试、静态分析与模型裁判,评价功能正确性、需求遵循、代码质量及变更合理性,提升判分准确性与抗投机能力
建设 Coding Agent 评测环境:支持代码检索、工具调用、终端操作、环境配置、测试调试等完整研发流程,解决执行隔离、环境复现、长程任务评测与运行稳定性问题
开展能力诊断与归因:结合任务结果和执行轨迹,定位模型在代码理解、规划、编辑、调试与工具使用中的关键短板,形成可验证的改进建议
推动评测与研发闭环:与模型训练、算法、产品及工程团队协作,将评测用于模型选型、训练数据优化、版本回归与发布决策
主导重点项目并指导团队成员

优先资格

主导过 Coding Benchmark、Coding Agent 或大规模代码评测平台建设,有真实研发场景落地成果

在代码任务合成、测试生成、执行式验证、程序修复、轨迹分析或裁判模型方面有深入实践
有利用评测驱动模型训练、后训练或 Agent 产品优化的成功经验
在相关领域有高质量论文、开源项目或有影响力的技术成果

AI 洞察

优缺点分析

优点

  • 岗位处在大模型 Coding 与 Agent 评测的关键环节,技术议题前沿,能够积累稀缺的模型评测和研发流程理解能力
  • 工作内容覆盖数据集、判分、执行环境、归因分析和研发闭环,技术栈完整,成长面较宽
  • 与模型训练、算法、产品和工程团队协作,评测结果能直接影响模型选型和发布决策,技术影响力较强
  • JD 提到主导重点项目和指导团队成员,对希望承担复杂项目和提升技术影响力的人较有吸引力
  • Coding Agent 评测涉及真实仓库、环境复现、长程任务和稳定性问题,工程复杂度高
  • 判分准确性、抗投机能力、数据污染和评测集饱和都是开放难题,需要持续迭代而非一次性交付
  • 岗位要求跨团队推动和目标定义能力,在目标不完全明确时需要较强自驱和沟通协调能力
  • 适合具备大模型、程序分析、自动化测试或软件工程背景,且愿意深入真实研发场景做复杂系统建设的高级算法/工程人才

缺点 / 挑战

暂无明显挑战项

角色解读

  • 可向大模型评测专家、Coding Agent 技术负责人方向发展,主导更复杂的评测平台和基准体系建设
  • 可横向拓展到模型训练、后训练、Agent 产品优化等方向,用评测结果驱动模型能力提升
  • 长期可成长为 AI 算法架构师或技术管理者,负责更大范围的技术路线、团队协同和重点项目推进
  • 设计大模型 Coding 能力评测体系,定义能力分层、场景覆盖、评价标准和可复现流程,让模型能力评估不再依赖单一榜单
  • 建设真实研发场景下的评测数据与任务集,围绕代码仓库、工具调用、终端操作、测试调试等环节生成和校准任务
  • 研发自动化判分和 Coding Agent 评测环境,结合编译执行、单元测试、静态分析和模型裁判提升判分准确性与抗投机能力
  • 基于执行轨迹做能力诊断与归因,并把评测结论用于模型选型、训练数据优化、版本回归和发布决策
  • 需要扎实的算法、软件工程和机器学习基础,尤其要理解代码生成、智能体评测和主流 Coding Benchmark 的局限
  • 需要强工程能力,熟练掌握 Python 和至少一门主流开发语言,能处理真实项目中的依赖、构建、测试和调试问题
  • 需要评测数据与实验设计能力,能系统处理难度、区分度、覆盖度、判分一致性、统计置信度和数据泄漏问题
  • 需要跨团队推动和技术抽象能力,能在目标不完全明确时定义问题、拆解路径并交付可衡量成果

申请策略

  • 面试前梳理阿里集团相关大模型与 Agent 产品方向,思考评测如何服务模型迭代和产品发布
  • 申请材料中尽量用可量化结果表达贡献,例如评测覆盖率、判分一致性、回归发现率或数据污染治理效果
  • 突出与大模型 Coding、Coding Agent、程序分析、自动化测试或模型评测直接相关的项目,说明你承担的角色和最终效果
  • 强调仓库级开发经验,尤其是依赖管理、构建、测试、调试、CI/CD 或真实代码仓库处理经验
  • 展示评测数据与实验设计能力,如任务难度校准、判分一致性、统计置信度、数据泄漏控制等具体方法
  • 补充主导复杂技术项目、跨团队推动、模型选型或发布决策支持的经历,体现技术判断和落地能力
  • 提前熟悉 HumanEval、LiveCodeBench、SWE-bench 等基准的设计逻辑、适用范围和偏差来源
  • 加强执行式验证、测试生成、静态分析、模型裁判和轨迹分析等判分方法的实践积累

面试指南

  • 先定义目标和约束,再拆解评测对象、任务来源、判分方法、执行环境和统计指标,最后说明迭代闭环
  • 对开放性问题采用“问题现象—可能原因—验证方法—改进策略—效果指标”的结构回答
  • 项目经历使用 STAR 框架,重点突出个人判断、关键取舍、技术细节和可量化结果
  • 如何设计一套面向真实研发场景的 Coding Agent 评测体系?如何保证真实性、区分度和可复现性?
  • HumanEval、LiveCodeBench、SWE-bench 各有哪些局限?你会如何改进其中的评测偏差?
  • 如何判断一个代码生成结果是否真正正确?编译执行、单元测试、静态分析和模型裁判应如何组合?
  • 遇到评测集饱和、数据污染或模型针对榜单投机时,你会如何处理?
  • 请介绍一个你主导过的复杂技术项目,说明问题定义、方案设计、跨团队推进和最终效果

职位点评

薪资福利82
成长发展92
工作生活55
使命价值78

薪资福利

82较高

JD 未披露薪资与福利信息,但岗位要求高级算法能力、复杂项目主导和跨团队推动,通常对应较高专业价值。福利与稳定性信息未提及,因此补偿性判断主要来自岗位技术门槛。

薪资信号未披露(AI估算:4.5千–8.0万/月)

成长发展

92较高

岗位围绕大模型 Coding、Coding Agent、评测体系、自动化判分和真实研发流程展开,技术议题前沿且能力积累深。JD 明确提到主导重点项目和指导团队成员,发展性满足度很高。

技术前沿前沿/新兴技术
技术栈大模型 Coding、Coding Agent、程序分析、自动化测试、模型评测、HumanEval、LiveCodeBench、SWE-bench、Python、静态分析、模型裁判
成长机会主导重点项目、指导团队成员
业务类型ambiguous

工作生活

55较低

JD 仅说明工作地点为北京/杭州,未提及远程、弹性、双休或加班情况,办公模式信息不足。岗位涉及复杂评测系统和跨团队协作,但工作强度不能仅凭岗位性质推断。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

78中等

岗位服务于大模型 Coding 与 Agent 能力提升,处于 AI 技术发展的前沿方向,具有较强的行业前景。JD 未直接表达社会使命或公共价值导向,意义感主要来自技术推动和研发效率提升。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs