
数据技术及产品部-大模型评测算法-coding方向
发布于 1 小时前普通员工/个人贡献者
值不值得投
综合评分 79
前沿大模型 Coding 评测岗,技术成长强、项目影响力高,办公模式与WLB信息未披露
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
6.3万
与AI算法中位数基本持平
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 5250 个在招 · 其中AI算法 约 120 个
市场机会
选择面较广
杭州 · AI算法 · 约 130 个在招
职位详情
关于这个职位
该职位聚焦大模型 Coding 能力评测,负责从评测体系、数据集、自动化判分到 Coding Agent 评测环境的建设
最低要求
硕士及以上学历,计算机及相关专业
工作职责
主导评测体系建设:定义 Coding 能力分层、场景覆盖与评价标准,建立兼顾真实性、区分度、可复现性和迭代效率的评测方案
优先资格
主导过 Coding Benchmark、Coding Agent 或大规模代码评测平台建设,有真实研发场景落地成果
AI 洞察
优缺点分析
优点
- 岗位处在大模型 Coding 与 Agent 评测的关键环节,技术议题前沿,能够积累稀缺的模型评测和研发流程理解能力
- 工作内容覆盖数据集、判分、执行环境、归因分析和研发闭环,技术栈完整,成长面较宽
- 与模型训练、算法、产品和工程团队协作,评测结果能直接影响模型选型和发布决策,技术影响力较强
- JD 提到主导重点项目和指导团队成员,对希望承担复杂项目和提升技术影响力的人较有吸引力
- Coding Agent 评测涉及真实仓库、环境复现、长程任务和稳定性问题,工程复杂度高
- 判分准确性、抗投机能力、数据污染和评测集饱和都是开放难题,需要持续迭代而非一次性交付
- 岗位要求跨团队推动和目标定义能力,在目标不完全明确时需要较强自驱和沟通协调能力
- 适合具备大模型、程序分析、自动化测试或软件工程背景,且愿意深入真实研发场景做复杂系统建设的高级算法/工程人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向大模型评测专家、Coding Agent 技术负责人方向发展,主导更复杂的评测平台和基准体系建设
- 可横向拓展到模型训练、后训练、Agent 产品优化等方向,用评测结果驱动模型能力提升
- 长期可成长为 AI 算法架构师或技术管理者,负责更大范围的技术路线、团队协同和重点项目推进
- 设计大模型 Coding 能力评测体系,定义能力分层、场景覆盖、评价标准和可复现流程,让模型能力评估不再依赖单一榜单
- 建设真实研发场景下的评测数据与任务集,围绕代码仓库、工具调用、终端操作、测试调试等环节生成和校准任务
- 研发自动化判分和 Coding Agent 评测环境,结合编译执行、单元测试、静态分析和模型裁判提升判分准确性与抗投机能力
- 基于执行轨迹做能力诊断与归因,并把评测结论用于模型选型、训练数据优化、版本回归和发布决策
- 需要扎实的算法、软件工程和机器学习基础,尤其要理解代码生成、智能体评测和主流 Coding Benchmark 的局限
- 需要强工程能力,熟练掌握 Python 和至少一门主流开发语言,能处理真实项目中的依赖、构建、测试和调试问题
- 需要评测数据与实验设计能力,能系统处理难度、区分度、覆盖度、判分一致性、统计置信度和数据泄漏问题
- 需要跨团队推动和技术抽象能力,能在目标不完全明确时定义问题、拆解路径并交付可衡量成果
申请策略
- 面试前梳理阿里集团相关大模型与 Agent 产品方向,思考评测如何服务模型迭代和产品发布
- 申请材料中尽量用可量化结果表达贡献,例如评测覆盖率、判分一致性、回归发现率或数据污染治理效果
- 突出与大模型 Coding、Coding Agent、程序分析、自动化测试或模型评测直接相关的项目,说明你承担的角色和最终效果
- 强调仓库级开发经验,尤其是依赖管理、构建、测试、调试、CI/CD 或真实代码仓库处理经验
- 展示评测数据与实验设计能力,如任务难度校准、判分一致性、统计置信度、数据泄漏控制等具体方法
- 补充主导复杂技术项目、跨团队推动、模型选型或发布决策支持的经历,体现技术判断和落地能力
- 提前熟悉 HumanEval、LiveCodeBench、SWE-bench 等基准的设计逻辑、适用范围和偏差来源
- 加强执行式验证、测试生成、静态分析、模型裁判和轨迹分析等判分方法的实践积累
面试指南
- 先定义目标和约束,再拆解评测对象、任务来源、判分方法、执行环境和统计指标,最后说明迭代闭环
- 对开放性问题采用“问题现象—可能原因—验证方法—改进策略—效果指标”的结构回答
- 项目经历使用 STAR 框架,重点突出个人判断、关键取舍、技术细节和可量化结果
- 如何设计一套面向真实研发场景的 Coding Agent 评测体系?如何保证真实性、区分度和可复现性?
- HumanEval、LiveCodeBench、SWE-bench 各有哪些局限?你会如何改进其中的评测偏差?
- 如何判断一个代码生成结果是否真正正确?编译执行、单元测试、静态分析和模型裁判应如何组合?
- 遇到评测集饱和、数据污染或模型针对榜单投机时,你会如何处理?
- 请介绍一个你主导过的复杂技术项目,说明问题定义、方案设计、跨团队推进和最终效果
职位点评
薪资福利
JD 未披露薪资与福利信息,但岗位要求高级算法能力、复杂项目主导和跨团队推动,通常对应较高专业价值。福利与稳定性信息未提及,因此补偿性判断主要来自岗位技术门槛。
成长发展
岗位围绕大模型 Coding、Coding Agent、评测体系、自动化判分和真实研发流程展开,技术议题前沿且能力积累深。JD 明确提到主导重点项目和指导团队成员,发展性满足度很高。
工作生活
JD 仅说明工作地点为北京/杭州,未提及远程、弹性、双休或加班情况,办公模式信息不足。岗位涉及复杂评测系统和跨团队协作,但工作强度不能仅凭岗位性质推断。
使命价值
岗位服务于大模型 Coding 与 Agent 能力提升,处于 AI 技术发展的前沿方向,具有较强的行业前景。JD 未直接表达社会使命或公共价值导向,意义感主要来自技术推动和研发效率提升。
阿里巴巴 的其他在招职位