米哈游
LLM Evaluation算法研究员
LLM Evaluation算法研究员
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Bad Case分析
Llm评测
Rlhf/Dpo
实验复现
数据分析
值不值得投
78综合评分
综合评分 78
前沿大模型评测方向、技术成长空间极佳、薪资竞争力强、需适应快节奏研发环境
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便比较职业起点。
薪资怎么样
5.0万
比人工智能中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 980 个在招 · 其中人工智能 3 个
市场机会
选择面较广
北京 · 人工智能 · 约 700 个在招
职位详情
关于这个职位
负责构建面向代码智能体（Code Agent）的自动化评测体系，设计多维度评测集以量化模型在真实编程任务中的表现
通过分析复杂任务失败模式建立反馈闭环，指导数据构造与训练策略优化，并参与内部Benchmark及评测系统建设，持续迭代模型能力
最低要求
计算机科学、人工智能、机器学习、软件工程或相关领域在读硕士 / 博士
熟悉 LLM 评测方法，对代码生成、代码修复、Agent 评测或自动化测试有实践经验
熟悉 Python，具备较强的数据分析、工程实现和实验复现能力
理解软件工程基本流程，包括 Git、测试框架、CI、Issue / PR 工作流、代码审查和调试流程
对 RLHF、Reward Model、DPO、LLM-as-a-Judge、Execution-based Evaluation 等方向有一定理解
工作职责
面向代码智能体能力构建评测体系，覆盖代码库理解、Issue 修复、跨文件修改、测试生成、调试定位、命令执行、工具调用和多步任务完成等场景
设计 Repo-level 和 Agent-level 评测集，评估模型在真实软件工程任务中的任务完成率、测试通过率、修改质量、鲁棒性和执行效率
分析 Code Agent 在复杂任务中的失败模式，包括错误定位失败、上下文遗漏、工具调用错误、无效修改、测试误判、循环修复等问题
建立从评测结果到训练数据和 Post-training 策略的反馈闭环，通过 Bad Case 分析指导数据构造、奖励设计和训练策略优化
参与内部 Benchmark、模型能力看板和回归评测系统建设，支持 Code Agent 能力持续迭代
优先资格
有 SWE-bench、RepoBench、HumanEval、MBPP、CodeContests、Agent Benchmark 等相关评测或改进经验
有 Math / Code Reasoning、Agent、工具调用、自动化测试、程序修复方向的实战经验
在 NeurIPS、ICML、ICLR、ACL、EMNLP、FSE、ICSE、ASE 等会议发表过相关论文
熟悉大模型训练全流程，能够独立完成从数据处理、模型微调到评测分析的实验
在 ACM/ICPC、NOI/IOI、Codeforces、Kaggle 等竞赛中取得优异成绩
AI 洞察
优缺点分析
优点
- 依托头部科技企业资源，可直接接触前沿Agent架构与海量真实代码数据
- 完整参与“评测-反馈-训练”闭环，技术视野与工程能力双重提升
- 大模型技术迭代极快，需保持高强度的文献追踪与实验跟进节奏
- 跨学科知识融合要求高（AI+软件工程）
- 适合具备扎实科研背景、热爱底层算法研究且对代码生成与Agent技术有强烈兴趣的硕博毕业生或资深研究者
缺点 / 挑战
- 深耕大模型评测这一AI落地关键瓶颈领域，技术壁垒高且行业需求迫切
- 需同时兼顾学术严谨性与工程落地效率，Bad Case归因分析耗时较长且易遇瓶颈
角色解读
- 可向大模型评测架构师、AI算法专家或技术负责人方向发展
- 积累行业标杆评测标准制定经验后，可横向拓展至多模态Agent或垂直领域大模型研发，成为AI基础设施核心骨干
- 负责搭建代码智能体（Code Agent）的自动化评测体系，设计多维度评测集以量化模型在真实编程任务中的表现
- 深入分析模型在复杂软件工程场景下的失败案例，提炼特征并反哺训练数据与策略
- 参与维护内部Benchmark平台与能力看板，驱动模型持续迭代
- 熟练掌握Python及数据分析工具，具备扎实的算法实验设计与复现能力
- 深入理解LLM评测方法论（如LLM-as-a-Judge、Execution-based Eval）及大模型对齐技术（RLHF/DPO）
- 熟悉现代软件工程工作流（Git/CI/PR）及自动化测试框架
申请策略
- 提前调研目标公司在游戏AI或工具链方面的公开技术布局，面试时可结合具体业务场景提出评测优化思路
- 准备1-2个完整的Bad Case分析案例，展现从现象到根因再到策略优化的完整逻辑
- 突出LLM评测相关项目经历，详细列出使用的数据集、评估指标及对比基线
- 强调Python工程能力与实验复现记录，展示对Git/CI/自动化测试的实际应用
- 如有顶会论文或竞赛奖项，置于显眼位置
- 补充学习主流代码评测基准（如SWE-bench、HumanEval-X）的搭建逻辑
- 强化对大模型训练全流程（数据清洗、SFT、DPO/RLHF）的系统性理解
- 提升自动化测试脚本编写与CI流水线配置能力
面试指南
- 采用STAR法则结构化回答项目经历
- 针对技术问题，先界定问题边界（数据/模型/环境），再给出可量化的排查步骤与消融实验设计
- 最后落脚到对业务目标的支撑
- 请详细描述你设计过的一个LLM评测方案，包含指标定义与数据构建过程
- 如何区分模型在代码生成任务中的“能力不足”与“提示词/环境配置问题”？
- 面对RLHF/DPO中的奖励模型偏差问题，你有什么缓解思路？
- 请结合过往经验，说明如何将评测结果转化为具体的训练数据增强策略
- 系统梳理大模型评测领域的经典论文与开源Benchmark实现细节
职位点评
薪资福利75
成长发展90
工作生活60
使命价值80
薪资福利
75中等
薪资处于行业中上水平，但JD未明确披露具体薪酬结构与福利细节。作为自负盈亏的超大型企业，整体待遇通常具备较强市场竞争力。
薪资信号未披露（AI估算：3.5千–6.5万/月）
成长发展
90较高
岗位深度绑定大模型评测与代码智能体前沿方向，提供完整的“数据-训练-评测”闭环实践机会，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈LLM、Code Agent、RLHF、DPO、Python、Benchmark
业务类型profit_center
工作生活
60中等
JD未明确提及办公模式与工时安排，互联网/游戏大厂通常节奏较快，但具体WLB需以实际团队文化为准。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
致力于构建代码智能体评测标准，推动AI在软件工程领域的可靠落地，具有显著的行业技术引领价值与社会正向外溢效应。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs