米哈游
【提前批-大模型】LLM Evaluation算法研究员
【提前批-大模型】LLM Evaluation算法研究员
发布于 大约 15 小时前普通员工/个人贡献者
北京市
无经验要求
全职员工
仅现场办公
硕士
研究与开发 (研发)
LLM
RLHF
DPO
CI
Reward Model
Swe-Bench
Code Agent
Llm-As-A-Judge
AI 估算 · 35k–55k
米哈游大模型算法研究员岗位，技术前沿，北京地区，硕士校招起薪较高，竞争力强。
职位详情
关于这个职位
该职位面向2026届硕博，聚焦大语言模型（LLM）的代码智能体评测体系构建
你将设计Repo-level和Agent-level评测集，分析模型在真实软件工程任务中的失败模式，并建立从评测到训练策略的反馈闭环，推动Code Agent能力的持续迭代
适合对LLM评测、代码生成和Agent技术有浓厚兴趣的研究型人才
最低要求
计算机科学、人工智能、机器学习、软件工程或相关领域在读硕士 / 博士
熟悉 LLM 评测方法，对代码生成、代码修复、Agent 评测或自动化测试有实践经验
熟悉 Python，具备较强的数据分析、工程实现和实验复现能力
理解软件工程基本流程，包括 Git、测试框架、CI、Issue / PR 工作流、代码审查和调试流程
对 RLHF、Reward Model、DPO、LLM-as-a-Judge、Execution-based Evaluation 等方向有一定理解
工作职责
面向代码智能体能力构建评测体系，覆盖代码库理解、Issue 修复、跨文件修改、测试生成、调试定位、命令执行、工具调用和多步任务完成等场景
设计 Repo-level 和 Agent-level 评测集，评估模型在真实软件工程任务中的任务完成率、测试通过率、修改质量、鲁棒性和执行效率
分析 Code Agent 在复杂任务中的失败模式，包括错误定位失败、上下文遗漏、工具调用错误、无效修改、测试误判、循环修复等问题
建立从评测结果到训练数据和 Post-training 策略的反馈闭环，通过 Bad Case 分析指导数据构造、奖励设计和训练策略优化
参与内部 Benchmark、模型能力看板和回归评测系统建设，支持 Code Agent 能力持续迭代
优先资格
有 SWE-bench、RepoBench、HumanEval、MBPP、CodeContests、Agent Benchmark 等相关评测或改进经验
有 Math / Code Reasoning、Agent、工具调用、自动化测试、程序修复方向的实战经验
在 NeurIPS、ICML、ICLR、ACL、EMNLP、FSE、ICSE、ASE 等会议发表过相关论文
熟悉大模型训练全流程，能够独立完成从数据处理、模型微调到评测分析的实验
在 ACM/ICPC、NOI/IOI、Codeforces、Kaggle 等竞赛中取得优异成绩
AI 洞察
优缺点分析
优点
- 米哈游作为头部游戏公司，技术实力雄厚，大模型方向资源投入大
- 岗位聚焦前沿领域（LLM、Agent），技术成长空间广阔
- 有机会参与顶会论文发表和开源项目，提升个人影响力
- LLM评测体系尚不成熟，需要极强的创新能力和工程落地能力
- 工作强度可能较大，涉及多模型、多任务的持续迭代
- 对数学和算法功底要求高，需不断跟进最新研究
- 适合对LLM评测和代码生成有浓厚兴趣，具备较强动手能力和研究精神的硕博研究生
缺点 / 挑战
暂无明显挑战项
角色解读
- 从评测研究员向大模型训练全栈发展，掌握数据处理、微调到部署的完整流程
- 深入Agent技术方向，成为代码智能体领域的专家
- 未来可转向AI研究员、技术负责人或创业方向
- 构建代码智能体的评测体系，设计覆盖代码理解、修复、测试等场景的评测集
- 分析模型在复杂软件工程任务中的失败模式，如错误定位、上下文遗漏等
- 建立评测结果到训练策略的反馈闭环，指导数据构造和模型优化
- 扎实的LLM评测知识，熟悉代码生成、Agent评测和自动化测试方法
- 精通Python，具备数据分析、工程实现和实验复现能力
- 理解软件工程流程，包括Git、CI、测试框架和代码审查
申请策略
- 关注米哈游技术博客和开源项目，了解团队技术方向
- 准备一个简洁的Code Agent演示或案例分析，展示实际能力
- 突出LLM相关项目经验，尤其是代码生成、Agent评测或自动化测试方面的成果
- 展示Python工程能力和数据分析能力，如GitHub项目或竞赛经历
- 强调对RLHF、Reward Model等技术的理解，可附上相关论文或实验
- 深入学习SWE-bench、HumanEval等主流评测基准的构建思路
- 实践Code Agent的完整流程，包括工具调用、多步任务规划
- 补充大模型训练全流程知识，如数据处理、模型微调
面试指南
- STAR法则：情境-任务-行动-结果，清晰描述项目背景和个人贡献
- 技术深度：先阐述核心原理，再结合具体案例说明优化思路
- 问题拆解：将复杂问题分解为多个子问题，逐步分析并给出方案
- 请介绍你参与过的一个LLM评测项目，如何设计评测指标？
- Code Agent在真实任务中常见的失败模式有哪些？如何改进？
- 如何评估一个代码生成模型在Repo-level任务上的表现？
- RLHF和DPO在代码生成场景中如何应用？
- 请描述一个你遇到的工程挑战及解决方案
职位点评
64
综合评分
米哈游大模型算法岗，技术前沿薪资优，但弹性办公不明确，强度未知。
更适合这类人
适合追求技术成长和前沿探索的求职者，但在意WLB者需谨慎。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展85
工作生活30
使命价值65
薪资福利
75中等
薪资处于行业较高水平，但JD未明确具体福利，参考米哈游整体待遇较好。
薪资信号未披露（AI估算：35K-55K/月）
成长发展
85较高
技术栈前沿（LLM、Agent），成长空间大，但JD未明确提及晋升通道。
技术前沿前沿/新兴技术
技术栈LLM、Code Agent、RLHF、DPO、SWE-bench
业务类型ambiguous
工作生活
30较低
JD未提及远程或弹性工作，默认现场办公，大厂算法岗通常强度较大。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
65中等
AI赛道高速增长，但JD未强调社会价值，偏向技术驱动。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs