米哈游
平台研发-大模型路由与评测工程师
平台研发-大模型路由与评测工程师
发布于 大约 1 小时前普通员工/个人贡献者
机器学习工程
Prompt Engineering
Swe-Bench
大语言模型
实验设计
智能路由
模型评测
Evalscope
AI 估算 · 25k–35k
职位详情
关于这个职位
作为米哈游大模型路由与评测工程师，你将负责构建智能路由和评测体系，通过可重复的实验为不同任务选择最优模型，平衡效果、成本、延迟和可用性
你将参与建设路由策略、评测数据集和回归测试，并分析异常结果以驱动模型选型和策略迭代
该岗位面向2027届毕业生，提供深度接触大模型与Agent技术的机会
最低要求
届本科及以上学历，计算机/电子/通信等相关专业
熟练使用 Python，具备数据处理、实验设计和工程实现能力
熟悉大语言模型的使用方式，理解 Prompt、Embedding、工具调用和 Agent 的基本原理
能够将业务需求转化为可执行的评测任务和清晰的衡量指标
对实验结果保持严谨，能够处理样本偏差、模型波动和自动评分误差
工作职责
建设规则路由、Embedding 语义路由和模型驱动路由，根据任务类型和模型能力选择合适的模型
建设模型能力标签、任务分类、路由策略版本和灰度实验机制，使路由结果可解释、可回滚
搭建模型及 Agent 评测数据集、评分器和回归测试，覆盖代码、工具使用、长程任务及内部业务场景
对比固定强模型、固定低成本模型和智能路由在成功率、成本、延迟、Fallback 和错路由方面的表现
分析异常评测结果，区分模型能力变化、数据问题、评分问题和评测基础设施问题
将离线评测、线上 Trace、用户反馈和生产指标用于模型选型及路由策略迭代
优先资格
使用过 EvalScope、Inspect AI、Langfuse、Promptfoo 或 OpenCompass
运行过 SWE-bench、Terminal-Bench、τ-bench、GAIA 等模型或 Agent 评测
有推荐、搜索、分类、在线实验或成本优化经验
AI 洞察
优缺点分析
优点
- 米哈游作为头部游戏公司，技术平台和资源丰富，能接触前沿的大模型技术
- 该岗位涉及模型路由和评测，是AI应用中的关键环节，技术含金量高
- 校招岗位，有完善的培养体系，职业发展路径清晰
- 大模型领域技术更新快，需要持续学习，保持技术敏感度
- 评测工作对严谨性要求高，可能面临数据处理和实验设计的复杂性
- 适合对AI技术有浓厚兴趣，喜欢实验和数据分析，且具备扎实编程基础的应届毕业生
缺点 / 挑战
- 游戏行业节奏快，可能面临一定的工作压力
角色解读
- 从评测工程师起步，逐步深入模型路由和优化领域，成为大模型应用专家
- 可向AI平台架构师方向发展，负责整个模型服务体系的架构设计
- 有机会参与核心AI业务决策，影响公司级模型选型和技术路线
- 负责构建智能路由系统，根据任务类型和模型能力自动选择最合适的模型，以平衡效果、成本和延迟
- 搭建模型评测体系，包括数据集、评分器和回归测试，确保模型和Agent的性能可衡量、可追踪
- 分析评测结果，区分模型能力变化、数据问题或基础设施问题，并推动模型选型和路由策略的迭代
- 熟练掌握Python，具备数据处理和实验设计能力，能够实现工程化代码
- 深入理解大语言模型、Prompt、Embedding、工具调用和Agent的基本原理
- 具备严谨的实验态度，能够处理样本偏差、模型波动和自动评分误差
申请策略
- 关注米哈游的招聘动态，了解公司技术方向，在面试中展示对游戏AI的兴趣
- 准备项目案例，展示你如何将业务需求转化为技术方案
- 突出Python编程能力和数据处理经验，展示相关项目或实习
- 强调对大模型、Prompt、Agent的理解，如有相关项目或论文更佳
- 展示实验设计和数据分析能力，如使用过评测工具或参与过相关竞赛
- 提前学习大模型评测工具，如EvalScope、OpenCompass等
- 熟悉模型路由和评测的常用框架，如LangChain、LlamaIndex
- 了解在线实验和A/B测试方法，积累相关经验
面试指南
- 使用STAR法则：情境、任务、行动、结果，清晰描述项目经历
- 结合具体技术细节，展示你的技术深度和解决问题的能力
- 强调数据驱动和严谨性，体现你的实验设计思维
- 请描述一次你设计实验并分析结果的经历
- 你如何理解模型路由？请举例说明
- 如何评估一个Agent的性能？你会设计哪些指标？
- 当评测结果与预期不符时，你会如何排查？
- 谈谈你对大模型评测工具的了解
职位点评
78
综合评分
大厂平台、前沿技术、薪资优厚，但工作强度可能较大。
从起薪待遇、成长路径、工作节奏和岗位方向综合评估，方便比较职业起点。
更适合这类人
适合追求技术成长、对前沿AI技术有热情的应届生。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展90
工作生活60
使命价值70
薪资福利
80较高
米哈游作为头部公司，薪资福利具有竞争力，但具体薪资未披露，需面议。
薪资信号未披露（AI估算：25K-35K/月）
成长发展
90较高
岗位涉及大模型前沿技术，提供丰富的成长机会，但JD未明确提及晋升通道。
技术前沿前沿/新兴技术
技术栈Python、大语言模型、Embedding、Agent、Prompt
业务类型ambiguous
工作生活
60中等
工作地点在上海，办公模式为现场办公，JD未提及弹性工作或加班情况。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
游戏行业属于稳定成熟行业，岗位对游戏AI发展有积极影响，但社会影响力有限。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs