AI评测工程师（LLM方向）

优缺点分析

角色解读

• 成长为评测专家，深入模型能力分析，参与模型训练闭环
• 可向AI研究员或算法工程师发展，积累LLM实战经验
• 在米哈游可转正为正式员工，参与核心游戏AI研发
• 负责设计LLM评测方案，定义评测指标和流程，建立可持续的评测体系
• 开发自动化评测框架，提高评测效率和覆盖度
• 构建和维护Public/In-house Benchmark，包括数据清洗、版本管理
• 分析模型能力分布，识别优势短板，驱动模型迭代
• 熟练掌握Python，具备工程能力，能够开发评测框架
• 了解大模型评测方法，熟悉开源Benchmark和评测框架
• 善于问题分析和实验设计，能通过数据驱动决策
• 对NLP和机器学习有基本理解

申请策略

• 关注米哈游游戏业务场景，思考评测如何辅助游戏AI
• 准备一个自己做的LLM评测相关小项目，增加竞争力
• 突出Python编程能力，提供GitHub链接或相关项目代码
• 强调大模型相关项目经验，如使用过评测框架或参与过benchmark构建
• 体现数据分析和实验设计能力，列举相关课程或研究
• 提前熟悉常见LLM评测框架如lm-evaluation-harness、OpenCompass等
• 补强数据清洗和自动化脚本编写能力，学习pandas、numpy等
• 了解Transformers库和常见模型架构

面试指南

• 针对框架问题：先简述框架功能，再谈实际使用经验，最后对比其他框架
• 针对设计问题：明确目标 -> 定义维度 -> 选择指标 -> 构建数据 -> 分析结果
• 针对数据问题：描述清洗流程，如去重、格式统一、异常值检测等
• 请介绍你熟悉的一个LLM评测框架，它的优缺点是什么？
• 如何设计一个评测方案来测试模型的多轮对话能力？
• 有一批评测数据存在脏数据，你如何处理？
• 你如何评估一个评测指标的有效性？
• 复现一些经典paper的评测实验，理解评测逻辑