AI评测工程师（LLM方向）

优缺点分析

角色解读

• 深耕AI评测领域，成为评测专家或质量保障负责人
• 转向模型研发，利用评测经验更深入地参与模型训练和优化
• 横向扩展至AI平台或工具链开发，负责更大范围的测试基础设施
• 设计和构建大语言模型的评测体系，包括评测指标、流程和自动化框架
• 维护和优化公开及内部Benchmark数据集，确保评测的有效性和区分度
• 分析模型能力边界与问题分布，识别模型短板并推动改进
• 跟踪行业模型动态，进行横向评测和量化分析
• 精通Python，具备扎实的工程和代码能力
• 熟悉大模型评测方法学，有评测框架或Benchmark构建经验
• 优秀的问题分析和实验设计能力，能独立探索和解决问题
• 了解LLM训练和迭代流程，理解评测在其中的作用

申请策略

• 关注米哈游的技术博客和产品动态，了解其AI战略方向
• 面试前准备一个你主导或参与的评测项目复盘，体现系统思考能力
• 突出大模型评测或相关项目经验，如Benchmark构建、评测框架开发
• 展示Python工程能力和自动化工具开发案例
• 强调问题分析和实验设计能力，可附上具体技术方案
• 如有开源贡献或相关论文，务必列出
• 深入学习主流LLM评测框架（如HELM、LM Eval Harness）的使用和原理
• 熟悉数据清洗和数据集构建工具，提高数据处理能力

面试指南

• 使用STAR法则描述项目：情境、任务、行动、结果，突出个人贡献和思考
• 对设计类问题，从目标、指标、数据集、流程、迭代等角度系统性回答
• 对分析类问题，展示假设驱动和逐步排除的分析思路
• 请介绍你参与过的大模型评测项目，包括评测方案设计和遇到的问题
• 如何设计一个有效的Benchmark来评估LLM的推理能力？
• 在评测过程中，如何处理数据偏差和过拟合问题？
• 你如何看待当前主流LLM评测框架的优缺点？
• 如果模型在某个指标上表现突然下降，你会如何排查原因？