AI评测工程师（LLM方向）

优缺点分析

角色解读

• 技术深耕：成为大模型评测领域的专家，主导评测体系架构
• 研发转管理：带领评测团队，规划评测方向与资源
• 横向拓展：向AI训练、推理优化等方向扩展，成为全栈AI工程师
• 设计和优化大语言模型的评测方案，包括指标定义和流程标准化
• 开发自动化评测框架，提高评测效率和覆盖度
• 构建和维护评测数据集（Benchmark），进行数据清洗和版本管理
• 深入分析模型能力，识别问题并驱动模型迭代改进
• 精通Python编程，具备扎实的工程能力，能独立开发评测系统
• 熟悉大模型评测方法论，掌握Eval相关工具和框架
• 具备实验设计和数据分析能力，能系统性地分析模型表现
• 了解NLP和深度学习基础，对Transformer架构有认识

申请策略

• 关注米哈游的技术博客或开源项目，了解其AI技术方向
• 准备一个你设计的评测方案案例，展示系统性思维
• 突出大模型评测或相关项目经历，列出具体贡献和成果
• 强调Python开发能力，可附上GitHub链接或代码示例
• 展示对Benchmark和评测方法的理解，如使用过哪些框架
• 深入学习LLM原理和常见的评测方法（如MMLU、HumanEval）
• 练习使用开源评测框架（如lm-evaluation-harness）
• 加强数据分析和可视化能力，用于呈现评测结果

面试指南

• 先明确问题目标（评估什么能力），再选择指标（准确率、F1等），最后说明验证方法
• 从数据收集、清洗、标注、采样等环节阐述数据质量保障措施
• 结合具体项目经验，展示分析问题的能力和系统性思维
• 请描述你用过的大模型评测框架，它们各自的优缺点是什么？
• 如何设计一个评测指标来评估模型在某个垂直领域的表现？
• 遇到模型评估结果与人工评审不一致时，你会如何分析？
• 你如何确保评测数据的质量和一致性？
• 请谈谈你对LLM评测未来趋势的看法