晓天衡宇-大模型评测专家-work方向（杭州）

优缺点分析

角色解读

• 深耕评测领域，成为大模型评测领域的专家或架构师，建立行业影响力
• 横向发展，参与或主导评测平台、工具链的建设，向技术管理或产品方向转型
• 基于对模型能力的深刻理解，可转向AI产品经理或算法策略角色，推动模型在具体业务场景的应用与优化
• 设计并构建针对大模型在办公场景下的全面评测体系，包括制定标准（rubric）和评测方案
• 将算法团队的技术改进需求，翻译成具体、可执行、可量化的评测任务
• 深入分析模型评测结果，定位模型弱点，为算法优化提供明确方向和数据支持
• 持续优化评测流程，探索自动化工具以提升评测效率和质量
• 扎实的大模型基础知识，深入理解模型评测方法论（特别是基于Rubric的评测）
• 对办公协同软件（如文档、表格、邮件）或特定垂类（金融、法律等）有深刻业务理解
• 出色的数据分析能力，能通过指标（如κ、一致率）进行质量管控和问题归因
• 强大的项目管理与跨团队沟通能力，能协调多团队资源，确保评测项目按时高质量交付

申请策略

• 仔细研究该岗位所属业务方向（如办公Agent），思考其评测体系的难点和关键点
• 准备一个你曾主导或参与的复杂评测项目案例，用以说明你的方法论和解决问题的能力
• 重点突出大模型评测、数据标注生产或相关质量管理的项目经验，描述具体成果
• 展示对特定垂直领域（如金融、法律）或办公产品的理解与经验
• 强调项目管理和跨团队协作的成功案例，体现沟通推动能力
• 列出对标注质量指标（如κ）和Rubric方法论的掌握和应用
• 系统学习大模型评测方法论，研究主流评测基准（Benchmark）
• 深入了解目标业务领域（办公协同或金融/法律等）的专业知识和流程

面试指南

• 对于体系设计类问题，采用“场景拆解-维度定义-指标选择-流程设计-质量保障”的结构化思路
• 对于归因与协作类问题，遵循“数据呈现-客观分析-寻求共识-定义下一步”的流程，突出沟通与推动作用
• 所有回答尽量结合过往项目实例（STAR法则），并融入对题目（如办公Agent）的理解
• 请描述一下，你会如何为一个“智能写作助手”设计一套完整的评测体系？
• 在制定评测标准（Rubric）时，如何确保判据的原子化、可举证和可复现？
• 如果算法团队对某个bad case的归因有分歧，你会如何推动分析并达成共识？
• 你过去是如何平衡评测工作的质量、效率和跨团队的沟通成本的？
• 你如何看待当前办公领域大模型评测的主要挑战？