晓天衡宇-大模型评测专家-work方向（北京）

优缺点分析

角色解读

• 在评测领域深耕，成为大模型评测方向的专家，主导评测体系的建设与演进
• 向AI产品经理或技术管理方向发展，负责评测团队的管理和评测平台的搭建
• 基于对模型能力的深入理解，转向算法优化或数据策略等更核心的技术岗位
• 设计并构建大模型在办公场景和垂类领域（如法律、金融）的评测体系，包括评测方案、题目设计、领域覆盖等
• 主导评测标准（Rubric）的设计与终审，确保评测判据的原子化、可举证和可复现，并沉淀为可复用的模板
• 深入分析模型在真实办公任务中的失败案例（bad case），定位问题根源，输出模型能力弱点图谱，为算法团队提供优化方向
• 跟踪业界前沿评测方法，对主流评测基准进行调研和优缺点分析，推动评测体系的持续演进
• 具备大模型评测、数据标注生产或质量管理的相关经验，熟悉Rubric式评测方法论
• 掌握标注信度指标（如Cohen's Kappa、一致率、unsure率）及质量管控手段
• 具备金融、法律、医疗、数据分析等一个或多个垂类领域的专业知识或业务经验
• 拥有较强的项目管理与跨团队沟通能力，能够高效协同算法、产品、标注等多个团队

申请策略

• 在申请前，深入了解阿里巴巴的AI战略和通义大模型的发展情况，在面试中展现出对业务的思考
• 可以准备一个关于如何改进现有大模型评测体系的案例分析，展示你的专业见解
• 在简历中重点突出大模型评测或数据标注相关的项目经验，详细描述你如何设计评测方案、制定标准（Rubric）以及进行质量管控
• 强调你在金融、法律、医疗或数据分析等垂直领域的专业知识和实际业务经验，这是该岗位的重要加分项
• 展示你的项目管理能力和跨团队协作成果，例如如何推动一个评测项目按时高质量交付
• 如有相关论文、专利或技术博客，可以一并附上，以证明你的专业深度
• 系统学习大模型评测方法论，了解主流评测基准（如MMLU、GSM8K、AgentBench等）的设计思路和优缺点
• 熟悉数据标注质量管理工具和流程，掌握标注信度指标的计算和解读

面试指南

• 回答项目经验时，可采用STAR法则（情境、任务、行动、结果），清晰阐述你在项目中的具体职责和贡献
• 回答设计类问题时，可以遵循“明确目标-拆解维度-定义判据-验证迭代”的逻辑框架，展现你的结构化思维
• 回答分析类问题时，可以结合具体案例，从数据、模型、场景等多个角度进行归因，并提出可操作的解决方案
• 请介绍一个你设计或参与过的大模型评测项目，包括评测维度、指标和流程
• 如何设计一个针对办公文档撰写场景的评测Rubric？请举例说明
• 当模型在某个垂类领域（如法律）表现不佳时，你会如何分析原因并提出改进建议？
• 如何保证评测数据的一致性？请谈谈你对标注信度指标的理解
• 如何平衡评测的全面性和效率？在资源有限的情况下，你会如何取舍？