小团-评测负责人

优缺点分析

角色解读

• 成为AI质量保障领域的专家，定义行业评测标准
• 向AI产品总监或技术总监方向发展，主导更大范围的产品质量
• 在美团内部可横向拓展到其他业务线的质量决策角色
• 负责从0到1搭建AI产品的评测体系，定义评测标准和维度
• 建设自动化测评pipeline，设计端到端工具链提升效率
• 管理外包团队，制定考核标准，把控评测产出质量
• 驱动badcase归因到效果改进的闭环，确保评测驱动产品迭代
• 深入理解LLM/Agent/Skill概念并有落地经验
• 强大的产品审美和系统化思考能力，能设计复杂评测体系
• 掌握评测方法论和指标设计，能主动补充专业knowhow
• 项目管理与团队管理能力，特别是外包团队的管理经验

申请策略

• 准备一份关于如何设计AI评测体系的想法（PPT或文档），展示系统性思考
• 了解美团本地生活业务（外卖、到店等）的独特场景，思考其评测挑战
• 突出你搭建或重构评测体系的经历，尤其是从0到1的案例
• 详细描述LLM/Agent相关项目的落地经验，包括技术选型和效果
• 强调团队管理经验，特别是外包或跨职能团队的管理成果
• 展示产品审美和系统化思考的具体例证，如设计复杂指标或流程
• 系统学习LLM评估的常用方法和指标（如BLEU、ROUGE、人工评估等）
• 了解自动化测试工具链（如CI/CD、pipeline编排工具）以赋能评测

面试指南

• 使用STAR原则（情境、任务、行动、结果）描述过往案例，强调系统性思考和量化结果
• 对于开放式设计问题，先明确目标用户和使用场景，再拆解关键质量维度，最后提出评估方法和指标
• 对于管理类问题，展示流程制定、标准定义、持续监控和改进的闭环思维
• 如果让你为美团的AI客服系统设计评测体系，你会从哪些维度入手？
• 请分享一个你通过badcase归因推动产品改进的具体案例
• 你如何管理外包团队以确保评测产出的质量和效率？
• 谈谈你对Eval-Driven Development的理解，以及它如何落地？
• 你是如何看待LLM评估中人工评估与自动评估的平衡？