大模型/Agent评测工程师-飞书Aily

优缺点分析

角色解读

• 在评测领域深耕成为评测架构师或AI质量专家
• 横向扩展至模型训练、推理优化或Agent全栈开发
• 向技术管理方向发展，带领评测团队或负责AI产品线质量
• 设计并研发通用Agent和Code Agent的评测体系与评测方法，支撑模型与智能体迭代
• 构建面向不同业务域的场景化评测用例，将真实业务流程抽象为可复现、可扩展的测试
• 开发大规模分布式评测框架与平台，实现评测流程标准化、结果可视化
• 分析评测数据，定位模型在推理、规划、工具调用等环节的问题并提出改进建议
• 深入理解主流大模型原理、能力边界及应用场景，熟悉LLM/Agent常见评测方法
• 掌握AgentBench、GAIA等主流评测体系，能进行结构化分析
• 具备扎实的工程基础，能主导评测框架、工具或平台的设计与实现
• 良好的业务理解、沟通协作和逻辑思维能力，能推动评测体系落地

申请策略

• 提前研究飞书Aily的产品定位和AI功能，面试中展现业务理解
• 准备一个完整的评测方案设计案例，展示系统思维
• 突出大模型相关项目经验，尤其是评测体系、基准测试或Agent开发经历
• 强调工程能力：开发过评测框架、分布式系统或工具平台
• 展示对主流评测体系（如AgentBench、GAIA）的理解和实际运用
• 量化成果，如评测效率提升、问题发现率等指标
• 深入掌握一两个主流评测框架（如LangChain、HuggingFace eval）
• 补充分布式系统知识（如Spark、Ray）以支撑大规模评测

面试指南

• 采用STAR原则：情境（Situation）、任务（Task）、行动（Action）、结果（Result），结构化回答问题
• 对评测设计问题，从评测目标、维度、指标、数据、工具、流程六个方面系统阐述
• 对问题定位问题，先复现现象，再拆解可能原因（模型、数据、框架），最后逐层验证
• 如何设计一个通用Agent评测体系？请举例说明
• 你如何看待GAIA或AgentBench的优缺点？如何改进？
• 当评测结果与预期不符时，你如何分析和定位问题？
• 请描述你之前参与开发的一个评测工具/平台的架构设计
• 大模型在代码生成场景中常见的错误类型有哪些？如何设计针对性评测？