大模型/Agent评测工程师-飞书妙搭

优缺点分析

角色解读

• 成为AI评测领域的专家，主导评测体系从0到1的搭建，技术影响力辐射全团队
• 向大模型算法或AI infra方向横向发展，积累模型研发与部署的深度经验
• 晋升为技术Leader，带领团队负责评测平台的建设与演进，推动AI质量保障体系化
• 设计并开发大模型与Agent的评测体系，包括通用评测和场景化评测，支撑模型迭代
• 构建分布式评测框架与平台，实现评测流程标准化、自动化和可视化
• 分析评测数据，定位模型在推理、规划、工具调用等方面的问题，输出改进建议
• 维护评测指标体系和Benchmark，保障评测结果的客观性和可复现性
• 深入理解大模型原理与能力边界，熟悉LLM/Agent常见评测方法
• 掌握主流评测体系（如GAIA、AgentBench），能基于结果进行结构化分析
• 扎实的工程能力，能主导或参与评测框架、平台的设计与实现
• 良好的业务理解和沟通能力，能将复杂业务抽象为评测用例

申请策略

• 在简历中明确标注评测相关的量化成果，如提升模型准确率X%或减少回归问题Y%
• 面试前准备一个完整的评测方案设计案例，展示从需求分析到结果分析的全流程思考
• 突出大模型或Agent相关项目经验，如参与过评测体系建设或模型效果评估
• 展示工程能力，例如开发过自动化测试框架、分布式系统或数据处理平台
• 强调对主流评测方法（如GAIA、AgentBench）的理解和应用案例
• 体现业务抽象能力，如将实际流程转化为评测用例的经历
• 深入研究GAIA、AgentBench等评测标准，并动手复现部分用例
• 学习分布式计算框架（如Spark、Ray）和可视化工具（如Grafana），提升平台建设能力

面试指南

• 结构化思维：先明确评测目标（能力维度/场景），再分层设计（指标、数据、流程），最后考虑效率和可扩展性
• 案例驱动：用具体项目经历佐证，强调从问题分析到方案落地的闭环，突出数据驱动的决策过程
• 批判性思考：指出当前方法的不足并提出改进思路，展示对技术前沿的关注
• 请描述一下你熟悉的大模型评测体系，如何设计一个Agent的评测方案？
• 如何平衡评测的全面性和执行效率？举例说明
• 在评测中发现模型出现一致性问题时，你会如何定位和输出改进建议？
• 如何将复杂的业务场景抽象为可复现的自动化评测用例？
• 你如何看待现有评测标准（如GAIA）的局限性？如何改进？