大模型/Agent评测工程师-飞书Aily

优缺点分析

角色解读

• 向大模型评测专家或AI质量保障负责人发展，成为算法-评测交叉领域权威
• 横向扩展至模型训练、推理优化等方向，转向算法研发岗
• 在字节跳动内部跨团队流动，进入飞书其他AI产品或字节系AI平台
• 设计和研发大模型与Agent的评测体系、方法和工具，确保模型迭代方向正确
• 将真实业务场景抽象为可复现的评测用例，构建场景化评测体系
• 开发和维护分布式评测平台，支持大规模高效评测执行，并对结果进行可视化分析
• 基于评测结果诊断模型在推理、规划、工具调用等环节的问题，输出改进建议
• 深入理解主流大模型的原理、能力边界和应用场景，熟悉LLM/Agent评测方法
• 掌握主流评测体系如GAIA、AgentBench，能基于结果进行结构化分析
• 具备扎实的工程能力，能设计实现评测框架、工具或平台
• 优秀的业务理解和沟通协作能力，推动评测体系落地

申请策略

• 投递时附上你对大模型评测体系的个人理解短文，展示专业热情
• 关注字节飞书Aily团队的技术博客和开源项目，面试时展现对业务方向的了解
• 突出你对大模型原理和评测方法的深度理解，附上相关项目或研究经历
• 展示你设计或参与过的评测框架、平台或工具，量化效果和规模
• 强调你在分布式系统、大数据处理、可视化等方面的工程能力
• 如果有开源贡献、技术博客或竞赛经历，加分项务必列出
• 动手实践主流LLM评测框架如lm-evaluation-harness、AgentBench等
• 系统学习大模型基本原理（Transformer、RLHF、Prompt Engineering等）

面试指南

• 先定义问题边界和评测目标，再拆解维度（能力、稳定性、安全性等），最后给出具体指标和方法
• 使用STAR法则：情境（Situation）、任务（Task）、行动（Action）、结果（Result）来阐述项目经验
• 对于开放性问题，先给出总体框架，再举例说明，展示系统性思维
• 请设计一个大模型推理能力的评测方案
• 如何保证评测结果的可复现性和客观性？
• 你对GAIA和AgentBench评测体系的理解是什么？它们的优缺点是什么？
• 描述一个你遇到过的评测难点，以及你是如何解决的
• 在大模型评测中，如何平衡覆盖率和效率？