资深研发工程师Agent-BOSS

优缺点分析

角色解读

• 纵向晋升为技术专家或架构师，在AI评测领域深耕，成为该方向的技术带头人
• 横向拓展至AI基础设施、大模型应用研发等方向，参与更核心的Agent能力建设
• 随着大模型评测重要性提升，有机会成长为质量保障体系的负责人或AI平台负责人
• 负责Agent评测平台的整体架构设计与研发，构建自动化评测能力，覆盖对话质量、任务完成度、工具调用准确性等维度
• 设计评测指标体系与评测集，持续迭代高质量测试数据，确保评测结果的科学性与可复现性
• 探索并应用LLM-as-Judge、多轮对话仿真、用户模拟器等评测技术，提升评测效率，减少人工标注
• 建设自动化回归测试与线上质量监控，快速发现Agent效果劣化、幻觉、越权调用等问题，并推动闭环解决
• 扎实的后端开发能力，精通Python或Java，能独立完成核心模块设计开发
• 熟悉大模型、Agent、RAG等AI技术，具备AI Coding实际经验
• 了解LLM-as-Judge、对话仿真、用户模拟器等评测方法，有评测系统开发经验更佳
• 具备较强的自驱力与跨团队协作能力，适应快节奏业务迭代

申请策略

• 了解滴滴金融科技业务背景，尤其是Agent在金融场景的应用，面试时展现业务理解
• 准备一个完整的项目案例，讲述如何设计评测体系并解决实际问题
• 突出后端平台开发经验，尤其是核心模块架构设计案例
• 强调大模型、Agent、RAG相关项目实践，如基于LLM的应用开发或AI Coding经历
• 如有评测相关经验，如LLM-as-Judge、自动化测试平台建设，务必重点呈现
• 展示跨团队协作和推动项目落地的成果，用数据量化效果
• 补充学习LLM-as-Judge、对话仿真等评测方法，可阅读相关论文或开源项目
• 熟悉主流Agent框架（如LangChain、AutoGen）和RAG技术原理，并动手实践

面试指南

• 采用“评价维度-指标体系-评测集-评测方式”的结构化框架，先拆解质量维度，再定义可量化指标，然后构建测试集，最后选择合适的评测方式（如模型评分、规则校验）
• 强调数据驱动和闭环思维，例如通过小样本校准、人机对比校验LLM-as-Judge，并用线上监控反馈持续迭代
• 结合具体项目经验，用STAR法则描述场景、任务、行动、结果，突出量化成果
• 如何设计一个覆盖多维度的Agent评测平台？谈谈你的架构思路
• 你如何评估LLM-as-Judge的准确性和可靠性？如果遇到不一致怎么办？
• 在大模型应用中，如何检测和处理幻觉问题？你有相关经验吗？
• 如何设计自动化回归测试来应对Agent效果的持续迭代？
• 当评测结果与业务预期不符时，你会如何推动优化落地？