Agent稳定性测试工程师

优缺点分析

角色解读

• 在AI Agent领域深耕，成为评测与质量保障方向的专家，影响Agent框架的演进方向
• 可向AI研发、AI架构师方向发展，利用评测经验深入理解Agent系统，转向核心开发或架构设计
• 在美团内部，可横向扩展到其他AI产品或技术平台的质量保障与评测工作，拓宽技术视野
• 构建Agent稳定性测试与评测体系，设计自动化测试框架和评测工具，确保Agent在复杂场景下的稳定性和性能
• 针对多智能体集群进行运行时评测，设计场景化用例集，识别多轮长链路下的能力衰减和稳定性风险
• 主导长程任务效果评估，围绕Prompt工程、Tool Calling等建立指标体系，驱动Agent的持续优化
• 参与安全与合规评测，构建红队用例与对抗性评测方案，保障系统安全性与稳定性
• 精通TypeScript/Node.js或Python，具备扎实的工程实现能力，能独立完成评测平台的架构与实现
• 深入理解LLM应用开发，掌握Prompt设计、Tool Use、RAG等核心技术，并了解其常见失效模式
• 熟悉大模型评测方法论，包括自动化评测、LLM-as-a-Judge、A/B实验等，能设计可复现的评测流程
• 具备平台或框架级系统设计能力，能推动数据驱动的质量改进落地

申请策略

• 在简历中明确展示对AI Agent技术的热情和深入理解，体现自驱力
• 了解美团基础研发平台的技术栈和业务方向，在面试中展示你如何将评测经验应用到Agent场景
• 突出AI相关项目经验，特别是LLM应用开发、Prompt工程、RAG等方向的实践
• 强调自动化测试框架设计经验，展示平台级系统设计能力
• 展示对AI Coding工具的使用熟练度，如Cursor、Copilot等，体现人机协作能力
• 如有大模型评测相关经验，务必详细描述评测方法论和流程设计
• 系统学习大模型评测方法论，了解LLM-as-Judge、A/B测试等前沿实践
• 深入掌握TypeScript或Python，提升工程实现能力，可尝试构建小型评测工具

面试指南

• 回答评测设计问题时，可采用"目标-指标-方法-流程"框架，先明确评测目标，再定义量化指标，然后选择合适的方法（如LLM-as-judge），最后设计可复现的流程
• 回答技术问题时，结合项目经验，采用STAR法则（情境-任务-行动-结果），突出个人贡献和成果
• 回答AI工具使用问题时，强调人机协作效率的提升，并展示对工具原理的理解
• 如何设计一个针对LLM Agent的自动化评测框架？请描述关键模块和流程
• 如何评估Prompt工程的效果？你会采用哪些指标和方法？
• 如何设计一个可复现、低噪声的评测流程？请举例说明
• 在构建Agent评测体系时，如何处理多轮长链路下的能力衰减问题？
• 你如何使用AI Coding工具提升开发效率？请分享一个具体案例