资深测试开发工程师(Agent测评工程师)

优缺点分析

角色解读

• 深耕AI质量保障领域，成为AI测评专家，负责更复杂的智能体评估体系设计
• 向测试开发架构师方向发展，建设大规模自动化评测平台
• 横向转岗至产品、算法或质量管理岗位，基于测评洞察影响产品方向
• 负责企业级AI Agent/智能助手的测试与评估，设计评测方案和指标，覆盖对话理解、任务规划、工具调用等能力
• 跟进Agent版本迭代，进行效果评估、基线对比、问题归因，输出测试报告和优化建议
• 参与自动化评测脚本和平台建设，提升测试效率和覆盖率
• 与产品、算法、研发协作，推动评测标准和质量闭环
• 扎实的测试功底：需求分析、测试设计、问题定位和报告输出
• 对大模型/Agent能力有了解，如意图理解、逻辑推理、指令遵循、幻觉等
• 掌握至少一门编程语言（Python/Java/Go/Shell），能写自动化脚本或开发评测平台
• 良好的沟通协作和逻辑分析能力，能独立推动问题解决

申请策略

• 了解滴滴企业级事业部的业务方向，特别是AI Agent的应用场景
• 在面试中体现出对质量保障体系的理解和对AI新领域的热情
• 突出测试相关项目经验，特别是涉及AI/算法的测试或评估项目
• 展示编程能力，如自动化测试框架开发、脚本编写、平台建设
• 如果有大模型使用或测评经验，务必强调
• 强调问题分析和归因能力，提供具体案例
• 学习大模型基础知识，了解Agent的原理和应用场景，尝试使用主流LLM API
• 熟悉常见的AI评测方法和指标，如BLEU、ROUGE、GPT评估等

面试指南

• 对于评测设计问题，可以从场景拆解、指标定义、数据准备、执行流程、结果分析几个维度展开，体现系统性思维
• 对于AI能力问题，结合具体技术原理和测试实践经验，展示理解深度和解决问题的能力
• 对于项目经验问题，采用STAR法则（情境-任务-行动-结果）结构化表达
• 如何设计一个Agent的评测方案？你会关注哪些指标？
• 你如何理解LLM的“幻觉”问题？在测试中如何发现和度量？
• 你做过最有挑战的测试项目是什么？如何解决？
• 谈谈你对自动化评测平台的理解，如何设计一个可扩展的评测框架？
• 当Agent的回复不正确但又不确定是Bug时，你会如何判断和推进？