智能体测试工程师

优缺点分析

角色解读

• 在AI测试领域深耕，成为智能体测试专家，负责更复杂的测试架构设计
• 向测试开发或质量保障管理方向发展，带领测试团队
• 横向拓展到AI产品研发或算法测试，结合业务理解提升综合能力
• 负责智能体平台和Agent应用的全方位测试，包括功能、性能、稳定性和兼容性，确保产品质量
• 搭建自动化测试框架，覆盖工具调用、多轮对话、长任务等复杂场景，提升测试效率
• 设计针对非确定性LLM系统的测试策略，如快照测试、容错阈值和LLM-as-Judge断言，解决AI测试难题
• 建设CI/CD质量门禁和回归测试集，推动自动化验证，并负责线上质量监控和缺陷分析
• 精通Python编程，能够编写测试脚本和开发测试工具
• 熟悉自动化测试框架（如Selenium、Pytest）和CI/CD流程（如Jenkins、GitLab CI）
• 了解LLM和AI系统测试方法，包括LLM-as-Judge、回归测试等
• 具备性能测试和接口测试经验，熟悉相关工具如JMeter、Postman

申请策略

• 了解宁德时代在AI领域的布局，展示对智能体技术的兴趣
• 在面试中强调解决复杂测试问题的能力，体现创新思维
• 突出自动化测试框架搭建经验，展示具体项目成果
• 强调Python编程能力，提供代码示例或GitHub链接
• 如果有AI或LLM测试经验，务必详细描述，如LLM-as-Judge实践
• 展示CI/CD集成经验，说明如何提升测试效率
• 学习LLM相关知识，了解提示工程和模型评估方法
• 熟悉主流自动化测试工具和框架，如Pytest、Selenium

面试指南

• 对于测试策略问题，可以按照需求分析、测试设计、工具选择、执行和评估的步骤回答，强调对非确定性的处理
• 对于项目经历问题，采用STAR法则，突出挑战、行动和结果
• 对于技术问题，结合具体工具和案例，展示实践能力
• 如何设计一个针对LLM应用的测试策略？
• 请描述一次你搭建自动化测试框架的经历
• 如何处理非确定性系统的测试断言？
• 你如何确保CI/CD中的测试稳定性？
• 谈谈你对LLM-as-Judge的理解和实践