阿里国际站-AI Agent测试开发工程师-Accio Work

优缺点分析

角色解读

• 在 AI 测试领域深耕，成为 Agent 质量保障专家，主导测试框架与评测体系建设
• 向测试架构师或质量效能方向专家发展，负责更大范围的测试基础设施与平台建设
• 有机会转向 AI 产品研发或算法评测方向，依托对 Agent 技术的深入理解，拓展职业边界
• 负责 AI Agent 产品核心功能的质量保障，包括会话交互、任务执行、工具调用等模块的测试设计与执行
• 从零搭建 Agent 自动化测试框架，构建 UI、API、E2E 三层自动化能力，并集成到 CI/CD 流程中
• 建设 AI 能力评测体系，通过 Golden Dataset、LLM-as-a-Judge 等手段检测模型幻觉、提示词漂移等问题
• 测试 Agent 在并发、断流、权限越界、沙箱隔离等边界场景下的表现，并验证提示注入、越狱等安全风险
• 精通自动化测试框架设计与落地，熟悉 Playwright、Selenium、PyTest 等工具
• 掌握至少一门编程语言（Python/TypeScript/Java/Go），具备扎实的软件工程基础
• 理解 Agent 应用范式，熟悉 ReAct、Prompt、ToolCall、Memory 等模块，了解 WebSocket、异步事件流等设计
• 具备 Vibe Coding 能力，能高效使用 Claude Code、Cursor 等 AI 工具辅助测试开发

申请策略

• 了解 Accio Work 产品形态和阿里国际站业务场景，在面试中展现对产品的理解
• 准备一个完整的测试框架设计案例，展示从需求分析到落地实施的全过程
• 突出自动化测试框架设计与落地经验，展示从 0 到 1 搭建测试体系的项目案例
• 强调对 Agent 相关技术（如 ReAct、Prompt、Tool Calling）的理解，以及 AI/LLM 系统测试经验
• 展示编程能力，特别是 Python 或 TypeScript 的熟练程度，以及 CI/CD 集成经验
• 如有使用 AI 工具（如 Claude Code、Cursor）进行开发或测试的经验，务必重点提及
• 深入学习 Agent 应用范式，了解 ReAct、Tool Calling、Memory 等模块的实现原理
• 熟悉 LLM 评测方法，如 Golden Dataset 构建、LLM-as-a-Judge 等，并尝试实践

面试指南

• 回答项目经验时，采用 STAR 法则，重点突出你在项目中的角色、技术决策和量化成果
• 回答 AI 评测相关问题时，结合具体案例，展示你对 LLM 评测方法的理解，并强调测试设计思路
• 回答边界场景测试问题时，从系统设计角度出发，分析可能的风险点，并给出测试策略
• 请介绍一个你从 0 到 1 搭建自动化测试框架的项目，包括设计思路、技术选型和遇到的挑战
• 如何评估一个 LLM 系统的质量？你会设计哪些评测指标和测试用例？
• 如何测试 Agent 在并发、断流、权限越界等边界场景下的表现？
• 如何检测提示词漂移和幻觉问题？你会如何构建 Golden Dataset？
• 你如何使用 AI 工具（如 Claude Code、Cursor）提升测试开发效率？