阿里巴巴
阿里云智能-AI Agent 测试开发工程师-秒悟-杭州
阿里云智能-AI Agent 测试开发工程师-秒悟-杭州
发布于 1 天前普通员工/个人贡献者
全职员工仅现场办公测试开发
测试开发
Ai测试
Llm
Rag
性能测试
自动化测试
质量保障
值不值得投
76综合评分
综合评分 76
前沿AI测试岗位，技术成长空间极大，平台与挑战并存，WLB信息未知。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
40K
比测试开发中位数高
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 2250 个在招 · 其中测试开发 22 个
市场机会
选择面较广
杭州 · 测试开发 · 54 个在招
职位详情
关于这个职位
该职位隶属于阿里云智能部门，主要负责AI Agent平台的测试体系与智能化质量保障平台建设
你需要应对LLM应用的非确定性输出挑战，设计并实现用例自动生成、缺陷根因分析等智能测试Agent，并主导全站架构升级中的可测性建设，支撑千万级用户业务的稳定性
最低要求
● 深度理解 AI 技术栈，熟悉 LLM、Agent、Prompt Engineering、RAG、Tool Calling 等核心概念，对 AI 系统的质量风险有认知（幻觉、偏见、安全性等）
● 具备 AI 应用测试思维，理解流式响应、多轮对话、上下文管理等 AI 场景的测试方法，能设计针对非确定性输出的验证策略
● 扎实的测试基本功和工程能力，精通性能测试、自动化测试、安全测试或白盒测试之一，熟练掌握至少一门编程语言（Python/Java/Go）
● 丰富的中大型复杂系统测试经验，能从 0 到 1 构建测试框架和平台，有测试工具研发和方案整合能力
● 逻辑思维强，对新技术敏感，学习能力强，能独立解决 AI 应用中的质量保障难题，具备良好的沟通协作能力
工作职责
● 负责 AI Agent 平台的测试体系建设，设计和实现用例自动生成、缺陷根因分析、测试执行编排等 Agent，打造智能化质量保障平台
● 建立 LLM 应用的测试方法论和评估体系，应对非确定性输出的测试挑战，覆盖 Prompt、RAG、Function Calling、多轮对话等场景的专项测试
● 深入理解复杂业务系统，设计有效的测试策略和自动化框架，参与全站架构升级中的可测性建设和稳定性保障，支撑千万级用户的业务质量
● 探索 AI 驱动的测试新范式，沉淀 Agent 协作框架、智能测试工具、模型评估体系等技术方案，推动测试工程智能化转型
优先资格
● 开发过 LLM 应用、AI Agent、代码生成工具等 AI 原生产品的测试体系
● 有 Agent 框架使用或研发经验（LangChain/LangGraph/AutoGPT/CrewAI 等），了解 Agent 工作流和评估方法
● 熟悉模型评估框架（RAGAS/LangSmith/Phoenix），有 LLM 模型调优、Prompt 优化或 RAG 系统测试经验
● 了解向量数据库、Embedding 技术，有 AI 系统性能测试和稳定性保障实战经验
● 在顶会/期刊发表过测试或 AI 相关论文，有开源测试框架或 AI 项目贡献
AI 洞察
优缺点分析
优点
- 直接参与前沿AI技术（LLM、Agent）与测试工程结合的创新，技术含量高，成长空间大
- 职位聚焦于智能化转型，符合技术发展趋势，有利于积累稀缺的复合型技能（AI+测试）
- 技术难度大，需要同时应对AI技术的不确定性和大规模系统的复杂性，对个人学习能力和问题解决能力要求极高
- 适合对AI技术有浓厚兴趣，具备扎实测试工程基础，并热衷于用技术创新解决复杂质量问题的资深测试开发工程师
缺点 / 挑战
- 在阿里云这样的顶级技术平台，能接触到千万级用户量的复杂业务场景，挑战与机遇并存
- 作为质量保障角色，可能需要在业务快速迭代与系统稳定性之间寻找平衡，工作压力可能较大
- 需要不断跟进AI领域（尤其是测试与评估方面）的最新技术发展，持续学习压力存在
角色解读
- 技术专家路线：深耕AI测试技术，成为LLM应用质量保障领域的权威专家，主导前沿技术方案
- 架构师路线：专注于构建大规模、智能化的测试平台与基础设施，提升整体工程效能
- 技术管理路线：带领团队负责特定业务线或平台的测试体系建设与管理
- 设计并开发用于AI Agent平台的智能化测试系统与工具，如用例自动生成、缺陷根因分析Agent
- 建立针对大语言模型（LLM）应用的测试方法论与评估体系，专门应对AI输出非确定性带来的质量挑战
- 为千万级用户的复杂云业务系统设计和实施测试策略与自动化框架，保障系统稳定性和质量
- 探索并推动AI驱动的测试新范式，产出技术方案与框架，引领测试工程向智能化转型
- 深厚的AI技术栈知识，包括LLM、Agent、RAG、Prompt Engineering等，并理解其质量风险
- 针对AI场景（如流式响应、多轮对话）的测试思维与方法，能设计非确定性输出的验证策略
- 扎实的测试工程能力，精通至少一种专项测试（性能/自动化/安全/白盒），并熟练使用Python/Java/Go等编程语言
- 构建复杂系统测试框架的实践经验，具备从0到1的工具研发和方案整合能力
申请策略
- 在简历或面试中，清晰表达你对AI应用测试独特挑战的理解，并提出你的解决思路
- 可以准备一个你解决过的复杂技术测试难题的案例，重点阐述分析过程和解决方案
- 了解阿里云智能和AI Agent平台的业务方向，思考你的技能如何为其创造价值
- 突出与AI/LLM相关的测试项目经验，特别是涉及Agent、RAG、Prompt评估等非传统测试领域的实践
- 详细描述你从0到1构建测试框架或平台的经历，以及如何通过技术手段提升质量保障效率或覆盖面
- 展示你针对复杂业务系统（特别是高并发、分布式系统）设计测试策略和保障稳定性的成功案例
- 列出你掌握的编程语言、性能/安全测试工具，以及任何与AI相关的技术栈（如Python、LangChain等）
- 系统学习LLM、Agent、RAG等AI核心概念及其技术原理，理解常见的质量风险点（如幻觉、偏见）
面试指南
- （针对AI测试问题）从测试维度（功能、性能、安全、伦理）、测试方法（基于规则、统计评估、对抗测试）、工具实践三个层面展开，结合具体技术（如Prompt模板、相似度计算）阐述
- （针对项目经验问题）采用STAR原则：情境(Situation)、任务(Task)、行动(Action)、结果(Result)
- 重点描述你的技术选型、架构设计以及最终量化的成果
- （针对宏观问题）结合行业趋势和个人实践，阐述AI对测试效率和测试范式的提升，以及你持续学习新技术的具体行动
- 如何测试一个基于LLM的AI Agent，确保其输出的一致性、准确性和安全性？
- 请描述一个你从零开始构建自动化测试框架的项目经验，遇到了哪些挑战，如何解决的？
- 对于RAG（检索增强生成）系统，你会设计哪些专项测试来保障其质量？
- 当测试资源（如GPU算力）有限时，如何高效地进行AI模型或系统的性能评估？
职位点评
薪资福利75
成长发展90
工作生活55
使命价值80
薪资福利
75中等
作为上市科技企业的核心云智能技术岗，薪资福利应具有市场竞争力，但JD未明确提及具体薪酬福利细节。
薪资信号未披露（AI估算：30K-50K/月）
成长发展
90较高
该职位直接参与AI Agent与测试工程前沿技术的结合，技术栈先进，学习成长空间大，符合技术发展趋势。
技术前沿前沿/新兴技术
技术栈LLM、Agent、RAG、Prompt Engineering、Python、LangChain
成长机会智能化转型、探索新范式、沉淀技术方案
业务类型profit_center
工作生活
55较低
JD未提及任何办公模式或WLB相关信息。作为杭州的互联网技术岗，通常需要现场办公，且工作强度可能不低。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
参与构建支撑千万级用户业务的智能化质量保障平台，推动测试技术转型，具有较强的技术价值感和行业影响力。
行业发展高速增长赛道
社会影响中性/一般
使命信号支撑千万级用户的业务质量、推动测试工程智能化转型
创新程度开拓性创新（行业首创）
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs