阿里巴巴
千问办公-AI 工作台测试工程师-杭州
千问办公-AI 工作台测试工程师-杭州
发布于 大约 2 小时前普通员工/个人贡献者
全职员工仅现场办公测试开发
测试开发
CI/CD
Go
Junit
Llm
Prompt Engineering
Pytest
Testng
值不值得投
78综合评分
综合评分 78
AI测试前沿岗位，技术成长快，薪资优厚，但工作强度可能较大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
40K
比测试开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2040 个在招 · 其中测试开发 19 个
市场机会
选择适中
杭州 · 测试开发 · 48 个在招
职位详情
关于这个职位
作为阿里巴巴千问办公AI工作台的测试工程师，你将负责AI工作台产品的端到端功能测试，并主导AI应用与Agent运行链路的效果测试体系建设
工作内容包括构建自动化测试框架、设计AI场景专项测试策略（如Prompt鲁棒性测试、幻觉检测等），并参与可观测性与质量度量体系建设
你将与研发、算法团队紧密协作，推动测试左移，确保产品质量
该岗位要求扎实的软件测试工程能力，熟悉Python/Java/Go，并具备AI/LLM应用测试方法论
最低要求
扎实的软件测试工程能力，熟练使用 Python / Java / Go 中至少一门语言编写自动化测试脚本，具备复杂分布式系统的测试设计与执行经验
熟悉 AI/LLM 应用测试方法论，理解 Prompt Engineering、Function Calling、Agent 执行链路、Context Window 等核心概念，具备 AI 输出质量评估的实战经验
具备端到端测试框架设计能力，熟悉 Pytest / JUnit / TestNG 等主流框架，有接口自动化、契约测试或混沌测试落地经验
熟悉 CI/CD 流程与质量门禁集成，能独立搭建自动化回归体系并嵌入持续交付流水线
良好的数据分析能力，能基于测试结果进行效果评测数据统计、趋势分析与归因定位
持续关注 AI 测试与评测领域前沿，能独立消化英文一手资料并转化为测试实践
习惯使用 AI 工具辅助测试用例生成与缺陷分析
工作职责
负责 AI 工作台产品的端到端功能测试，覆盖多租户管控、权限模型、配额计费、模型准入、Agent 编排与工具调用等核心业务链路，确保功能正确性与业务一致性
主导 AI 应用与 Agent 运行链路的效果测试体系建设，围绕模型输出质量、意图识别准确率、工具调用成功率、端到端任务完成率等维度，设计可量化的评测方案与基准集
构建自动化测试框架，覆盖接口测试、集成测试、回归测试与性能基线验证，支撑持续集成流水线中的质量门禁
设计 AI 场景专项测试策略，包括 Prompt 鲁棒性测试、对抗样本注入、幻觉检测、内容安全护栏验证、多轮对话一致性校验等
参与可观测性与质量度量体系建设，定义测试覆盖率、缺陷逃逸率、效果评测回归趋势等核心质量指标，驱动产品质量持续改进
与研发、算法团队紧密协作，参与需求评审与技术方案评审，前置识别质量风险并推动测试左移
优先资格
有 LLM 评测 / AI 效果测试平台建设经验，熟悉 RAGAS、DeepEval、Promptfoo 等评测框架或自建评测体系
有 Agent 端到端测试经验，包括多步骤任务链路验证、工具调用结果校验、异常恢复路径测试
有性能测试与稳定性保障经验，能设计高并发场景下的 AI 推理服务压测方案
有安全测试或红队测试经验，如 Prompt 注入攻防、越权检测、数据泄露验证等
AI 洞察
优缺点分析
优点
- 阿里巴巴作为行业巨头，平台大，资源多，能接触到前沿的AI技术和业务场景
- 岗位专注于AI测试领域，技术含量高，能积累LLM评测、Agent测试等稀缺经验，职业竞争力强
- 薪资水平有竞争力，福利待遇完善
- 与研发、算法团队紧密协作，能深入了解AI产品从设计到上线的完整流程
- AI测试领域发展迅速，需要持续学习，保持对前沿技术的敏感度
- 对综合能力要求高，不仅要懂测试，还要懂AI、算法和数据分析
- 适合对AI技术有浓厚兴趣，具备扎实测试功底，并希望在AI测试领域深耕的工程师
缺点 / 挑战
- 工作强度可能较高，需要适应快速迭代的节奏
角色解读
- 在AI测试领域深耕，成为AI质量保障专家，负责更复杂的AI应用和Agent系统的评测体系建设
- 向测试开发或测试架构师方向发展，负责整个测试平台和工具链的规划与建设
- 有机会转向AI产品经理或AI算法工程师等方向，利用对AI应用和测试的深入理解，参与产品定义和算法优化
- 负责AI工作台产品的端到端功能测试，确保多租户管控、权限模型、Agent编排等核心业务链路的正确性
- 主导AI应用与Agent运行链路的效果测试体系建设，设计可量化的评测方案与基准集，评估模型输出质量、意图识别准确率等
- 构建自动化测试框架，覆盖接口、集成、回归和性能测试，并集成到CI/CD流水线中作为质量门禁
- 设计AI场景专项测试策略，包括Prompt鲁棒性测试、对抗样本注入、幻觉检测、内容安全护栏验证等
- 扎实的软件测试工程能力，熟练使用Python/Java/Go编写自动化测试脚本，具备复杂分布式系统的测试经验
- 熟悉AI/LLM应用测试方法论，理解Prompt Engineering、Function Calling、Agent执行链路等核心概念
- 具备端到端测试框架设计能力，熟悉Pytest/JUnit/TestNG等主流框架，有接口自动化、契约测试或混沌测试经验
- 熟悉CI/CD流程与质量门禁，能独立搭建自动化回归体系并嵌入持续交付流水线
申请策略
- 在申请前，了解阿里巴巴AI工作台（如通义千问）的产品形态和技术架构，在面试中展现对业务的理解
- 准备1-2个AI测试相关的项目案例，详细说明测试策略、执行过程和结果，体现解决问题的能力
- 重点突出AI/LLM应用测试经验，包括Prompt Engineering、Agent测试、效果评测等具体项目
- 强调自动化测试框架的设计与落地经验，特别是接口、集成、回归测试的自动化实现
- 展示数据分析能力，如基于测试结果进行效果评测数据统计、趋势分析与归因定位的案例
- 提及对AI测试工具（如RAGAS、DeepEval、Promptfoo）或自建评测体系的熟悉程度
- 系统学习LLM评测方法论，了解RAGAS、DeepEval等主流评测框架
- 深入研究Agent执行链路和Function Calling的测试方法，积累端到端测试经验
面试指南
- 回答项目经验时，采用STAR法则（情境、任务、行动、结果），突出你在测试方案设计、执行和结果分析中的具体贡献
- 回答技术问题时，先阐述核心概念，再结合自己的实践经验，最后总结方法论和注意事项
- 回答策略性问题时，展现你的系统性思维，从测试目标、测试范围、测试方法、风险控制等维度进行阐述
- 请描述一个你主导的AI/LLM应用测试项目，你是如何设计评测方案和基准集的？
- 如何测试一个Agent的端到端任务链路？你会关注哪些关键指标？
- 请谈谈你对Prompt注入攻击的理解，以及如何设计测试用例来检测此类安全漏洞？
- 在构建自动化测试框架时，你是如何考虑与CI/CD流水线集成的？
- 面对模型输出质量不稳定的问题，你会如何设计测试策略来保证产品质量？
职位点评
薪资福利80
成长发展95
工作生活50
使命价值80
薪资福利
80较高
阿里巴巴作为行业巨头，薪资水平具有竞争力，福利体系完善，但具体薪资未在JD中披露。
薪资信号未披露（AI估算：30K-50K/月）
成长发展
95较高
该岗位专注于AI测试前沿领域，涉及LLM、Agent等新兴技术，能提供极佳的技术成长机会。
技术前沿前沿/新兴技术
技术栈Python、Java、Go、Pytest、JUnit、TestNG、CI/CD、LLM、Prompt Engineering、Function Calling、Agent、RAGAS、DeepEval、Promptfoo
业务类型profit_center
工作生活
50较低
JD未提及工作模式，但根据岗位性质，可能需要现场办公。工作地点在杭州，通勤情况未知。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
80较高
AI技术是当前高速增长的赛道，该岗位能推动AI应用的质量保障，具有较高的行业价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs