网易
云商-AI测试专家
云商-AI测试专家
发布于 大约 15 小时前普通员工/个人贡献者
杭州市
高级经验
全职员工
仅现场办公
本科
质量管理
SaaS
自动化测试
GO
CI/CD
质量保障
大模型
Ai评测
AI 估算 · 25k–45k
AI测试专家属于高技能岗位，结合杭州互联网行业和网易上市大厂薪资水平，月薪估计在25k-45k之间，年终奖丰厚。
职位详情
关于这个职位
该职位负责网易云商AI能力及SaaS产品线的质量保障，覆盖智能客服、营销服务、Agent等核心场景
需要建设AI与传统SaaS结合的质量体系，包括自动化测试、AI评测、质量左移等，推动测试向数据驱动和Agent化演进
适合有5年以上测试经验、熟悉AI测试和自动化体系的资深工程师
最低要求
本科及以上学历，计算机、软件工程、人工智能、数据科学等相关专业优先
具备5年及以上软件测试、测试开发或质量工程经验，有SaaS、B端系统、企业服务、CRM、客服系统、营销系统、协同办公等产品测试经验优先
熟悉SaaS产品常见业务模型和质量风险，包括多租户、权限体系、组织架构、配置中心、流程引擎、数据隔离、报表统计、开放接口等
具备扎实的测试分析和测试设计能力，能够从复杂业务规则中抽象测试场景，覆盖正常流程、异常流程、边界条件、兼容性和回归风险
熟悉接口测试、Web/H5测试、数据库校验、日志分析、性能测试、稳定性测试、发布验证等常规QA工作，并能独立完成测试方案设计和执行
熟悉自动化测试体系建设，掌握Python、Java、Go、JavaScript等至少一种编程语言，有接口自动化、UI自动化、测试平台或CI/CD集成经验
熟悉数据库、缓存、消息队列、微服务、网关、任务调度、权限认证等常见后端技术，能够协助研发定位系统级问题
具备AI应用测试或评测经验，能够针对非确定性输出设计评测标准、测试集、人工评审流程和自动化回归机制，覆盖准确性、稳定性、一致性、安全性、幻觉率、知识命中率、工具调用成功率等质量维度
具备利用AI改造质量保障流程的意识和实践能力，能够将大模型/Agent用于需求理解、测试点分析、用例生成、测试数据构造、自动化脚本生成、缺陷分析、日志解读、风险识别和测试报告生成，推动质量保障向数据驱动、Agent化、平台化演进
工作职责
负责网易云商AI能力及SaaS产品线的整体质量保障工作，覆盖智能客服、营销服务、Agent、知识库、工单、报表等核心业务场景
建设AI应用与传统SaaS系统相结合的质量保障体系，同时保障模型回答质量、RAG效果、Agent执行链路、业务流程、权限、数据一致性、稳定性和用户体验
深度参与需求评审、技术方案评审和测试方案设计，识别业务规则、系统边界、异常流程、兼容性、安全性、性能和可维护性风险
建设和维护自动化测试体系，包括接口自动化、Web UI自动化、数据校验、回归测试集和CI/CD流水线集成，提升测试效率和交付稳定性
设计并落地AI应用评测体系，包括评测集构建、自动化评测、人工标注、Prompt版本对比、知识库命中率、幻觉率、工具调用成功率等评估机制
推动基于AI的质量保障变革，将大模型/Agent应用于需求分析、测试设计、用例生成、自动化生成、缺陷诊断、日志分析、风险评估、线上巡检和质量度量等QA场景
深入分析线上问题和客户反馈，结合日志、监控、埋点、链路追踪、评测结果和业务数据，推动问题定位、根因分析、修复验证和预防机制建设
推动质量左移和质量内建，沉淀测试规范、准入准出标准、缺陷度量、风险分级、线上质量指标、复盘机制和跨团队质量闭环
AI 洞察
优缺点分析
优点
- 站在AI应用前沿，积累大模型测试和评测实战经验，赛道热门
- 网易大厂平台，技术氛围浓厚，有完善的晋升和培训体系
- 工作内容多样，涵盖传统QA和AI质量，成长空间大
- 杭州市工作，生活环境优越，公司竞争力强
- AI测试领域尚未成熟，需要自身探索评测标准和工具，学习成本高
- 线上问题分析需要快速定位，对逻辑和沟通能力要求高
- 适合有5年以上测试经验、对AI技术充满热情、愿意深入探索非确定性测试的资深工程师
缺点 / 挑战
- 需同时覆盖传统SaaS和AI系统，技术栈广，压力较大
角色解读
- 技术深化：成为AI质量保障专家，主导AI评测体系设计
- 管理方向：晋升为测试团队负责人或质量总监，带团队
- 跨领域拓展：转向AI产品经理、AI解决方案架构或研发效能工程师
- 负责网易云商AI SaaS产品的质量保障，设计测试方案并执行功能、性能、稳定性测试
- 建设自动化测试体系，包括接口、UI自动化及CI/CD集成，提升测试效率
- 设计并落地AI评测体系，评估模型回答质量、RAG效果、Agent执行成功率等非确定性指标
- 推动AI赋能QA流程，利用大模型生成测试用例、分析缺陷和风险
- 精通软件测试方法论和自动化测试框架，掌握Python/Java/Go之一
- 熟悉AI应用测试和评测，具备大模型、RAG、Agent质量评估经验
- 了解SaaS产品架构（多租户、微服务、权限等），能识别业务风险
- 具备CI/CD集成和测试工具开发能力，推动质量左移
申请策略
- 了解网易云商产品线（智能客服、营销服务），思考其质量挑战
- 在面试中展示对AI质量保障的独特见解，如如何评估幻觉和工具调用成功率
- 突出AI测试或评测项目经验，如大模型评估、RAG效果验证等
- 展示自动化测试体系建设成果，包括框架搭建、CI/CD集成和效率提升数据
- 强调对SaaS产品质量风险的深刻理解，例如多租户、权限等场景
- 如有AI驱动QA的实践（如用LLM生成用例），务必详细描述
- 补充大模型基础知识，了解RAG、Agent、Prompt工程
- 学习AI评测工具和方法，如DeepEval、RAGAS等评估框架
面试指南
- 对于AI评测问题：先明确评测维度（准确性、一致性、安全性等），再讲测试集构建（人工+自动），最后自动化回归机制
- 对SaaS质量：从多租户、权限、配置隔离等模型切入，结合业务场景和异常流程设计用例
- AI赋能QA：突出实际案例，如用LLM生成测试点或分析日志，强调效果和局限性
- 你如何设计AI客服的对话质量评测方案？包括评测指标、测试集构建和自动化流程
- 描述一次你主导的自动化测试体系建设项目，包括技术选型、落地效果和遇到的挑战
- 如何处理AI输出的非确定性？请举例说明你如何设计回归测试来覆盖此类场景
- 在多租户SaaS系统中，如何保证数据隔离和权限测试的全面性？
- 你如何利用AI工具（如大模型）来提升QA效率？请分享具体案例
职位点评
69
综合评分
网易云商AI测试专家，前沿技术栈、高成长性，但现场办公且WLB不确定。
更适合这类人
最适合追求技术成长和前沿方向的求职者，对WLB要求不高的候选人。
表现最好
成长发展
相对薄弱
工作生活
薪资福利70
成长发展90
工作生活55
使命价值60
薪资福利
70中等
薪资未明确但在杭州网易属于中高水平，大厂福利好，但JD未提及具体薪酬和福利细节。
薪资信号未披露（AI估算：25K-45K/月）
成长发展
90较高
AI测试专家属于前沿技术岗位，可深入大模型、Agent等方向，公司提倡AI赋能，成长空间大。JD明确提到推动质量保措施向Agent化演进，技术前沿性高。
技术前沿前沿/新兴技术
技术栈大模型、Agent、RAG、AI测试、自动化测试、CI/CD
业务类型ambiguous
工作生活
55较低
JD未提及工作模式和WLB，互联网大厂通常有弹性但压力较大，现场办公，杭州科技园环境一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
60中等
云商帮助企业提升客服和营销效率，有一定社会价值，但整体偏向商业驱动，使命信号不强。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs