哔哩哔哩
测试开发专家（企业效率）
测试开发专家（企业效率）
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公测试开发
测试开发
Ai测试
CI/CD
E2E测试
Llm
Pytest
测试平台架构
值不值得投
80综合评分
综合评分 80
超大型企业AI测试专家岗，前沿技术栈、成长空间大，薪资具竞争力，但WLB未明确。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.8万
比测试开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 810 个在招 · 其中测试开发 2 个
市场机会
选择面较广
上海 · 测试开发 · 约 270 个在招
职位详情
关于这个职位
该职位负责从0到1设计和搭建AI测试平台及造数平台，支持AI用例生成、执行与结果分析
你需要制定数据模板与评测指标，并将测试能力接入CI/CD，要求具备5年以上测试开发经验及AI/LLM测试背景
最低要求
年以上测试开发经验，有复杂服务端或平台产品经验
具备测试平台和测试数据平台从 0 到 1 的架构设计与建设能力，能独立完成技术选型、开发、部署和维护
熟练掌握 Java、JavaScript/TypeScript、Python、Go、Shell 等至少一种语言
精通接口、系统和 E2E 测试，熟悉 Playwright、pytest 等工具
熟悉多表关联、权限数据、唯一约束、Mock 和真实数据库测试
有 AI、Agent 或 LLM 测试经验，能制定测试产物评测指标并分析结果
工作职责
负责服务端、接口、系统和 E2E 测试
从 0 到 1 设计并搭建 AI 测试平台，支持测试用例生成、Playwright 执行、结果分析和报告输出
从 0 到 1 建设 AI 测试造数平台，为 Skill、Agent 和工作流生成测试所需的业务数据、上下文数据及环境依赖
制定数据模板、场景参数和唯一标识规则，保证测试数据可复用、可隔离、可重复执行
制定 AI 测试产物的量化评测指标，评价用例和执行结果的准确性、完整性、可执行性、稳定性及成本
将测试平台、造数能力和质量检查接入 CI/CD
优先资格
有 AI Skill、Agent 或工作流测试经验
有 AI 测试造数平台、测试数据平台或 E2E 平台建设经验
有复杂权限、异步任务或多服务依赖测试经验
AI 洞察
优缺点分析
优点
- 处于AI与测试结合的交叉前沿领域，技术壁垒高，个人技术资产积累快
- 从0到1建设平台的经历将极大提升架构设计能力和全局技术视野
- AI测试及大模型评测属于新兴领域，缺乏成熟的行业标准和现成工具，需要极强的探索与创新能力
- 适合具备扎实测试开发功底，对AI/LLM技术有浓厚兴趣，且渴望在质量效能领域从0到1打造基础设施的高级技术人才
缺点 / 挑战
- 依托超大型互联网公司的复杂业务场景，能接触到高并发、多服务依赖的真实挑战
- 从0到1搭建平台需要兼顾底层架构设计与业务落地，前期工作强度和技术压力较大
角色解读
- 纵向可发展为测试开发架构师或质量保障团队技术负责人，主导公司级质量基础设施建设
- 横向可向AI工程化、效能工程方向转型，成为AI+测试领域的稀缺复合型专家
- 负责服务端、接口及E2E测试，保障复杂业务系统的质量
- 从0到1搭建AI测试平台与造数平台，利用AI技术实现用例生成、数据构造及结果分析
- 制定AI测试产物的量化评测指标，并将测试能力无缝接入CI/CD流水线
- 精通至少一门主流编程语言（如Java/Python/Go），并熟练使用Playwright、pytest等自动化测试工具
- 具备从0到1的平台架构设计与建设能力，能独立完成技术选型与开发部署
- 拥有AI、Agent或LLM测试经验，能够制定科学的评测指标并分析测试结果
申请策略
- 提前了解B站企业效率团队的业务背景，思考AI如何赋能内部研发效能，准备相关的落地思路
- 重点突出从0到1搭建测试平台或数据平台的完整经历，包括技术选型、架构设计和最终收益
- 详细列出在AI、Agent或LLM测试方面的实践经验，特别是如何制定评测指标和分析结果
- 展示在复杂服务端、多服务依赖或E2E测试中的解决方案，体现处理复杂业务逻辑的能力
- 深入学习大模型评测方法论（如RAG评测、Agent工作流评测），了解业界最新的AI测试工具与框架
- 强化CI/CD流水线集成经验，熟悉如何将自动化测试和AI造数能力高效嵌入研发流程
面试指南
- 采用STAR法则回答项目经历：明确业务背景与痛点（Situation），界定你的角色与目标（Task），详述技术选型与架构设计（Action），最后用量化数据展示平台收益（Result）
- 对于AI评测问题，可从‘准确性、完整性、稳定性、成本’等多维度构建指标体系，并结合具体案例说明如何收集bad case进行迭代优化
- 请详细描述你从0到1搭建测试平台或造数平台的架构设计过程，遇到了哪些技术难点？
- 针对AI/LLM的输出结果，你是如何制定量化评测指标的？如何保证评测的准确性和稳定性？
- 在复杂权限或多服务依赖的场景下，你是如何设计测试数据和Mock方案的？
- 如何将AI测试能力接入CI/CD？在流水线中如何平衡测试覆盖率与执行效率？
- 复习并梳理自己过往主导的测试平台架构设计，准备好架构图和核心技术难点的解决方案
- 了解当前主流的大模型评测基准及Agent测试框架，形成自己的见解
职位点评
薪资福利85
成长发展90
工作生活60
使命价值75
薪资福利
85较高
作为已上市超大型企业的技术专家岗，薪资水平具备市场竞争力，福利体系相对完善，能提供较好的物质回报。
薪资信号未披露（AI估算：3.5千–6万/月）
成长发展
90较高
岗位聚焦AI测试平台从0到1建设，涉及LLM、Agent等前沿技术，技术成长空间极大，能积累稀缺的AI工程化经验。
技术前沿前沿/新兴技术
技术栈AI、Agent、LLM、Playwright、pytest、CI/CD、Java、Python
业务类型ambiguous
工作生活
60中等
JD未明确提及工作模式与加班情况，但作为从0到1的平台建设岗，工作节奏和压力可能较大。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
通过AI技术提升企业研发效能，推动内部技术变革，具有较高的技术使命感和行业前瞻性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
哔哩哔哩 的其他在招职位
相似职位推荐
Watch Jobs