Watch Jobs
Tubi logo
比图
Senior QA Analyst
立即应聘

Senior QA Analyst

发布于 6 个月前

普通员工/个人贡献者

Toronto, Canada (Hybrid)
高级经验
全职员工
混合式弹性办公
本科
质量管理
CI/CD
流媒体协议
自动化测试
AI/ML测试
DASH
HLS
OTT平台

薪资面议

暂无薪资依据说明。

职位详情

关于这个职位

这是一个高级质量保证分析师职位，主要负责为领先的流媒体平台Tubi的流媒体播放和AI驱动功能提供端到端的质量保障

你将设计并领导测试策略，确保跨Web、移动和联网电视平台的功能一致性、播放稳定性以及AI/ML功能的准确性
这是一个需要深厚技术背景和协作能力的角色，你将与工程、产品和数据科学团队紧密合作

最低要求

计算机科学、软件工程或相关领域的学士学位，或同等的实践经验

年以上质量保证经验，最好是在流媒体或VOD/OTT平台领域
具备视频流协议（HLS、DASH、MPEG-TS）、DRM系统和CDN架构的深厚技术知识
拥有在生产环境中验证AI/ML系统的经验——例如，测试模型输出准确性、用户个性化逻辑和算法稳定性
具备测试自动化工具（Selenium、Appium、Playwright、Puppeteer）和基于AI的视觉测试的实践经验
精通调试工具和网络分析工具（Charles Proxy、Chrome DevTools）
具备跨Web、移动和联网电视平台管理回归测试套件和发布验证周期的经验
熟悉Python、Typescript或JavaScript，用于脚本编写和测试自动化
了解数据验证、日志管道和A/B测试框架
具备强大的分析和文档编写能力，并积极主动地进行跨团队协作

工作职责

为流媒体工作流程、播放系统和AI驱动功能设计并领导测试策略

跨平台（Web、移动和联网电视）进行测试，以确保功能一致性和播放稳定性
在各种真实世界条件下验证流媒体性能——包括ABR逻辑、编码管道和DRM集成
使用Charles Proxy、Chrome DevTools、ADB和Xcode等工具进行精确调试
与数据和机器学习团队合作，验证AI模型更新、推荐和个性化准确性
利用AI辅助的质量保证工具来增强回归测试覆盖率、UI验证和异常检测
为自动化和CI/CD框架做出贡献，推动更快、更可靠的发布
监督多个并发版本的QA交付成果，并确保生产发布的顺利签核
监控发布后生产环境中的播放或推荐异常，并及时上报问题
持续改进流媒体和AI验证的质量保证流程、指标和报告

优先资格

有测试机器学习驱动的流媒体功能（如推荐系统、广告定向或自动元数据标记）的经验

接触过模型评估技术（精确率/召回率、偏见测试、数据漂移分析）
熟悉持续测试和CI/CD环境（Jenkins、GitHub Actions、CircleCI）
了解用于部署后验证的可观测性工具（Grafana、Kibana、Datadog）
具备在大型分布式系统中排查问题并与工程团队协作解决根本原因的出色能力

AI 洞察

优缺点分析

优点

  • 作为Fox Corporation旗下公司，平台资源丰富，项目规模大，能参与影响数百万用户的产品质量保障
  • 职位要求与工程、产品、数据科学团队深度协作，有助于建立广泛的技术视野和跨职能协作能力
  • 需要同时精通流媒体技术和AI/ML测试，技术门槛高，学习曲线陡峭
  • 负责跨多个平台和复杂工作流的测试，并需监控生产环境，工作责任重，对问题排查和应急响应能力要求高
  • 作为高级个人贡献者，需要在没有直接管理权限的情况下推动流程改进和跨团队协作，对软技能要求高
  • 适合拥有流媒体QA背景，并希望向AI/ML测试领域拓展，追求技术深度和广度，且具备出色分析和协作能力的技术人员

缺点 / 挑战

  • 能接触到流媒体和AI两大前沿技术领域，技术栈先进且具有挑战性，有利于技能深度积累

角色解读

  • 可以向流媒体或AI/ML质量保证专家方向发展，成为特定技术领域的权威
  • 有机会转向QA管理岗位，领导测试团队和制定全公司的质量保证策略
  • 随着对产品和数据的深入理解，未来可向产品管理或技术项目管理等交叉职能角色发展
  • 设计并领导针对流媒体播放、AI功能及跨平台（Web、移动、电视）的端到端测试策略
  • 使用专业工具（如Charles Proxy）进行调试，并与数据科学团队合作验证AI模型更新和个性化推荐的准确性
  • 负责监控生产环境，确保发布后播放稳定，并持续改进QA流程和自动化框架
  • 深厚的流媒体技术知识，包括HLS/DASH协议、DRM系统和CDN架构
  • 具备AI/ML系统测试经验，能够验证模型输出、算法稳定性和数据质量
  • 熟练掌握自动化测试工具（如Selenium, Appium）和脚本语言（Python, JavaScript），并能使用调试工具进行问题排查

申请策略

  • 申请前深入研究Tubi的产品，特别是其AI推荐功能，思考可能的质量挑战，并在面试中展现你的见解
  • 了解Fox/Tubi的公司文化，准备好讨论在大型企业环境中如何推动质量流程改进和跨团队合作
  • 重点突出在流媒体或VOD平台的具体QA项目经验，特别是涉及播放性能、DRM或多平台测试的案例
  • 详细描述你测试AI/ML系统的经验，例如如何设计测试用例验证推荐算法或模型准确性，并量化你的贡献
  • 展示你在测试自动化、CI/CD集成以及使用Python/JavaScript进行脚本开发方面的实际成果和效率提升
  • 如果对AI/ML测试概念（如A/B测试框架、模型评估指标）不熟悉，建议通过在线课程快速补充相关知识
  • 加强对流媒体技术栈（如编码管道、CDN）的理解，并练习使用Charles Proxy或类似工具进行网络流量分析和问题诊断

面试指南

  • 使用STAR（情境、任务、行动、结果）方法来结构化你的回答，确保具体且有数据或成果支撑
  • 对于技术问题，先阐述你的总体方法和原则，然后深入到一个具体的案例细节，展示你的技术深度和解决问题的能力
  • 在回答协作类问题时，强调沟通、建立共同目标和利用数据驱动决策的重要性
  • 请描述一次你为复杂的流媒体功能（如ABR或DRM）设计和执行测试策略的经历
  • 你如何测试一个机器学习推荐系统，以确保其推荐结果的准确性和无偏见？
  • 请举例说明你如何使用自动化测试框架和CI/CD流程来提高发布效率和质量的
  • 当生产环境出现播放中断时，你的排查思路和步骤是什么？
  • 你如何与数据科学家或工程师合作，确保AI模型更新后的质量？

职位点评

比图 的其他在招职位

相似职位推荐

Watch Jobs