千问事业部-Agent高级测试开发工程师-杭州

优缺点分析

角色解读

• 技术专家路线：深耕AI质量领域，成为大模型测试、效能工程或质量架构方面的专家
• 管理路线：带领测试团队，负责更大范围的质量保障体系建设和团队管理
• 转型路线：凭借对产品质量和业务的深刻理解，转向AI产品经理、解决方案架构师或算法评测等方向
• 你将负责阿里核心AI产品（千问大模型）的质量保障，覆盖从对话到多模态的全场景
• 你的工作不仅是找bug，更需要深入理解业务和AI模型，挖掘badcase并推动算法优化，确保产品高质量交付
• 你需要设计并维护评测用例体系，建立质量度量指标，为模型的迭代提供关键的数据支撑
• 扎实的软件测试基础和至少3年的质量保障实战经验，熟悉Python等自动化测试工具链
• 对大模型技术（如RAG、Agent、Token等）有基本了解和实践热情，能理解其工作原理和应用场景
• 优秀的业务理解、跨团队沟通协作能力，以及基于数据驱动发现问题、定义问题和推动解决的能力

申请策略

• 深入研究千问大模型的产品形态和应用场景，尝试使用其API或产品，并在面试中提出有见地的质量挑战或改进建议
• 了解阿里巴巴的质量文化（如全链路质量、稳定性保障），思考如何将自己的经验与之结合
• 准备一个能体现你技术深度、业务理解或复杂问题解决能力的完整项目案例
• 突出与AI/大模型相关的测试经验，如参与过机器学习平台、推荐系统或任何AI产品的测试项目
• 详细描述你在自动化测试、性能测试或稳定性测试方面的具体实践和成果（例如提升了多少效率，发现了多少关键缺陷）
• 强调你的数据分析和业务理解能力，举例说明如何通过数据分析驱动质量改进或产品优化
• 体现你的主动性和好奇心，例如自学AI知识、参与相关开源项目或研究的经历
• 系统复习并实践大模型核心概念，如Transformer、RAG、Agent框架，并尝试构建简单的Demo来加深理解

面试指南

• 使用STAR法则（情境、任务、行动、结果）来结构化你的项目经验，突出你分析问题、采取行动和衡量结果的能力
• 对于AI测试场景题，可以按照功能、性能、安全性、效果评估（如相关性、无害性、流畅度）等多个维度来展开思考
• 在回答技术概念题时，先确保自己理解准确，然后结合实际测试场景，说明这些技术点会引入哪些新的质量风险以及相应的测试策略
• 强调你解决问题的系统性：从信息收集、问题拆解、工具使用到跨团队沟通和推动闭环的全过程
• 请介绍一个你主导或深度参与过的、最具挑战性的测试项目，你是如何保证其质量的？
• 如果让你测试一个AI对话模型的‘搜索回答’功能，你会设计哪些测试用例？如何评估回答的质量？
• 你如何理解RAG技术？在测试基于RAG的应用时，需要关注哪些特有的质量问题？
• 当发现一个难以复现的badcase时，你会采取哪些步骤来定位和推动解决？