蚂蚁集团-大模型算法评测-蚂蚁星河

优缺点分析

角色解读

• 从测试专家向AI质量架构师发展，负责整个AI产品线的质量策略设计
• 深耕大模型评测领域，成为稀缺的AI原生应用测试专家
• 可向技术管理岗位晋升，带领质量保障团队
• 负责AI大模型应用、智能引擎和算法服务的质量保障，设计测试方案并执行
• 开发适配大模型的测试工具与平台，提升测试自动化和效率
• 研究AI算法评测方法，攻克精度验证、AB实验评估、幻觉检测等质量难题
• 与算法、工程、产品团队协作，推动质量技术左移和全栈测试覆盖
• 精通软件测试方法论，至少掌握自动化、性能或安全测试中的一项
• 熟练使用Python/Java/Go/SQL，具备测试工具开发与工程化能力
• 了解大模型技术栈，如Agent、MCP、Prompt、Loop等，能设计针对性测试方案
• 熟悉算法评测指标，具备badcase分析和评测数据集构建能力

申请策略

• 深入了解蚂蚁星河的业务方向，关注大模型在金融等领域的应用
• 在面试中展现体系化测试思维和对质量保障的前瞻性思考
• 突出AI相关测试项目，尤其是大模型、推荐、搜索或NLP系统的经验
• 强调在自动化测试、性能测试或安全测试等领域的深度专长
• 展示编程能力和工具开发成果，如测试平台、框架搭建等
• 如熟悉评测指标或badcase分析，务必在简历中具体体现
• 系统学习大模型评测方法，包括RAG、幻觉检测、AB实验评估等
• 补全Agent、MCP等新兴技术栈，动手实践相关测试场景

面试指南

• 对于设计类问题，从功能、性能、安全、可用性等维度，结合大模型特点提出分层策略
• 对于评测类问题，强调指标选择与任务对齐，说明数据分布和多样性的重要性
• 对于经历类问题，使用STAR法则，突出技术难点、解决过程和量化结果
• 如何为大模型应用设计一套完整的质量保障方案？
• 你如何评估一个AI模型的效果？会选择哪些评测指标？
• 描述一次你解决复杂测试技术问题的经历
• 如何测试基于Agent或MCP的应用？有哪些特有风险？
• 如何进行badcase分析和评测数据集构建？