蚂蚁集团-大模型评测工程师-蚂蚁保

优缺点分析

角色解读

• 从测试工程师向AI评测专家发展，深度参与大模型质量保障体系，成为稀缺的复合型人才
• 积累蚂蚁保险核心业务经验，向金融领域质量架构师或AI产品测试负责人方向晋升
• 可横向拓展至算法评测、AI研发或质量平台架构等方向，职业路径多元
• 负责蚂蚁保险核心业务的功能测试与质量保障，包括接口、服务端和端到端测试，确保业务链路稳定可靠
• 参与大模型、Agent、RAG等AI能力的评测体系搭建，设计评测指标、构建评测集并执行自动化评测
• 开发测试脚本、自动化工具和评测平台，提升测试效率，并分析定位模型效果与系统问题
• 扎实的软件测试基础，熟悉功能、接口和回归测试方法，能设计全面的测试用例
• 熟练使用Python或Java进行脚本开发，具备独立编写测试工具和数据处理程序的能力
• 掌握Linux、SQL和日志分析，能快速定位系统链路问题，具备良好的跨团队协作能力
• 对大模型、Agent、RAG、Prompt等AI技术有浓厚兴趣，愿意深入评测领域

申请策略

• 深入了解蚂蚁保业务和产品，思考AI在保险领域的应用场景，面试中展现业务理解
• 在简历中突出对AI评测的兴趣和持续学习的态度，体现自驱力
• 突出软件测试项目经验，特别是自动化测试、接口测试和回归测试的实际案例，量化成果
• 强调数据清洗、评测集构建、LLM-as-a-Judge等大模型评测相关经验，即使只是项目中的一部分也要说明
• 展示编程能力，列出独立开发的测试工具或脚本，体现解决实际问题的能力
• 学习大模型评测方法论，了解评测指标设计、评测集构建、LLM-as-a-Judge等核心概念
• 熟悉Agent、RAG架构，动手搭建简单的AI应用测试，积累实操经验

面试指南

• 使用STAR法则描述项目经历，背景-任务-行动-结果，突出量化指标
• 针对评测设计问题，从评测目标、指标定义、数据构建、自动化执行、结果分析等维度结构化回答
• 强调跨团队协作和问题闭环能力，展示自己如何推动团队达成目标
• 如何设计一个大模型问答系统的评测方案？请说明评测指标、数据构建和评估方法
• 描述一次你发现并推动解决复杂测试问题的经历，具体做了哪些事情，结果如何？
• 如何构建一个高质量的评测数据集？如何处理噪声数据和难例？
• 介绍你常用的自动化测试框架和工具，以及它们在实际项目中的应用
• 你对Agent和RAG技术了解多少？它们在保险业务中可能有哪些应用？