蚂蚁集团-AI质量评测工程师-杭州/北京

优缺点分析

角色解读

• 向AI测试专家或质量架构师方向发展，成为大模型评测领域的资深技术人才
• 横向拓展到测试开发、平台工程或DevOps，参与更广泛的质量保障体系建设
• 有机会转型为AI产品经理或技术管理，结合业务理解与AI能力推动创新
• 设计并落地大模型、Agent等AI场景的评测体系，包括指标定义、评测集构建与自动化评测
• 建设AI测试能力，实现测试用例自动生成、接口测试、回归测试等自动化工具和框架
• 根据业务需求制定测试计划，执行测试并分析结果，推动问题定位与质量闭环
• 与产品、研发、算法等多团队协作，保障核心业务链路的质量与交付效率
• 扎实的软件测试基础，熟悉接口测试、集成测试、回归测试及白盒测试方法
• 精通Java或至少一种主流编程语言，同时具备Shell/Python等脚本能力
• 了解大模型、Agent、RAG等AI技术方向，对模型评测和自动化评估有浓厚兴趣
• 良好的沟通与协作能力，能够在跨团队环境中推进问题解决

申请策略

• 了解蚂蚁的AI业务方向（如支付、金融、智能客服），在面试中展示业务理解
• 准备一个完整的项目案例：从测试计划到自动化实现，再到问题闭环的过程
• 突出AI相关测试或评测经验，如大模型评估、Agent测试等
• 强调自动化测试能力，包括自建框架、工具平台或CI/CD集成经验
• 展示Java编程能力与系统设计思路，特别是服务端或分布式系统经验
• 补充大模型评测基础知识，如LLM-as-a-Judge、RAG评估方法
• 练习使用主流测试工具（如JUnit、Selenium）与性能测试工具（如JMeter）
• 深入学习Linux系统与Shell脚本，提升问题排查效率

面试指南

• 对于评测方案类问题，先明确评测目标，再定义指标（准确率、召回率、BLEU等），然后设计评测集（包含正常/边界/对抗样本），最后给出自动化流程
• 对于缺陷处理类问题，采用STAR原则：描述场景、任务、行动（定位、修复验证）和结果（质量提升）
• 对于自动化类问题，强调模块化设计、数据隔离、Mock使用，以及持续集成中的稳定性
• 如何设计一个大模型的评测方案？包括指标、数据集和自动化流程
• 请描述一次你发现并推动解决复杂缺陷的经历
• 在自动化测试中，如何处理接口依赖和数据构造问题？
• 对LLM-as-a-Judge方法有什么了解？它有哪些优缺点？
• 如何评估测试覆盖率并优化测试用例？