蚂蚁集团-AI质量评测工程师-芝麻企业信用

优缺点分析

角色解读

• 可向AI质量专家或测试架构师方向发展，主导大型AI项目的质量保障
• 积累AI评测经验后，可转岗至算法或数据团队，成为AI全栈人才
• 随着AI行业标准化需求增加，该岗位稀缺性高，未来可担任QA团队负责人
• 构建AI产品的质量评测体系，重点评估大模型的准确性、安全性、鲁棒性等指标
• 设计并执行Prompt、RAG、Agent等自动化Benchmark，确保模型输出质量
• 开发自动化评测工具和平台，提升测试效率和覆盖率
• 与算法、产品团队协作，定位模型问题并推动优化
• 扎实的Python编程能力，能够搭建自动化测试框架和数据处理流水线
• 深入理解大模型（LLM）原理及常见问题，如幻觉、提示词注入等
• 熟悉AI评测指标体系，掌握Prompt测试和对抗测试方法
• 具备独立构建测试数据集和Benchmark的能力，包括对抗样本和安全样本

申请策略

• 申请时附上个人GitHub项目，尤其是AI评测相关工具或数据分析案例
• 了解蚂蚁集团在AI信用评估、金融场景的应用，面试时展现对业务的兴趣
• 突出过往AI相关项目经验，特别是模型评测、Prompt测试或自动化测试经历
• 强调Python编程能力、框架开发及数据处理经验，展示独立构建数据集的能力
• 如果有参与开源AI评测工具或发表相关论文，务必重点呈现
• 学习主流大模型（如GPT、LLaMA）的评测方法论，熟悉MLPerf、GLUE等标准
• 掌握自动化测试框架（如pytest、Robot Framework）和CI/CD工具
• 补充统计学知识，以便更科学地设计评估实验和分析数据

面试指南

• 结构化回答：先明确目标，再拆解步骤（数据准备、指标选择、工具实现、结果分析），最后举例说明
• 突出量化思维：多用具体数据（如准确率提升X%，覆盖率Y%）支撑观点
• 强调协作：说明如何与算法、产品团队沟通推进问题解决
• 如何设计一个针对大模型的幻觉评测方案？
• 请描述你如何构建一个高质量的AI测试数据集
• 在自动化评测中，如何平衡测试效率与覆盖率？
• RAG评测中你会关注哪些关键指标？为什么？
• 当你发现模型输出存在安全性漏洞时，如何处理？