蚂蚁集团-评测算法工程师-成都

优缺点分析

角色解读

• 内部晋升为评测技术专家或架构师，主导AI质量体系建设
• 横向转型至AI研发或数据科学岗位，拓展算法模型优化能力
• 在AI领域持续深耕，参与行业标准制定，成为业界KOL
• 设计AI产品的评测策略，覆盖功能与非功能测试，确保产品质量
• 构建高难度评测集，开发万级并发评测流水线，实现分钟级反馈
• 应用LLM-as-a-Judge解决开放式生成量化难题，对Bad Case进行算法归因
• 跟踪AI行业趋势，制定评测技术发展规划，提升团队技术影响力
• 扎实的算法基础，熟悉常用评测指标（准确率、召回率、F1等），掌握AB实验评估方法
• 精通Python/Java，熟悉主流算法框架（如PyTorch、TensorFlow等），具备工程化能力
• 深入理解大模型、推荐、搜索、NLP等AI产品特性，能快速定位问题
• 具备技术攻关和团队协作能力，能推动评测体系优化

申请策略

• 关注蚂蚁集团在AI领域的研发布局，在面试中展现对评测技术的理解
• 准备个人项目或开源贡献，展示解决实际评测问题的能力
• 突出AI/算法评测经验，特别是大模型、推荐、搜索相关项目的成果
• 展示自动化评测流水线或工具平台开发经验，体现工程能力
• 强调Bad Case分析、评测数据集构建等具体案例，量化效果
• 体现技术前瞻性，如参与过前沿模型评测、在业界有影响力
• 补充LLM-as-a-Judge、Agentic Workflows等评测方法的知识
• 提升大规模分布式系统评测的工程能力，如万级并发流水线设计

面试指南

• 对于设计类问题：明确评测目标（功能/非功能），选择合适指标，考虑数据多样性和场景覆盖，提出自动化方案
• 对归因问题：描述问题现象→分析可能原因（数据、模型、特征等）→通过对比实验验证→总结根因并提出改进建议
• 对技术选型问题：对比不同方法的优劣，结合实际场景给出权衡，展示技术深度
• 如何设计一个大模型产品的评测方案？
• 请介绍一个你解决过的Bad Case归因案例
• 你对LLM-as-a-Judge的看法？有哪些优缺点？
• 如何构建高难度的评测集？
• 在万级并发场景下，如何保证评测流水线的稳定性和效率？