蚂蚁集团-大模型 Benchmark 与评测体系工程师 / 专家-杭州/北京

优缺点分析

角色解读

• 在AI评测领域深耕，成为大模型质量保障与评估方向的专家
• 可向算法研发、模型训练或AI平台架构方向拓展，积累全栈能力
• 有机会主导行业级Benchmark建设，提升在学术界和工业界的影响力
• 设计并落地大模型评测体系，包括基准测试、自动化评测链路和平台化能力，支撑多模型高频迭代
• 通过对抗性分析、错误归因等方法定位模型在金融、医疗等垂直领域的能力短板，并推动优化闭环
• 探索前沿评测范式，如基于RLHF/DPO的对齐评估、仿真环境、Agent链路评测等，保持技术领先
• 建设高质量Benchmark数据资产，包括数据采集、清洗、标注、版本管理和标准制定
• 扎实的Python与算法基础，熟悉PyTorch等深度学习框架，具备工程化落地能力
• 深入理解大模型全链路，包括训练、推理、微调、评估与对齐，有实际项目经验
• 优秀的数据敏感度和逻辑分析能力，能通过数据洞察定位复杂问题
• 熟悉NLP/LLM前沿技术，对Benchmark和评测方法论有系统认知

申请策略

• 提前了解蚂蚁集团在金融、医疗领域的AI产品，思考评测如何支撑业务
• 关注团队的技术博客或开源项目，在面试中展示对评测技术的深度思考
• 突出大模型相关项目经验，特别是评测、评估、Benchmark建设的实际成果
• 强调Python、PyTorch、数据处理和算法调优能力，附上量化结果
• 如有开源评测项目或顶会论文，务必重点呈现
• 展示对金融或医疗领域评测难点理解，体现业务敏感度
• 系统学习RLHF/DPO等对齐方法，并动手实践模型微调和评估
• 熟悉主流Benchmark（如MMLU、GLUE、SuperGLUE）的设计思路和优劣

面试指南

• 回答评测设计时，注意覆盖数据构建、评估指标、任务类型和基线对比，强调与业务场景的结合
• 面对问题排查类问题，采用“假设-验证-归因”的思路，先定位可能原因，再设计实验验证，最后给出优化建议
• 对开放性探索题，展示技术视野，结合前沿工作和实际经验，提出可行方案
• 如何设计一个针对金融领域的大模型评测基准？请说明具体维度和数据来源
• 如何评估一个Agent系统的能力？与普通LLM评测有何不同？
• 如果模型在某个评测集上分数很高，但实际业务表现差，如何排查和改进？
• 你对RLHF/DPO如何影响评测范式有什么理解？
• 如何建设高效的自动化评测平台，支撑多模型高频迭代？