蚂蚁集团-多模态理解及应用-多模态大模型评测-杭州/北京【AGI专项】

优缺点分析

角色解读

• 可向多模态算法专家方向发展，深入模型能力边界研究，成为评测领域权威
• 有机会晋升为技术团队负责人，带领评测团队搭建更完善的基础设施
• 积累大模型全栈经验，可转向模型训练、调优或AI产品设计等方向
• 设计并搭建全模态大模型评测体系，涵盖图文、音视频等多模态数据，制定评测流程和标准
• 主导评测基准（Benchmark）建设，追踪学术界和业界最新成果，构建能反映模型真实能力的评测数据集
• 研究创新性的评测方法和指标，度量模型在跨模态理解、内容生成、多轮交互、逻辑推理、鲁棒性及安全性等维度的能力
• 开发优化评测工具链和自动化平台，实现评测流程的规模化，并与算法、工程、产品团队协作推动模型提升
• 精通Python，熟练使用PyTorch或TensorFlow等深度学习框架
• 扎实的多模态学习、NLP、CV算法基础，熟悉主流大模型评测基准和方法
• 具备独立设计和开发评测系统的工程能力，能高效实现自动化流程
• 出色的数据分析与问题解决能力，能设计实验并产出有价值的结论

申请策略

• 深入研究蚂蚁集团的AI业务方向，特别是AGI专项的布局，在面试中展示你的理解
• 准备一个你主导评测体系或相关算法的详细案例，用数据说明你带来的提升
• 突出多模态或大模型相关的研究和项目经历，特别是评测基准设计或评测方法优化的案例
• 详细描述你在算法工程上的落地能力，如搭建过自动化评测平台、开发过数据处理工具链等
• 展示你对最新评测基准（MMBench、MMMU等）的了解，以及你如何运用它们评估模型
• 强调跨团队协作经验，尤其是与产品、工程团队合作推动模型改进的成果
• 系统学习多模态大模型的前沿评测方法，阅读相关论文并尝试复现
• 动手操作主流评测基准和工具，如MMBench、MMMU、V-Bench等，熟悉其设计原理

面试指南

• 回答评测设计问题时，可以按'目标-方法-数据-指标-验证'的结构，突出你的系统性和创新性
• 针对基准局限，可结合具体场景，指出其覆盖面、标注质量或指标偏向等问题，并提出可操作改进方案
• 遇到冲突情况时，强调数据分析和归因能力，举例说明如何通过误差分析、人工抽样等方法定位问题
• 请介绍你设计过的评估一个多模态大模型能力的评测方案，包括指标选择和数据集构建
• 如何评估一个模型在跨模态内容生成上的鲁棒性？举例说明你采用的方法
• 针对MMMU或SEED-Bench这类基准，你认为它们有哪些局限？你会如何改进？
• 如果评测结果与人工主观感受不一致，你会如何分析和处理？
• 如何设计一个自动化评测平台？关键技术点有哪些？