蚂蚁集团-大模型评测专家-杭州/北京

优缺点分析

角色解读

• 在AI评测这一新兴领域深耕，成为评测方法论专家，引领行业标准制定
• 可向大模型算法或AI产品方向横向发展，评测经验有助于深入理解模型能力与瓶颈
• 在蚂蚁集团这样的平台，有机会接触前沿技术和核心业务，晋升技术专家或团队负责人
• 设计并迭代大模型及AI产品的评测体系，覆盖对话、图像理解、多模态生成、Agent等场景，制定评测维度和指标
• 深入多模态生成和Agent评估两个重点方向，构建专项Benchmark，引入VLM视觉评分、过程奖励模型等方法
• 推动评测链路自动化，开发评测框架，进行Bad Case分析并输出优化建议，支持多模型高频回归
• 扎实的Python编程能力，能独立开发评测框架并进行数据分析，熟悉PyTorch等深度学习框架
• 深入掌握多模态生成评测、Agent评估体系或LLM评测体系中的至少一个方向，具备从0到1设计评测方案的能力
• 理解大模型预训练/SFT/RLHF/DPO/推理全链路，对主流Benchmark（如VBench、SWE-bench、WebArena）有了解
• 优秀的数据敏感度和跨团队沟通能力，能将复杂数据转化为可落地的结论

申请策略

• 在简历中明确写出你如何设计评测维度、选择指标及影响模型优化结果
• 提前了解蚂蚁集团在AI领域的布局和产品线，面试中展示对业务场景的理解
• 突出大模型或NLP相关项目经验，尤其是评测方案设计、数据集构建或Benchmark优化的实际案例
• 强调Python工程能力，如有评测框架开发、自动化测试或数据分析项目，要详细描述
• 如果有涉及多模态生成或Agent评估的经验，务必展示具体方法和成果
• 提及开源贡献或顶会论文，如相关评测方向的研究，会增加竞争力
• 熟悉主流Benchmark工具，如lm-evaluation-harness、VBench、WebArena等，并实践运行
• 补充学习Playwright自动化测试、沙箱环境搭建，以及VLM视觉评分相关的技术

面试指南

• 使用STAR法则：说明情境、任务、行动和结果，强调你的思考过程和量化成果
• 体现系统性思维：从评测目标、维度设计、数据构建、方法选择到工程实现，全链路阐述
• 展示学习能力：提及你如何跟踪前沿评测方法并快速实践，体现成长性
• 请讲述一次你设计评测方案的经历，如何定义评测维度和指标？
• 在大模型评测中，你是如何处理Bad Case并推动优化的？
• 如何评估一个多模态生成模型（如文生视频）的质量？你会设计哪些评测项？
• Agent评估与传统的LLM评估有何不同？你会如何搭建评估框架？
• 你了解哪些主流Benchmark？它们的优缺点是什么？