蚂蚁集团-大模型 Benchmark 与评测体系工程师 / 专家-【垂类大模型】

优缺点分析

角色解读

• 在AI评测领域深耕，成为评测技术专家或架构师
• 横向扩展至模型训练、微调等方向，成为全栈AI工程师
• 向技术管理方向发展，带领评测团队支撑集团AI战略
• 设计并落地大模型评测体系，建设自动化评测平台，支持多任务调度与规模分析
• 通过对抗性分析、错误归因等方法，定位模型在金融、医疗等场景的核心短板
• 构建高质量Benchmark数据资产，覆盖金融知识、医疗交互、Agent任务等维度
• 探索RLHF/DPO等前沿评估范式，追踪业界最新评测技术
• 深入理解大模型全链路，包括训练、推理、微调、评估与对齐
• 扎实的Python与算法基础，熟悉PyTorch等深度学习框架
• 优秀的数据敏感度与逻辑分析能力，能从数据中定位关键问题
• 跨团队协作与沟通能力，适应高频迭代节奏

申请策略

• 提前了解蚂蚁集团大模型战略与已有评测体系，在面试中展现思考
• 准备一个项目案例，详细说明你如何设计评测方案并推动落地
• 突出大模型评测或相关项目经验，尤其是Benchmark建设或自动化评测平台
• 展示开源贡献或顶会论文，体现技术影响力
• 强调数据敏感性与分析能力，附上具体案例（如错误归因分析报告）
• 补充RLHF/DPO等对齐技术知识，阅读相关论文
• 熟悉主流评测工具（如lm-evaluation-harness）和框架
• 了解金融或医疗领域的基础知识，便于理解业务场景

面试指南

• 使用STAR法则：情境、任务、行动、结果，突出个人贡献
• 先定义问题，再分步骤阐述方法，最后总结效果与反思
• 结合理论与实践，展示技术深度与系统思维
• 请介绍一个你主导的模型评测项目，包括评测指标设计、数据构建和结果分析
• 如何设计一个针对金融领域大模型的评测基准？需要考虑哪些维度？
• LLM评测中，如何识别模型的“幻觉”问题？你会用什么方法定位与量化？
• 谈谈你对RLHF与DPO的理解，它们如何影响模型评测？
• 你如何看待当前开源评测基准的局限性？如何改进？