网商银行-AI评测产品经理-杭州

优缺点分析

角色解读

• 在AI评测领域深耕，可成长为AI评测专家，主导大模型评测标准和行业规范
• 结合业务理解，可向AI产品经理、大模型产品负责人等方向晋升，负责更完整的产品线
• 通过接触前沿技术与业务场景，积累深厚行业经验，未来可转向战略或管理岗位
• 设计并持续优化AI智能客户经理“百灵”的产品体验，基于小微企业金融场景挖掘需求并转化为产品方案
• 主导Agent评测体系的设计与执行，产出评测结论，为算法和产品团队提供改进方向，推动大模型能力落地
• 搭建和完善评测流程与工具，跟进大模型行业最新评测研究，持续迭代内部评测技术方案
• 与算法、工程、业务等多方协作，确保评测结果能有效驱动业务决策和模型优化
• 具备LLM和AI Agent的基础知识，理解评测方法论，熟悉Benchmark、数据集和标注流程
• 有1-2年产品经验，能独立负责评测项目从设计到落地的完整流程
• 具备优秀的逻辑分析和数据敏感度，能通过评测数据发现问题并提出改进建议
• 善于跨团队沟通和协作，能够平衡多方需求，推动项目进展

申请策略

• 关注蚂蚁集团招聘官网和内部推荐渠道，了解团队文化，针对岗位要求定制简历
• 在面试中多展示你对AI评测的思考和热情，可以准备一个你设计过的评测方案案例
• 突出你在AI产品、评测或大模型相关项目中的具体贡献，如设计过评测体系、搭建过数据集
• 强调产品经验与数据能力，说明如何通过评测数据推动模型优化，附上量化结果
• 展示对LLM/AI Agent的深入理解，可提及你关注的行业评测标准或论文
• 体现跨团队协作案例，说明在复杂项目中如何协调资源并达成目标
• 深入学习LLM和Agent的最新进展，熟悉评测框架如GLUE、SuperGLUE、HumanEval等，补充评测实践
• 学习数据标注与管理方法，了解不同任务类型的数据集构建质量对评测的影响

面试指南

• 从业务目标出发，先明确评测的维度和目标，再设计指标、数据构建流程和评估方法，强调严谨性和可迭代性
• 对于Agent评测，突出多轮交互、工具调用等场景，结合离线与在线评测，并以实例说明
• 面对效果不理想，先通过细分数据挖掘失败模式，再与算法团队讨论原因，提出可执行的改进方向
• 如何为大语言模型设计一套针对特定业务场景的评测体系？
• 你如何理解AI Agent的能力评估？与传统模型评测有什么不同？
• 如果评测结果显示模型效果不理想，你会如何定位问题并提出改进建议？
• 如何保证评测数据集的质量和代表性？
• 跨团队协作中，遇到算法团队与业务团队意见不一致时，你会怎么处理？