【Agent 平台】AI 大模型评测平台研发工程师 / 专家

优缺点分析

角色解读

• 在 AI 评测领域深耕，成为评测平台架构师或技术专家
• 横向拓展至 Agent 平台、大模型应用等更广泛的 AI 基础设施方向
• 有机会带领团队，负责更大规模的评测体系与生态建设
• 负责小红书 Agent 平台评测体系的架构设计与核心开发，构建覆盖大模型、多模态及 Agent 应用的自动化评测能力
• 主导评测数据的挖掘、清洗、标注与版本化管理，建设高质量评测集
• 打造自动化评测流水线，实现从数据、执行到结果的全链路自动化评估，支撑版本快速迭代
• 深入进行 Badcase 归因分析与性能调优，输出可驱动产品迭代的改进建议
• 精通 Python / Java / Go 中至少一门语言，具备扎实的工程能力
• 深入理解并发编程、分布式系统，熟悉 MySQL、Redis、Kafka、Elasticsearch 等常用组件
• 理解大模型评测体系（LLM-as-a-Judge、自动化指标等），有 AI 应用或 Agent 平台落地经验
• 具备良好的逻辑思维、问题拆解与跨团队沟通能力

申请策略

• 了解小红书 AI 业务方向，在面试中展现对评测价值的认同
• 准备一个完整的项目案例，详细说明你在评测体系中的角色与贡献
• 突出大模型评测或 AI 平台相关项目经验，特别是主导或深度参与过的评测框架开发
• 强调分布式系统、高并发处理等工程能力，并展示具体的技术方案与成果
• 展示对评测体系的理解，如 LLM-as-a-Judge、自动化指标等，并说明如何落地
• 如有 Agent 或 Workflow 研发经验，务必重点突出
• 深入学习主流评测框架（如 OpenCompass、DeepEval、LangSmith）的原理与实现
• 补充 Agent 评测相关知识，如任务完成率、工具调用准确率等指标设计

面试指南

• 结合项目经验，采用 STAR 法则（情境、任务、行动、结果）清晰阐述
• 突出技术选型与架构设计思路，并说明权衡取舍
• 强调数据驱动与结果导向，展示如何通过评测推动产品改进
• 请详细描述你参与过的评测平台架构设计，以及如何保证高并发下的稳定性？
• 如何设计一个针对 Agent 的自动化评测方案？
• 在评测数据生产过程中，如何保证数据质量与标注一致性？
• 如何对 Badcase 进行归因分析，并推动产品迭代？
• 对 LLM-as-a-Judge 的局限性有何理解？如何改进？