小红书
AI 评测平台 Leader
AI 评测平台 Leader
发布于 1 天前中层管理(经理/总监)
全职员工仅现场办公人工智能
人工智能
Ai Agent
Llm-As-A-Judge
Rag
Rubric设计
大模型评测
平台工程
数据工程
自动化评测
值不值得投
78综合评分
综合评分 78
AI前沿赛道、技术挑战大、核心业务线Leader，薪资预期高但WLB未明确。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
8.0万
比人工智能中位数高
发布情况
新岗位 · 昨天发布
公司情况
这家公司招聘很活跃
约 2150 个在招 · 其中人工智能 59 个
市场机会
选择面较广
上海 · 人工智能 · 约 360 个在招
职位详情
关于这个职位
该职位负责小红书C端AI Agent应用的评测体系设计与自动化评测平台建设，将模型效果转化为可衡量的工程闭环
你需要主导从评测集设计、平台研发到业务落地的全流程，并与算法、产品团队深度协作，驱动模型与产品体验的持续迭代
最低要求
具有生产级大模型、Agent 或复杂 AI 应用评测体系的建设经验，能够主导从方法设计、平台研发到业务落地的完整闭环
深入理解 Rubric 设计、LLM-as-a-Judge、机评与人评协同、人机一致性校准、盲评/对比评测及结果可信性分析
熟悉 Agent 应用关键链路，能够理解并评估模型推理、Context/Memory、Tool Calling、RAG、执行编排、Trace 和终端输出之间的相互影响
具备扎实的平台工程和数据工程能力，能够设计高可用、可扩展的评测任务系统、数据处理链路、可观测体系及自动化分析能力，并亲自解决关键技术问题
具备较强的技术判断、产品意识和跨团队推动力，能够从用户体验出发定义质量标准，并在标准不完全确定的场景中持续形成可执行结论
工作职责
负责评测体系设计，建设覆盖评测集、评测标准、Rubric、参考答案及必过/黄金/挑战分层的评测资产体系，明确业务场景的质量定义与准出口径
建设自动化评测平台，打通数据集管理、任务编排、多模型/多配置运行、机评、人评、结果分析、问题下钻与回归验证，提升评测规模、效率和研发使用体验
完善多层评测能力，建设面向用户最终体验的端到端评测，以及模型、关键 Tool、组件、Trace 过程和多配置消融等专项评测
建立持续校准与资产回流机制，结合线上真实会话、人机一致性、需求迭代和行业变化，持续校准 Judge、评测集和评测标准，使离线评测长期贴近真实用户体感
与产品、算法、工程和 QA 深度协作，将评测前置到需求设计和技术方案阶段，并推动评测结论进入模型后训练、Agent 架构和工程能力迭代
AI 洞察
优缺点分析
优点
- 处于AI Agent与大模型应用落地的核心环节，技术前沿且极具业务价值，能直接决定AI产品的最终体验
- 作为平台Leader，能全面锻炼技术架构、产品设计与跨团队管理能力，积累稀缺的AI基础设施经验
- AI评测标准仍在快速演进，需要在不确定性中持续探索并建立可执行结论，对技术判断力要求极高
- 跨团队协作要求高，需平衡算法、工程与产品等多方诉求，推动评测结论真正落地到模型与业务中
- 适合具备大模型评测实战经验、拥有平台架构能力且渴望在AI核心基础设施方向深耕的技术管理人才
缺点 / 挑战
- 小红书C端AI场景丰富，能提供海量真实数据与极具挑战的落地场景，利于打造行业标杆案例
角色解读
- 可向AI基础设施技术总监、AI质量负责人或AI产品技术合伙人方向发展
- 在AI应用爆发的当下，掌握评测驱动研发体系的核心人才将成为行业稀缺资源，具备极高的行业话语权
- 负责AI Agent及大模型应用的评测体系设计与自动化评测平台建设，打通数据集管理、任务编排、机评人评等全链路
- 与产品、算法团队深度协作，将评测前置到需求设计阶段，驱动模型后训练与工程架构的持续迭代
- 深入理解大模型评测方法（如Rubric设计、LLM-as-a-Judge）及Agent关键链路（RAG、Tool Calling等）
- 具备扎实的平台工程与数据工程能力，能设计高可用评测任务系统与可观测体系
- 拥有跨团队推动力与产品意识，能从用户体验定义质量标准并在模糊场景中形成可执行结论
申请策略
- 提前体验小红书的AI相关C端产品，思考其评测痛点与优化空间，面试时提出建设性意见
- 准备几个在标准模糊场景下如何制定评测标准并推动落地的实际案例，展现产品意识与推动力
- 突出主导过的大模型/Agent评测体系从0到1或从1到N的建设经验，强调完整闭环能力
- 展示在自动化评测平台、数据处理链路及高可用系统设计方面的技术深度与架构能力
- 强调通过评测驱动模型优化或产品体验提升的具体业务收益与数据指标
- 深入了解最新的LLM-as-a-Judge、自动化Rubric生成及Agent Trace分析技术，保持技术敏锐度
- 补充平台工程与可观测性体系的前沿实践，提升复杂系统的设计与问题排查能力
面试指南
- 采用STAR法则：情境（业务背景与痛点）-> 任务（评测目标与挑战）-> 行动（体系设计、平台架构、跨团队协作）-> 结果（效率提升、质量改善、业务收益）
- 如何设计一套面向C端AI Agent的端到端评测体系？
- 在LLM-as-a-Judge中，如何解决机评与人评的一致性问题？
- 请分享一个你主导的自动化评测平台建设案例，遇到了哪些技术挑战？
- 当评测标准不完全确定时，你如何推动评测结论进入模型后训练和工程迭代？
- 梳理过往主导的评测项目，提炼出方法论与踩坑经验，形成结构化的技术表达
- 了解小红书当前的AI产品矩阵及行业内的AI评测前沿方案（如AgentBench等），展现行业视野
职位点评
薪资福利85
成长发展90
工作生活50
使命价值80
薪资福利
85较高
作为超大型企业的AI平台Leader，薪资水平处于市场高位，但JD未明确披露具体薪资与福利细节。
薪资信号未披露（AI估算：6.0千–10.0万/月）
成长发展
90较高
岗位处于AI大模型与Agent应用的最前沿，能深度参与评测驱动研发体系的建设，技术成长与行业影响力极大。
技术前沿前沿/新兴技术
技术栈大模型评测、AI Agent、LLM-as-a-Judge、Rubric设计、RAG、平台工程
业务类型profit_center
工作生活
50较低
JD未提及工作模式与WLB相关信息，但作为核心业务线的平台Leader，工作强度与压力可能较大。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
80较高
推动AI Agent应用体验提升，让AI更可靠地服务C端用户，具有较高的社会价值与行业使命感。
行业发展高速增长赛道
社会影响中性/一般
使命信号让评测结论持续驱动模型、Agent 工程、关键 Tool 与产品体验提升
创新程度开拓性创新（行业首创）
Watch Jobs