小红书
AI 评测技术专家
AI 评测技术专家
发布于 3 小时前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai评测
Llm-As-A-Judge
Prompt Engineering
Rag
Rubric设计
大模型
平台开发
数据工程
值不值得投
84综合评分
综合评分 84
高薪前沿、技术挑战大、成长空间广阔，但工作强度可能较高
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
8.0万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2360 个在招 · 其中数据标注与评测 3 个
市场机会
选择适中
上海 · 数据标注与评测 · 14 个在招
职位详情
关于这个职位
负责构建面向C端AI Agent应用的行业领先评测平台与驱动研发体系，将模型效果转化为可衡量的工程闭环
需主导评测体系设计、自动化平台建设及多层评测能力完善，通过持续校准机制确保离线评测贴近真实用户体感，并推动评测结论反哺模型训练与产品迭代
最低要求
具有生产级大模型、Agent或复杂AI应用评测体系的建设经验，能够主导从方法设计、平台研发到业务落地的完整闭环
深入理解Rubric设计、LLM-as-a-Judge、机评与人评协同、人机一致性校准、盲评/对比评测及结果可信性分析
熟悉Agent应用关键链路，能够理解并评估模型推理、Context/Memory、Tool Calling、RAG、执行编排、Trace和终端输出之间的相互影响
具备扎实的平台工程和数据工程能力，能够设计高可用、可扩展的评测任务系统、数据处理链路、可观测体系及自动化分析能力，并亲自解决关键技术问题
具备较强的技术判断、产品意识和跨团队推动力，能够从用户体验出发定义质量标准，并在标准不完全确定的场景中持续形成可执行结论
工作职责
核心使命：面向C端AI Agent应用建设行业领先的评测平台与评测驱动研发体系，将模型和应用的概率性效果转化为可衡量、可归因、可优化、可持续演进的工程闭环，让评测结论持续驱动模型、Agent工程、关键Tool与产品体验提升
岗位职责：
负责评测体系设计，建设覆盖评测集、评测标准、Rubric、参考答案及必过/黄金/挑战分层的评测资产体系，明确业务场景的质量定义与准出口径
建设自动化评测平台，打通数据集管理、任务编排、多模型/多配置运行、机评、人评、结果分析、问题下钻与回归验证，提升评测规模、效率和研发使用体验
完善多层评测能力，建设面向用户最终体验的端到端评测，以及模型、关键Tool、组件、Trace过程和多配置消融等专项评测
建立持续校准与资产回流机制，结合线上真实会话、人机一致性、需求迭代和行业变化，持续校准Judge、评测集和评测标准，使离线评测长期贴近真实用户体感
与产品、算法、工程和QA深度协作，将评测前置到需求设计和技术方案阶段，并推动评测结论进入模型后训练、Agent架构和工程能力迭代
AI 洞察
优缺点分析
优点
- 处于AI应用落地最前沿，直接决定产品核心竞争力
- 拥有海量真实用户数据与算力资源支持
- 技术栈极具前瞻性
- AI评测领域尚无行业标准，需从零探索方法论
- 需平衡主观体验与客观指标，工作不确定性高
- 跨部门协调难度大
- 适合对AI前沿技术有深刻洞察、具备极强技术落地能力且喜欢从0到1开拓新领域的资深工程师
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI基础设施负责人、首席AI科学家或AI产品战略专家方向发展，成为AI质量保障领域的权威专家
- 构建和维护面向AI Agent的大模型评测平台，制定评测标准与指标体系
- 精通LLM评测方法论（如LLM-as-a-Judge）、Agent链路理解、平台工程与数据工程能力
申请策略
- 准备具体的案例说明如何通过评测驱动了模型或产品的实际迭代优化，体现‘评测驱动研发’的价值
- 突出展示过往搭建的评测体系架构、解决的复杂技术问题（如人机一致性校准）、以及对Agent/RAG等具体场景的评测实践成果
- 深入研究LLM-as-a-Judge的最新论文与实践，强化后端开发与大数据处理技能，提升对AI产品用户体验的理解
面试指南
- 采用STAR法则（情境、任务、行动、结果），重点阐述在标准缺失情况下如何定义问题、设计方案、克服技术难点并量化业务价值
- 如何设计一个针对RAG场景的多维度评测体系？
- 如何解决LLM-as-a-Judge中存在的偏见和不一致性问题？
- 请描述你曾搭建过的最复杂的自动化评测平台架构
- 如何平衡人工评测的成本与机器评测的效率？
- 复习大模型评测相关经典论文（如HELM, LMSYS Chatbot Arena），梳理个人项目中的技术架构图与关键决策点
职位点评
薪资福利90
成长发展95
工作生活60
使命价值85
薪资福利
90较高
作为超大型互联网公司的专家级岗位，提供极具竞争力的薪酬包和完善的福利体系，满足度高。
薪资信号未披露（AI估算：6.0千–10.0万/月）
成长发展
95较高
岗位涉及AI评测这一新兴且核心的技术领域，能接触最前沿的LLM与Agent技术，成长空间巨大。
技术前沿前沿/新兴技术
技术栈LLM、Agent、RAG、LLM-as-a-Judge、Rubric、Trace
业务类型profit_center
工作生活
60中等
互联网大厂通常节奏较快，虽未明确提及加班，但专家岗往往承担重要攻坚任务，工作强度可能较高。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
85较高
致力于提升AI应用的用户体验和可靠性，推动AI技术更好地服务于大众，具有显著的社会价值和行业影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
小红书 的其他在招职位
相似职位推荐
音频美学实习生-【可灵AI专项】
快手 · 北京市
AI 估算 · 0.2–0.3千24 分钟前发布
晓天衡宇-领域主管-work方向
阿里巴巴 · 杭州市
AI 估算 · 4.0–7.0万1 小时前发布
阿里控股-AI评测专家-AI模型
阿里巴巴 · 杭州市
AI 估算 · 4.0–7.0万1 小时前发布
标注和地图内业质量管理
美团 · 北京市
AI 估算 · 2.0–3.5万2 天前发布
商品信息信息核验
美团 · 北京市
AI 估算 · 1.2–2.0万2 天前发布
晓天衡宇-领域主管-image方向
阿里巴巴 · 杭州市
AI 估算 · 4.0–7.0万3 天前发布
AI评测负责人（Agent/大模型方向）
腾讯 · 深圳市
AI 估算 · 4.0–7.0万8 天前发布
日常实习生-大模型数据评测-Qwen基础模型
阿里巴巴 · 北京市
AI 估算 · 0.3–0.4千9 天前发布
Watch Jobs