Xiaohongshu logo
小红书
Agent 评测 Leader(通用 Harness / 评测平台)

Agent 评测 Leader(通用 Harness / 评测平台)

发布于 1 小时前

基层主管/组长

AI 估算 · 4.0–7.0万 · AI 参考估算
高级经验
本科
全职员工仅现场办公AI算法
AI算法
Agent评测
Llm-As-A-Judge
Prompt Engineering
分布式系统
团队管理

值不值得投

80综合评分

综合评分 80

前沿AI评测领域、平台化技术领导岗、高成长潜力、高强度业务导向

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

5.5万

比AI算法中位数低

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 2440 个在招 · 其中AI算法 12 个

市场机会

选择面较广

北京 · AI算法 · 约 220 个在招

职位详情

关于这个职位

负责通用Agent评测体系与平台搭建,通过Memory、Tools等专项评测控制模型质量与成本

深入业务场景定义质量标准,主导评测集建设与人/机评校准,确保结果科学性
同时带领团队进行诊断归因,推动各Agent团队迭代优化

最低要求

本科及以上学历,有生产级 Agent 或复杂 AI 应用评测经验,主导过从质量定义、方案设计到平台建设和业务落地的完整过程

理解 harness、上下文、memory、工具调用和模型选择,能结合执行过程定位效果问题
掌握评测集采样、Rubric、LLM-as-a-Judge、人评/机评校准和对照实验,能判断评测是否可信、结论能否支持决策
平台工程能力扎实,能带领团队建设任务调度、执行环境、评分和报告能力,并参与解决关键技术问题
有团队管理、业务理解和跨团队推动能力,能结合具体场景制定质量标准,推动平台建设与业务 BP 共同落地

工作职责

负责通用 harness 评测

围绕 memory、tools、automodel 等建设专项和端到端评测,控制模型、工具、记忆状态等影响因素,判断迭代对质量、成本、时延及各 Agent 场景的影响
建设好用的评测平台
覆盖评测集、评分器管理、执行环境、批量跑分、版本对比、报告和诊断归因,让结果可追溯、可复现,方便各团队用于日常迭代
BP Agent 团队,带着方案和平台落地
深入真实用户场景,协同定义质量标准、建设评测集、选择评分方式,把评测接入迭代流程,并将共性需求沉淀到平台
做好 QC,保证评测科学性
检查场景覆盖、评分标准、参考答案和评分器偏差,做好人评/机评校准、LLM-as-a-Judge 验证和抽检,识别数据泄漏、环境差异等问题,明确结论的适用范围
做好诊断归因和团队建设
结合执行 Trace 和对照实验定位问题,推动改进并复测验证
搭建评测方法、平台工程和业务 BP 团队,明确与各 Agent 团队的分工

优先资格

有多 Agent 共用底座的评测经验,或评测平台在多个业务团队落地的经验,加分

AI 洞察

优缺点分析

优点

  • 处于AI Agent前沿领域,接触最前沿的LLM评测技术与架构,技术含金量高
  • 平台化思维强,成果可复用性强,容易形成个人技术品牌与影响力
  • 小红书作为头部互联网大厂,资源丰富,能接触到海量真实用户场景数据
  • 技术栈更新极快,需持续学习最新的Agent架构与评测工具链
  • 适合有大模型评测经验、具备平台开发能力且喜欢从0到1搭建体系的资深技术专家或技术Leader

缺点 / 挑战

  • Agent评测标准尚不成熟,需要自行探索定义高质量的评价体系,挑战巨大
  • 需要平衡评测的科学性与业务迭代的速度压力,常面临多方博弈

角色解读

  • 向AI基础设施专家发展,成为大模型评测领域的行业权威
  • 晋升为更高级别的技术管理者,负责更大范围的AI中台或基础架构团队
  • 转型为AI产品经理或算法负责人,深入理解业务与技术结合的深层逻辑
  • 构建和维护通用的Agent评测框架(Harness)与自动化评测平台,确保AI模型迭代的质量可控
  • 深入业务场景,定义Agent评测的标准(如Memory、Tools使用效果),设计评分机制(包括LLM-as-a-Judge和人评校准)
  • 作为BP(业务伙伴)嵌入Agent研发团队,通过数据诊断和归因分析,推动产品性能优化与问题解决
  • 带领评测技术团队,制定技术规范,协调多方资源,提升整体研发效能
  • 精通大模型Agent架构原理(Context Window, Memory, Tool Calling, Model Routing)
  • 熟练掌握评测方法论:Rubric设计、对照实验、数据泄漏检测、人/机评一致性校验
  • 具备扎实的平台工程能力,能开发高并发、可扩展的评测执行环境与可视化报告系统
  • 拥有优秀的跨团队沟通与项目管理能力,能将复杂的评测需求转化为标准化的平台功能

申请策略

  • 关注小红书近期在AI领域的布局(如笔记搜索、智能助手等),思考评测如何赋能这些具体场景
  • 准备具体的案例,说明如何解决过评测中的“幻觉”、“数据泄漏”或“评分不一致”难题
  • 突出主导过的AI评测平台建设项目,强调平台覆盖率、效率提升数据及业务价值
  • 详细列举掌握的评测方法论(如LLM-as-a-Judge的具体实现细节、校准策略)
  • 展示跨团队协作经验,特别是如何将评测流程嵌入CI/CD或日常迭代流程的案例
  • 深入研究当前主流的Agent评测基准(如SWE-bench, AgentBench等)及其局限性
  • 加强分布式系统设计与大数据处理能力,以应对大规模评测任务的调度需求
  • 提升数据分析与可视化能力,能够直观呈现评测结果与归因分析

面试指南

  • STAR法则:情境(Situation)、任务(Task)、行动(Action)、结果(Result)
  • 结构化回答:先讲方法论(如分层评测、多维度指标),再讲技术实现(如并行计算、缓存策略),最后讲业务价值(如迭代周期缩短X%)
  • 辩证思考:承认现有技术的局限性,并提出未来的改进方向
  • 你如何设计一个针对Multi-Agent协作场景的评测体系?
  • LLM-as-a-Judge存在哪些偏差?你如何通过技术手段或流程进行校准?
  • 请描述你曾经搭建的评测平台的架构,如何处理高并发评测任务?
  • 当评测结果与人工评估不一致时,你如何排查原因并优化评分器?
  • 如何衡量评测平台对业务迭代效率的提升?

职位点评

薪资福利85
成长发展92
工作生活60
使命价值75

薪资福利

85较高

小红书作为C轮后超大型企业,提供具有竞争力的薪酬福利,虽非顶级高薪梯队,但在一线互联网城市中属于市场水准偏上水平,稳定性较好。

薪资信号未披露(AI估算:4.0千–7.0万/月)

成长发展

92较高

该职位处于AI Agent评测这一新兴且快速演进的领域,技术前沿性极高,且涉及平台建设与团队管理,个人成长空间巨大,职业天花板高。

技术前沿前沿/新兴技术
技术栈Agent、Harness、LLM-as-a-Judge、Memory、Tools、Automodel
成长机会带领团队建设、搭建评测方法、平台工程和业务 BP 团队
业务类型profit_center

工作生活

60中等

互联网大厂通常伴随一定的工作强度,虽然JD未明确提及加班文化,但“BP Agent团队”、“推动改进”等职责暗示了较高的业务响应要求,WLB可能一般。

工作模式未明确
办公地点市区核心地段
加班情况未提及(无法判断)

使命价值

75中等

通过构建科学的评测体系,保障AI产品的安全性与可靠性,间接提升用户体验,具有一定的社会价值和技术使命感,尤其在AI治理日益重要的背景下。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs