
小红书
Agent 评测 Leader(通用 Harness / 评测平台)
Agent 评测 Leader(通用 Harness / 评测平台)
发布于 1 小时前基层主管/组长
全职员工仅现场办公AI算法
AI算法
Agent评测
Llm-As-A-Judge
Prompt Engineering
分布式系统
团队管理
值不值得投
80综合评分
综合评分 80
前沿AI评测领域、平台化技术领导岗、高成长潜力、高强度业务导向
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
5.5万
比AI算法中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2440 个在招 · 其中AI算法 12 个
市场机会
选择面较广
北京 · AI算法 · 约 220 个在招
职位详情
关于这个职位
负责通用Agent评测体系与平台搭建,通过Memory、Tools等专项评测控制模型质量与成本
深入业务场景定义质量标准,主导评测集建设与人/机评校准,确保结果科学性
同时带领团队进行诊断归因,推动各Agent团队迭代优化
最低要求
本科及以上学历,有生产级 Agent 或复杂 AI 应用评测经验,主导过从质量定义、方案设计到平台建设和业务落地的完整过程
理解 harness、上下文、memory、工具调用和模型选择,能结合执行过程定位效果问题
掌握评测集采样、Rubric、LLM-as-a-Judge、人评/机评校准和对照实验,能判断评测是否可信、结论能否支持决策
平台工程能力扎实,能带领团队建设任务调度、执行环境、评分和报告能力,并参与解决关键技术问题
有团队管理、业务理解和跨团队推动能力,能结合具体场景制定质量标准,推动平台建设与业务 BP 共同落地
工作职责
负责通用 harness 评测
围绕 memory、tools、automodel 等建设专项和端到端评测,控制模型、工具、记忆状态等影响因素,判断迭代对质量、成本、时延及各 Agent 场景的影响
建设好用的评测平台
覆盖评测集、评分器管理、执行环境、批量跑分、版本对比、报告和诊断归因,让结果可追溯、可复现,方便各团队用于日常迭代
BP Agent 团队,带着方案和平台落地
深入真实用户场景,协同定义质量标准、建设评测集、选择评分方式,把评测接入迭代流程,并将共性需求沉淀到平台
做好 QC,保证评测科学性
检查场景覆盖、评分标准、参考答案和评分器偏差,做好人评/机评校准、LLM-as-a-Judge 验证和抽检,识别数据泄漏、环境差异等问题,明确结论的适用范围
做好诊断归因和团队建设
结合执行 Trace 和对照实验定位问题,推动改进并复测验证
搭建评测方法、平台工程和业务 BP 团队,明确与各 Agent 团队的分工
优先资格
有多 Agent 共用底座的评测经验,或评测平台在多个业务团队落地的经验,加分
AI 洞察
优缺点分析
优点
- 处于AI Agent前沿领域,接触最前沿的LLM评测技术与架构,技术含金量高
- 平台化思维强,成果可复用性强,容易形成个人技术品牌与影响力
- 小红书作为头部互联网大厂,资源丰富,能接触到海量真实用户场景数据
- 技术栈更新极快,需持续学习最新的Agent架构与评测工具链
- 适合有大模型评测经验、具备平台开发能力且喜欢从0到1搭建体系的资深技术专家或技术Leader
缺点 / 挑战
- Agent评测标准尚不成熟,需要自行探索定义高质量的评价体系,挑战巨大
- 需要平衡评测的科学性与业务迭代的速度压力,常面临多方博弈
角色解读
- 向AI基础设施专家发展,成为大模型评测领域的行业权威
- 晋升为更高级别的技术管理者,负责更大范围的AI中台或基础架构团队
- 转型为AI产品经理或算法负责人,深入理解业务与技术结合的深层逻辑
- 构建和维护通用的Agent评测框架(Harness)与自动化评测平台,确保AI模型迭代的质量可控
- 深入业务场景,定义Agent评测的标准(如Memory、Tools使用效果),设计评分机制(包括LLM-as-a-Judge和人评校准)
- 作为BP(业务伙伴)嵌入Agent研发团队,通过数据诊断和归因分析,推动产品性能优化与问题解决
- 带领评测技术团队,制定技术规范,协调多方资源,提升整体研发效能
- 精通大模型Agent架构原理(Context Window, Memory, Tool Calling, Model Routing)
- 熟练掌握评测方法论:Rubric设计、对照实验、数据泄漏检测、人/机评一致性校验
- 具备扎实的平台工程能力,能开发高并发、可扩展的评测执行环境与可视化报告系统
- 拥有优秀的跨团队沟通与项目管理能力,能将复杂的评测需求转化为标准化的平台功能
申请策略
- 关注小红书近期在AI领域的布局(如笔记搜索、智能助手等),思考评测如何赋能这些具体场景
- 准备具体的案例,说明如何解决过评测中的“幻觉”、“数据泄漏”或“评分不一致”难题
- 突出主导过的AI评测平台建设项目,强调平台覆盖率、效率提升数据及业务价值
- 详细列举掌握的评测方法论(如LLM-as-a-Judge的具体实现细节、校准策略)
- 展示跨团队协作经验,特别是如何将评测流程嵌入CI/CD或日常迭代流程的案例
- 深入研究当前主流的Agent评测基准(如SWE-bench, AgentBench等)及其局限性
- 加强分布式系统设计与大数据处理能力,以应对大规模评测任务的调度需求
- 提升数据分析与可视化能力,能够直观呈现评测结果与归因分析
面试指南
- STAR法则:情境(Situation)、任务(Task)、行动(Action)、结果(Result)
- 结构化回答:先讲方法论(如分层评测、多维度指标),再讲技术实现(如并行计算、缓存策略),最后讲业务价值(如迭代周期缩短X%)
- 辩证思考:承认现有技术的局限性,并提出未来的改进方向
- 你如何设计一个针对Multi-Agent协作场景的评测体系?
- LLM-as-a-Judge存在哪些偏差?你如何通过技术手段或流程进行校准?
- 请描述你曾经搭建的评测平台的架构,如何处理高并发评测任务?
- 当评测结果与人工评估不一致时,你如何排查原因并优化评分器?
- 如何衡量评测平台对业务迭代效率的提升?
职位点评
薪资福利85
成长发展92
工作生活60
使命价值75
薪资福利
85较高
小红书作为C轮后超大型企业,提供具有竞争力的薪酬福利,虽非顶级高薪梯队,但在一线互联网城市中属于市场水准偏上水平,稳定性较好。
薪资信号未披露(AI估算:4.0千–7.0万/月)
成长发展
92较高
该职位处于AI Agent评测这一新兴且快速演进的领域,技术前沿性极高,且涉及平台建设与团队管理,个人成长空间巨大,职业天花板高。
技术前沿前沿/新兴技术
技术栈Agent、Harness、LLM-as-a-Judge、Memory、Tools、Automodel
成长机会带领团队建设、搭建评测方法、平台工程和业务 BP 团队
业务类型profit_center
工作生活
60中等
互联网大厂通常伴随一定的工作强度,虽然JD未明确提及加班文化,但“BP Agent团队”、“推动改进”等职责暗示了较高的业务响应要求,WLB可能一般。
工作模式未明确
办公地点市区核心地段
加班情况未提及(无法判断)
使命价值
75中等
通过构建科学的评测体系,保障AI产品的安全性与可靠性,间接提升用户体验,具有一定的社会价值和技术使命感,尤其在AI治理日益重要的背景下。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
小红书 的其他在招职位
相似职位推荐
蚂蚁健康-FDE专家(AI Agent技术)-业务发展
蚂蚁集团 · 杭州市
AI 估算 · 4.0–7.0万3 小时前发布
Agent Personalization and Memory Evolution
联想 · 北京市
AI 估算 · 8.0–15.0万16 小时前发布
Industrial Engineering ES
德科斯米尔 · 沈阳市
AI 估算 · 1.5–2.5万17 小时前发布
日常实习生-大模型后训练(Reasoning & STEM)-Qwen基础模型
阿里巴巴 · 杭州市
AI 估算 · 4.0–6.0千17 小时前发布
千问事业部-安全大模型运营高级专家-北京
阿里巴巴 · 北京市
AI 估算 · 6.0–10.0万17 小时前发布
ATH事业群-AI 应用开发专家-伶鹊-杭州/北京
阿里巴巴 · 杭州市
AI 估算 · 4.0–7.0万17 小时前发布
日常实习生-Agent数据方向-Qwen基础模型
阿里巴巴 · 杭州市
AI 估算 · 0.3–0.4千17 小时前发布
ATH事业群-大模型Agent应用专家-伶鹊-杭州/北京
阿里巴巴 · 杭州市
AI 估算 · 4.0–7.0万17 小时前发布
Watch Jobs