Xiaohongshu logo
小红书
资深 AI 评测岗(大模型 / Agent)

资深 AI 评测岗(大模型 / Agent)

发布于 1 小时前

普通员工/个人贡献者

AI 估算 · 3.5–6.0万 · AI 参考估算
高级经验
学历未注明
全职员工仅现场办公数据标注与评测
数据标注与评测
Agent评测
产品迭代
大模型评测
模型选型
结果分析
脚本开发
跨团队协作

值不值得投

75综合评分

综合评分 75

前沿大模型评测岗,成长性强,跨团队推动要求高,WLB与薪酬信息未披露。

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

4.8万

比数据标注与评测中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 2510 个在招 · 其中数据标注与评测 4 个

市场机会

选择适中

上海 · 数据标注与评测 · 14 个在招

职位详情

关于这个职位

该岗位面向大模型与 Agent 应用场景,负责把真实业务需求拆解为可执行的评测任务、评价标准和评测集,并分析模型能力边界与应用链路问题

你需要与模型、产品和业务团队协作,用评测结论推动模型选型、产品迭代和方法沉淀

最低要求

有模型评测或 AI 应用效果评估相关的实际经验,能够从具体场景出发设计评测,而不只停留在通用指标或 benchmark

理解大模型的能力边界,能把业务需求转化为可测试的模型要求,并判断问题更可能来自模型还是应用链路
具备良好的分析和判断能力,能从评测结果中识别关键问题,并推动相关团队采取行动
能与模型、产品和业务团队有效协作,适应快速变化的业务场景

工作职责

建设场景评测方案:理解业务 use case,将真实需求拆解为可执行的评测任务、评价标准和评测集,并持续维护与完善

评估模型能力与边界:结合具体场景提出模型能力要求,设计评测方式,分析模型表现,判断问题主要来自模型能力还是应用链路
推动评测驱动迭代:与模型、产品及业务团队协作,将评测结果转化为清晰的问题判断和改进方向,并跟进迭代效果
沉淀评测方法:结合不同场景总结可复用的评测思路与标准,提升评测结论对模型选型和产品迭代的参考价值
参与评测实践:评测集建设、测试执行与结果分析,提升评测工作的效率和可复现性

优先资格

有大模型团队的训练或评测体系经验,同时也经历过创业团队或快速迭代环境

有从零搭建场景评测集、持续用于模型或产品迭代的经验
能用代码或脚本亲自完成评测相关工作

AI 洞察

优缺点分析

优点

  • 岗位处于大模型与 Agent 应用落地的关键环节,能积累稀缺的场景评测和模型判断经验
  • 工作内容连接模型、产品和业务,适合希望理解 AI 产品全链路的人
  • 有从零搭建评测体系和推动迭代的机会,成果容易体现在模型选型和产品质量提升上
  • 北京、上海、杭州多地点可选,便于候选人结合城市偏好选择
  • 场景评测没有固定标准,需要持续把模糊业务需求转化为清晰、可复现的评测方案
  • 业务场景快速变化,评测集、标准和结论需要持续维护,对效率和抽象能力要求高
  • 适合有大模型评测、AI 应用评估或模型效果分析经验,且愿意深入业务场景、推动跨团队迭代的资深候选人

缺点 / 挑战

  • 需要同时理解模型能力、应用链路和业务目标,跨团队沟通和判断压力较大

角色解读

  • 可成长为大模型评测体系负责人,主导多场景评测标准、平台化能力和方法论建设
  • 可向 AI 产品质量、模型应用策略或 Agent 产品方向延伸,连接模型能力与业务落地
  • 长期可发展为 AI 评测专家、模型应用负责人或跨团队技术管理者
  • 将业务真实 use case 拆解成评测任务、评价标准和评测集,并持续维护,让抽象需求变成可验证的测试体系
  • 设计针对大模型和 Agent 的评测方法,分析模型在具体场景中的表现,判断问题来自模型能力还是应用链路
  • 与模型、产品、业务团队协作,把评测结论转化为改进方向,并跟进迭代效果
  • 沉淀可复用的评测标准和方法,提升评测对模型选型和产品迭代的参考价值
  • 需要理解大模型能力边界,熟悉模型评测或 AI 应用效果评估,不局限于通用 benchmark
  • 具备场景化评测设计能力,能把业务需求转化为可测试的模型要求、评价标准和评测集
  • 需要较强的数据分析和判断能力,能从结果中识别关键问题并推动团队行动
  • 加分能力包括大模型训练或评测体系经验、从零搭建评测集经验,以及用代码或脚本完成评测工作

申请策略

  • 面试前准备一个完整评测案例,讲清楚背景、评测设计、关键发现、推动动作和最终效果
  • 关注小红书社区内容与 AI 应用结合的业务场景,思考内容理解、推荐、搜索或创作辅助中的评测难点
  • 重点写清你做过的模型评测或 AI 应用效果评估项目,尤其是从业务场景到评测任务、标准和评测集的完整过程
  • 突出你如何判断问题来自模型能力还是应用链路,并给出具体评测结论如何推动模型或产品迭代
  • 展示跨团队协作经历,包括与算法、产品、业务团队共同推动问题定位和方案落地的案例
  • 如果有脚本、自动化评测、评测平台或评测集持续维护经验,应单独列出工具、方法和产出
  • 补强大模型评测方法,包括场景化评测集设计、评分标准制定、人工与自动评测结合、结果可复现性
  • 提升脚本能力,至少能用 Python 完成数据清洗、批量测试、结果统计和基础可视化

面试指南

  • 案例回答采用「业务目标—评测设计—执行分析—推动迭代—结果复盘」结构,突出可量化产出
  • 问题定位类回答先拆链路,再用对照实验、错误归因和样本分析证明判断依据
  • 协作类回答强调事实和数据,说明如何把评测结果转化为对方可执行的改进项,并跟进闭环
  • 请讲一个你从业务场景出发设计评测方案的案例,评价标准是如何制定的?
  • 如何判断一个 AI 应用效果差是模型能力问题,还是应用链路问题?
  • 如果要为 Agent 设计一套场景评测集,你会如何保证覆盖度和可复现性?
  • 当评测结论与产品或模型团队的判断不一致时,你会如何推动共识?
  • 你用代码或脚本做过哪些评测相关工作,如何提升评测效率?

职位点评

薪资福利78
成长发展88
工作生活55
使命价值72

薪资福利

78中等

JD 未披露薪资和福利信息,但岗位为资深 AI 评测方向,职责覆盖评测体系建设和跨团队推动,通常对资深候选人具备一定吸引力。由于缺少明确薪酬福利描述,判断保留一定不确定性。

薪资信号未披露(AI估算:3.5千–6.0万/月)

成长发展

88较高

岗位聚焦大模型与 Agent 场景评测,涉及评测集建设、能力边界分析、模型选型和产品迭代,技能成长空间较大。JD 还提到沉淀评测方法,但明确提及晋升或培训的内容有限。

技术前沿前沿/新兴技术
技术栈大模型、Agent、模型评测、AI 应用效果评估、benchmark、评测集、应用链路
业务类型ambiguous

工作生活

55较低

JD 明确列出北京、上海、杭州三个工作城市,但没有说明远程、混合办公、弹性工时或加班情况。城市选择较多,但具体办公模式和通勤便利性无法判断。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

72中等

岗位与大模型和 Agent 应用落地相关,评测结果会影响模型选型和产品迭代,对提升 AI 产品质量有直接价值。JD 未明确表达社会使命或行业价值导向,因此意义感主要来自技术应用场景本身。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs