
资深 AI 评测岗(大模型 / Agent)
发布于 1 小时前普通员工/个人贡献者
值不值得投
综合评分 75
前沿大模型评测岗,成长性强,跨团队推动要求高,WLB与薪酬信息未披露。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。
薪资怎么样
4.8万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2510 个在招 · 其中数据标注与评测 4 个
市场机会
选择适中
上海 · 数据标注与评测 · 14 个在招
职位详情
关于这个职位
该岗位面向大模型与 Agent 应用场景,负责把真实业务需求拆解为可执行的评测任务、评价标准和评测集,并分析模型能力边界与应用链路问题
最低要求
有模型评测或 AI 应用效果评估相关的实际经验,能够从具体场景出发设计评测,而不只停留在通用指标或 benchmark
工作职责
建设场景评测方案:理解业务 use case,将真实需求拆解为可执行的评测任务、评价标准和评测集,并持续维护与完善
优先资格
有大模型团队的训练或评测体系经验,同时也经历过创业团队或快速迭代环境
AI 洞察
优缺点分析
优点
- 岗位处于大模型与 Agent 应用落地的关键环节,能积累稀缺的场景评测和模型判断经验
- 工作内容连接模型、产品和业务,适合希望理解 AI 产品全链路的人
- 有从零搭建评测体系和推动迭代的机会,成果容易体现在模型选型和产品质量提升上
- 北京、上海、杭州多地点可选,便于候选人结合城市偏好选择
- 场景评测没有固定标准,需要持续把模糊业务需求转化为清晰、可复现的评测方案
- 业务场景快速变化,评测集、标准和结论需要持续维护,对效率和抽象能力要求高
- 适合有大模型评测、AI 应用评估或模型效果分析经验,且愿意深入业务场景、推动跨团队迭代的资深候选人
缺点 / 挑战
- 需要同时理解模型能力、应用链路和业务目标,跨团队沟通和判断压力较大
角色解读
- 可成长为大模型评测体系负责人,主导多场景评测标准、平台化能力和方法论建设
- 可向 AI 产品质量、模型应用策略或 Agent 产品方向延伸,连接模型能力与业务落地
- 长期可发展为 AI 评测专家、模型应用负责人或跨团队技术管理者
- 将业务真实 use case 拆解成评测任务、评价标准和评测集,并持续维护,让抽象需求变成可验证的测试体系
- 设计针对大模型和 Agent 的评测方法,分析模型在具体场景中的表现,判断问题来自模型能力还是应用链路
- 与模型、产品、业务团队协作,把评测结论转化为改进方向,并跟进迭代效果
- 沉淀可复用的评测标准和方法,提升评测对模型选型和产品迭代的参考价值
- 需要理解大模型能力边界,熟悉模型评测或 AI 应用效果评估,不局限于通用 benchmark
- 具备场景化评测设计能力,能把业务需求转化为可测试的模型要求、评价标准和评测集
- 需要较强的数据分析和判断能力,能从结果中识别关键问题并推动团队行动
- 加分能力包括大模型训练或评测体系经验、从零搭建评测集经验,以及用代码或脚本完成评测工作
申请策略
- 面试前准备一个完整评测案例,讲清楚背景、评测设计、关键发现、推动动作和最终效果
- 关注小红书社区内容与 AI 应用结合的业务场景,思考内容理解、推荐、搜索或创作辅助中的评测难点
- 重点写清你做过的模型评测或 AI 应用效果评估项目,尤其是从业务场景到评测任务、标准和评测集的完整过程
- 突出你如何判断问题来自模型能力还是应用链路,并给出具体评测结论如何推动模型或产品迭代
- 展示跨团队协作经历,包括与算法、产品、业务团队共同推动问题定位和方案落地的案例
- 如果有脚本、自动化评测、评测平台或评测集持续维护经验,应单独列出工具、方法和产出
- 补强大模型评测方法,包括场景化评测集设计、评分标准制定、人工与自动评测结合、结果可复现性
- 提升脚本能力,至少能用 Python 完成数据清洗、批量测试、结果统计和基础可视化
面试指南
- 案例回答采用「业务目标—评测设计—执行分析—推动迭代—结果复盘」结构,突出可量化产出
- 问题定位类回答先拆链路,再用对照实验、错误归因和样本分析证明判断依据
- 协作类回答强调事实和数据,说明如何把评测结果转化为对方可执行的改进项,并跟进闭环
- 请讲一个你从业务场景出发设计评测方案的案例,评价标准是如何制定的?
- 如何判断一个 AI 应用效果差是模型能力问题,还是应用链路问题?
- 如果要为 Agent 设计一套场景评测集,你会如何保证覆盖度和可复现性?
- 当评测结论与产品或模型团队的判断不一致时,你会如何推动共识?
- 你用代码或脚本做过哪些评测相关工作,如何提升评测效率?
职位点评
薪资福利
JD 未披露薪资和福利信息,但岗位为资深 AI 评测方向,职责覆盖评测体系建设和跨团队推动,通常对资深候选人具备一定吸引力。由于缺少明确薪酬福利描述,判断保留一定不确定性。
成长发展
岗位聚焦大模型与 Agent 场景评测,涉及评测集建设、能力边界分析、模型选型和产品迭代,技能成长空间较大。JD 还提到沉淀评测方法,但明确提及晋升或培训的内容有限。
工作生活
JD 明确列出北京、上海、杭州三个工作城市,但没有说明远程、混合办公、弹性工时或加班情况。城市选择较多,但具体办公模式和通勤便利性无法判断。
使命价值
岗位与大模型和 Agent 应用落地相关,评测结果会影响模型选型和产品迭代,对提升 AI 产品质量有直接价值。JD 未明确表达社会使命或行业价值导向,因此意义感主要来自技术应用场景本身。
小红书 的其他在招职位