阿里巴巴
智能算法产品事业部-搜索AI评测产品-北京、杭州
智能算法产品事业部-搜索AI评测产品-北京、杭州
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公AI产品经理
AI产品经理
A/B测试
Agent评测
Ai评测
Bad Case归因
Llm-As-A-Judge
Prompt设计
Rlhf
大模型
搜索算法
值不值得投
78综合评分
综合评分 78
核心业务线AI评测产品岗，大模型前沿技术栈，成长空间大，薪资具竞争力，WLB未明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
4万
比AI产品经理中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2920 个在招 · 其中AI产品经理 60 个
市场机会
选择面较广
杭州 · AI产品经理 · 93 个在招
职位详情
关于这个职位
该职位负责电商搜索及大模型（LLM/Agent）的评测体系设计与指标定义，通过构建科学的评测框架和闭环机制，推动算法策略与模型能力的持续优化
你需要深入分析Bad Case并进行归因，将评测结论转化为可落地的业务优化方案，提升搜索全链路的用户体验
最低要求
经验与背景：本科及以上学历，3年以上搜索/推荐策略或2年以上AI评测产品经验，深入理解搜索/推荐系统底层链路，或深入理解大模型基本原理与常见能力维度
专业能力：具备结构化拆解能力，能将复杂、模糊的体验问题及“效果不好”拆成可评测、可归因、可优化的指标
兼具业务审美与系统性思维，能把“美感/体验”转化为客观量化标准
工作职责
一、评测体系设计与指标定义：把模糊的“用户预期未达成/效果不好”拆解为可量化、可归因、可执行的指标
对上负责电商搜索全链路（Query理解、相关性、丰富性性等）的指标体系建设
面向LLM、Agent、工具调用、多轮推理等场景，构建科学、可扩展的能力评测维度（指令遵循、推理、幻觉、安全性、工具调用等）
建立离线评测、在线人巡、A/B测试、人工主观评估相结合的分层框架，覆盖端到端体验与质量监控
二、数据流、流程建设与人机协作：制定样本采样策略、标注SOP、Badcase分类体系，沉淀高质量评测样本集与测评集
推动大模型（LLM-as-a-judge）在规模化评测中的落地，设计Prompt、校准机制与人工评审标准，实现自动评测与人工评测的互校验
搭建“标准—评测—数据反馈”的闭环机制，向模型训练与方案迭代产出可用于训练的高质量偏好数据与奖励信号，提升迭代效率与评估标准的合理性
三、问题洞察与深度归因：深入分析用户反馈、评测数据及日志，对搜索结果及Agent执行链路中的Bad Case进行系统性归因，准确定位算法策略（召回、粗排、精排、决策/工具调用等）及产品功能的硬伤，定期输出评测问题归因报告
持续跟踪行业前沿Benchmark、评测方法与模型能力演进，做竞品对比与行业研究，探索更贴近真实业务场景的评测范式
四、业务驱动与闭环落地：将评测结论转化为算法、产品、运营可落地的优化方案，建立闭环验证机制，量化策略迭代与模型迭代的业务价值，推动复杂跨团队项目落地
以推动算法、模型和产品真正改好为目标，而非以“产出评测报告”为终点
典型产出包括：定期评测问题归因报告、可复用的评测样本集与测评集、LLM-as-judge校准方案与人工评审标准、支撑决策的竞品/行业研究
优先资格
强加分：熟悉LLM-as-judge的校准与人工互校验实践
有LLM/多模态与Agent评测设计经验
一般加分：有RLHF偏好数据建设、Prompt设计或专家评审池建设经验
了解大模型评测平台、数据标注平台、实验/A_B平台、模型管理平台
对通用智能体有深入了解与重度使用经验
AI 洞察
优缺点分析
优点
- 处于大模型与电商搜索结合的核心业务线，能接触到最前沿的LLM/Agent评测技术
- 平台数据量和业务场景丰富，利于积累深厚的AI产品与算法评测经验，建立行业壁垒
- 大模型评测属于新兴领域，缺乏行业统一标准，需要不断摸索、试错并建立新范式
- 适合对大模型技术有热情、具备强逻辑拆解能力，且希望在AI产品与搜索算法交叉领域深耕的复合型产品人才
缺点 / 挑战
- 需要跨团队推动算法、产品和运营落地，沟通与项目推进成本较高，对软技能要求高
角色解读
- 可向AI产品专家、搜索算法产品负责人方向发展，统筹更大业务线的AI评测与体验优化
- 深入大模型评测与数据飞轮建设，成为AI时代的稀缺评测架构人才
- 负责电商搜索及大模型（LLM/Agent）的评测体系设计，将模糊的用户体验问题转化为可量化的评测指标
- 推动LLM-as-a-judge等自动化评测落地，分析Bad Case并归因，驱动算法策略和产品迭代
- 搭建数据反馈闭环，为模型训练提供高质量的偏好数据与奖励信号，提升迭代效率
- 具备极强的结构化拆解能力，能将复杂体验问题转化为客观量化标准
- 深入理解搜索/推荐底层链路或大模型原理，熟悉LLM评测、RLHF及Prompt设计
- 具备跨团队推动能力，能将评测结论转化为算法、产品、运营可落地的优化方案
申请策略
- 了解淘天集团搜索业务现状与大模型应用进展，准备1-2个针对当前电商搜索AI评测痛点的优化思路作为面试谈资
- 突出过往在搜索/推荐或大模型评测中的具体指标体系搭建经验，以及通过评测驱动业务指标提升的实际案例
- 强调LLM-as-a-judge、RLHF或Agent评测的相关项目经历，展示对前沿技术的理解与落地能力
- 深入学习大模型评测前沿论文与Benchmark，掌握Prompt Engineering及自动化评测工具链
- 提升跨部门项目管理与数据归因分析能力，积累推动复杂项目落地的实战经验
面试指南
- 采用STAR法则，结合具体业务场景，先讲指标拆解逻辑（结构化思维），再讲落地方案（技术深度），最后讲业务收益（闭环价值）
- 如何将模糊的“搜索效果不好”拆解为可量化的评测指标？
- 在LLM-as-a-judge实践中，如何解决大模型评分与人工评分不一致的校准问题？
- 请分享一个你通过Bad Case归因推动算法策略优化的完整案例
- 针对Agent工具调用场景，你会设计哪些评测维度来衡量其能力？
- 熟悉电商搜索全链路（Query理解、召回、排序等）及大模型核心能力维度
- 准备过往项目中的Bad Case分析案例和评测体系设计文档，确保能讲透细节
职位点评
薪资福利85
成长发展90
工作生活50
使命价值75
薪资福利
85较高
核心业务线AI产品岗，薪资具备市场竞争力，大模型方向有技术溢价，但JD未明确披露具体薪资。
薪资信号未披露（AI估算：3千–5万/月）
成长发展
90较高
处于大模型与搜索结合的前沿领域，能深度参与LLM/Agent评测体系从0到1的建设，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈LLM、Agent、LLM-as-a-judge、RLHF、Prompt、A/B测试
业务类型ambiguous
工作生活
50较低
JD未提及工作模式与加班情况，核心业务线通常工作节奏较快，WLB情况无法明确判断。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
推动大模型在电商搜索场景的落地，提升用户搜索体验，具有一定的产品价值与技术探索意义。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs