天猫
智能算法产品事业部-搜索AI评测产品-北京、杭州
智能算法产品事业部-搜索AI评测产品-北京、杭州
发布于 大约 20 小时前普通员工/个人贡献者
全职员工仅现场办公AI产品经理
AI产品经理
A/B测试
Ai评测
Llm
Llm-As-A-Judge
Prompt设计
Rlhf
搜索推荐
数据分析
电商
值不值得投
68综合评分
综合评分 68
巨头核心AI评测岗，前沿技术栈，发展空间大，但工作强度可能较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
40K
比AI产品经理中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 160 个在招 · 其中AI产品经理 9 个
市场机会
选择面较广
北京 · AI产品经理 · 约 110 个在招
职位详情
关于这个职位
作为天猫搜索AI评测产品经理，你将负责构建电商搜索全链路及LLM/Agent场景的评测体系，将模糊的用户体验问题转化为可量化指标
工作涵盖评测体系设计、数据流建设、问题归因分析，并推动评测结论落地为算法和产品的优化方案，是连接技术、产品与业务的关键角色
最低要求
经验与背景：本科及以上学历，3年以上搜索/推荐策略或2年以上AI评测产品经验，深入理解搜索/推荐系统底层链路，或深入理解大模型基本原理与常见能力维度
专业能力：结构化拆解能力，能将复杂、模糊的体验问题及'效果不好'拆成可评测、可归因、可优化的指标
兼具业务审美与系统性思维，能把'美感/体验'转化为客观量化标准
工作职责
一、评测体系设计与指标定义：把模糊的'用户预期未达成/效果不好'拆解为可量化、可归因、可执行的指标
对上负责电商搜索全链路（Query理解、相关性、丰富性等）的指标体系建设
面向LLM、Agent、工具调用、多轮推理等场景，构建科学、可扩展的能力评测维度（指令遵循、推理、幻觉、安全性、工具调用等）
建立离线评测、在线人巡、A/B测试、人工主观评估相结合的分层框架
二、数据流、流程建设与人机协作：制定样本采样策略、标注SOP、Badcase分类体系，沉淀高质量评测样本集与测评集
推动大模型（LLM-as-a-judge）在规模化评测中的落地，设计Prompt、校准机制与人工评审标准，实现自动评测与人工评测的互校验
搭建'标准—评测—数据反馈'的闭环机制，向模型训练与方案迭代产出高质量偏好数据与奖励信号
三、问题洞察与深度归因：深入分析用户反馈、评测数据及日志，对搜索结果及Agent执行链路中的Bad Case进行系统性归因，准确定位算法策略（召回、粗排、精排、决策/工具调用等）及产品功能的硬伤，定期输出评测问题归因报告
持续跟踪行业前沿Benchmark、评测方法与模型能力演进，做竞品对比与行业研究
四、业务驱动与闭环落地：将评测结论转化为算法、产品、运营可落地的优化方案，建立闭环验证机制，量化策略迭代与模型迭代的业务价值，推动复杂跨团队项目落地
以推动算法、模型和产品真正改好为目标
优先资格
强加分：熟悉LLM-as-judge的校准与人工互校验实践
有LLM/多模态与Agent评测设计经验
一般加分：有RLHF偏好数据建设、Prompt设计或专家评审池建设经验
了解大模型评测平台、数据标注平台、实验/A_B平台、模型管理平台
对通用智能体有深入了解与重度使用经验
AI 洞察
优缺点分析
优点
- 身处AI与电商结合的核心领域，能接触到最前沿的LLM、Agent技术，技能积累具有高价值和稀缺性
- 天猫平台提供海量真实业务场景和数据，工作成果能直接对业务产生可量化的影响，成就感强
- 作为巨头企业核心事业部，平台资源丰富，职业发展空间大，薪资待遇优厚
- 评测体系设计需要极强的抽象和结构化能力，将模糊体验转化为量化指标，对专业能力要求高
- 需要跨团队协作，推动算法、产品、运营多方落地优化方案，沟通协调成本高
- AI技术迭代快，需要持续跟踪行业前沿Benchmark和评测方法，保持技术敏感度
- 适合对AI技术有深入理解，具备结构化思维和系统性思考能力，热爱解决复杂问题，并希望在AI评测领域深耕的产品经理
缺点 / 挑战
暂无明显挑战项
角色解读
- 在AI评测领域深耕，可成长为评测体系专家，主导行业级评测标准制定，成为连接算法、产品与业务的核心人才
- 凭借对搜索/推荐链路和大模型的深入理解，可横向拓展至算法产品、策略产品等更广泛的AI产品管理岗位
- 随着AI技术演进，评测岗位重要性日益凸显，有机会向团队管理或技术管理方向发展，带领团队推动业务创新
- 负责设计电商搜索全链路及LLM/Agent场景的评测体系，将模糊的用户体验问题转化为可量化、可归因、可执行的指标
- 制定样本采样策略、标注SOP和Badcase分类体系，推动LLM-as-a-judge在规模化评测中的落地，实现自动与人工评测的互校验
- 深入分析用户反馈、评测数据及日志，对Bad Case进行系统性归因，定位算法策略和产品功能的硬伤，并输出评测问题归因报告
- 将评测结论转化为算法、产品、运营可落地的优化方案，建立闭环验证机制，量化策略迭代的业务价值
- 深入理解搜索/推荐系统底层链路，或深入理解大模型基本原理与常见能力维度，这是构建有效评测体系的基础
- 具备结构化拆解能力，能将复杂模糊的体验问题拆解为可评测、可归因、可优化的指标，兼具业务审美与系统性思维
- 熟悉LLM-as-a-judge的校准与人工互校验实践，有LLM/多模态与Agent评测设计经验是强加分项
- 了解RLHF偏好数据建设、Prompt设计、专家评审池建设，以及大模型评测平台、数据标注平台、实验/A/B平台等工具
申请策略
- 了解天猫电商搜索的业务特点，思考AI评测如何赋能电商场景，在面试中展示业务洞察
- 准备一个完整的评测体系设计案例，展示从指标定义到落地闭环的完整思路
- 突出搜索/推荐策略或AI评测产品经验，用具体项目案例展示如何将模糊体验问题转化为可量化指标
- 强调LLM-as-a-judge、RLHF、Prompt设计等AI评测相关项目实践，展示对前沿技术的掌握
- 展示数据分析能力和归因能力，用数据驱动决策的案例证明能推动业务优化
- 系统学习LLM评测方法论，如HELM、MMLU、AgentBench等评测基准，了解最新评测趋势
- 补充学习搜索/推荐系统知识，如召回、粗排、精排等链路，提升对业务底层逻辑的理解
- 实践LLM-as-a-judge的校准和人工互校验流程，积累Prompt设计经验
面试指南
- STAR法则：描述情境、任务、行动和结果，突出你的结构化拆解能力和业务影响力
- 从指标定义、数据采集、评测执行、结果归因、闭环优化五个维度系统阐述评测体系设计思路
- 强调数据驱动和业务价值，说明评测结论如何转化为可落地的优化方案
- 如何将'用户预期未达成'这一模糊体验问题拆解为可量化的评测指标？请举例说明
- 在设计LLM-as-a-judge的评测方案时，如何确保自动评测与人工评测的一致性？
- 请描述一个你主导的AI评测项目，如何通过评测结果推动算法或产品优化？
- 对于电商搜索场景，如何设计一个覆盖端到端体验的评测体系？
- 如何评估Agent在工具调用过程中的表现？请设计一个评测方案
职位点评
薪资福利70
成长发展90
工作生活40
使命价值60
薪资福利
70中等
职位未明确薪资范围，但作为巨头企业核心岗位，薪资水平通常具有竞争力，福利体系完善。
薪资信号未披露（AI估算：30K-50K/月）
成长发展
90较高
职位深度涉及LLM、Agent等前沿AI技术评测，技能成长空间大，且能积累搜索推荐全链路经验，发展性极强。
技术前沿前沿/新兴技术
技术栈LLM、Agent、LLM-as-a-judge、RLHF、A/B测试
业务类型profit_center
工作生活
40较低
职位未提及工作模式，但作为核心业务岗位，工作强度可能较高，且需在北京或杭州现场办公。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
60中等
职位通过评测推动电商搜索和AI能力优化，对提升用户体验有直接价值，但社会影响力相对中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs