微信
微信基础-大模型评测产品经理
微信基础-大模型评测产品经理
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公AI产品经理
AI产品经理
Ai Agent
Ai产品
Llm
Nlp
产品设计
多模态
大模型评测
数据分析
评测体系
值不值得投
80综合评分
综合评分 80
腾讯微信核心AI团队、前沿大模型赛道、薪资竞争力强，适合追求技术成长与业务影响力的产品人才。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.3万
比AI产品经理中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 250 个在招
市场机会
选择适中
广州 · AI产品经理 · 14 个在招
职位详情
关于这个职位
该职位负责主导微信AI大模型产品的评测体系搭建与方法论制定，设计评测平台产品架构并驱动研发落地
你需要深度分析评测数据以发现模型能力短板，并跟踪竞品与行业趋势，为产品和算法团队提供决策支持
最低要求
本科及以上学历，3年以上产品经理经验
具备AI/NLP/对话系统相关评测工作经验
熟悉AI产品评测的科学方法，包括评测指标设计、统计显著性检验、评分者一致性（Kappa/ICC）、A/B实验设计等
具备评测平台或数据平台的产品设计经验，能独立输出完整的产品方案
对LLM/AI Agent产品有深刻理解，熟悉主流AI产品的能力边界和用户场景
优秀的数据分析能力，能从海量评测数据中提炼关键洞察
出色的文档撰写和跨团队沟通能力，能有效推动多方协作
工作职责
评测体系设计：主导AI产品的评测体系搭建，定义评测维度、指标、标准和流程，确保评测的科学性和全面性
评测方法论制定：设计适配不同场景（对话、工具调用、多轮交互、创意生成等）的评测方案，包括自动评测、人工评测、众包评测、竞品对比等
评测平台产品设计：规划评测平台的产品架构和功能模块，输出PRD，驱动研发团队落地
评测洞察与决策支持：深度分析评测数据，发现产品体验问题和模型能力短板，输出有洞察力的评测报告，推动产品和算法团队优化
竞品评测与行业跟踪：持续跟踪业界竞品的能力变化，建立常态化竞品评测机制
标注体系管理：设计标注规范和质量控制流程，确保评测数据质量
优先资格
计算机、统计学、心理学、语言学或相关专业优先
有评测体系从0到1搭建经验者优先
具备一定技术背景者优先
熟悉多模态（图像、视频、语音）评测方法和指标体系者优先
有标注团队管理或众包平台运营经验者优先
AI 洞察
优缺点分析
优点
- 依托微信庞大的用户场景与数据资源，能接触到业界最前沿的大模型应用落地
- 评测体系从0到1的搭建经验在AI时代极具稀缺性，能建立极高的个人市场竞争力
- 团队氛围注重产品本质与用户价值，有利于培养深度的产品思考力
- 跨团队推动算法与产品优化需要极强的沟通与协调能力，平衡多方诉求具有一定难度
- 适合具备扎实数据分析能力、对AI技术有浓厚兴趣，且希望在AIGC/大模型赛道深耕的产品经理
缺点 / 挑战
- 大模型能力边界仍在快速演进，评测标准和方法论需要持续迭代，面临较高的技术理解门槛
角色解读
- 可向资深AI产品专家、大模型产品负责人方向发展，主导核心AI产品的演进
- 或转型为AI算法策略产品经理，深入参与底层模型能力建设与前沿技术探索
- 负责搭建大模型产品的评测体系，制定自动与人工评测方案，定义科学的评测维度与指标
- 设计评测平台产品架构并推动研发落地，规划功能模块并输出PRD
- 深度分析评测数据并输出洞察报告，跟踪竞品趋势，推动算法和产品团队持续优化模型能力
- 具备AI/NLP/大模型评测经验，熟悉评测指标设计与统计检验方法（如Kappa/ICC、A/B实验）
- 拥有评测平台或数据平台产品设计能力，能独立输出完整的产品方案
- 具备优秀的数据分析与跨团队沟通能力，能从海量数据中提炼关键洞察并推动多方协作
申请策略
- 准备一份针对微信某款AI产品（如微信输入法、元宝等）的竞品评测报告或评测体系设计方案，作为面试作品集
- 突出过往在AI/NLP/对话系统领域的评测经验，特别是从0到1搭建评测体系的项目成果
- 展示评测平台产品设计案例，以及数据分析驱动业务或算法优化的实际收益
- 强调对LLM/AI Agent能力边界的理解，以及多模态评测或标注体系管理的经验
- 深入学习LLM/AI Agent的前沿技术原理与能力边界，了解主流评测集（如SuperCLUE、C-Eval）的设计思路
- 补充多模态评测方法及统计学显著性检验（如Kappa/ICC）的专业知识
面试指南
- 采用STAR法则，结合具体场景说明评测维度的拆解逻辑，突出科学性与全面性
- 强调数据驱动和闭环思维，说明评测结果如何实际转化为产品或算法的优化动作及业务收益
- 如何为大模型的多轮对话或工具调用场景设计评测指标？
- 在评测数据存在主观性时，如何保证评分者一致性（如Kappa系数）？
- 请分享一个你从0到1搭建评测平台或数据平台的经历
- 如何发现并推动算法团队解决模型能力短板？
- 深入了解微信现有的AI产品矩阵及其大模型应用现状，体验并分析其优缺点
- 复习大模型评测的主流论文或行业报告，掌握自动评测与人工评测的优劣势及适用场景
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
头部互联网企业薪资福利体系完善，大模型方向具备较高的技能溢价，整体薪酬竞争力强。
薪资信号未披露（AI估算：2.5千–4万/月）
成长发展
90较高
处于大模型技术爆发的核心赛道，能深度参与前沿AI产品的评测与迭代，技术视野与专业能力成长空间巨大。
技术前沿前沿/新兴技术
技术栈LLM、AI Agent、NLP、多模态、A/B实验、Kappa/ICC
业务类型ambiguous
工作生活
60中等
JD未明确提及工作模式与加班情况，但核心业务线通常工作节奏较快，WLB情况需视具体团队而定。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
践行“用户为本，科技向善”理念，致力于通过大模型技术为用户创造实际价值，具有较强的社会意义与使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号用户为本，科技向善、为用户创造价值
创新程度积极采用新技术
Watch Jobs