腾讯
微信基础-大模型评测产品经理
微信基础-大模型评测产品经理
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公AI产品经理
AI产品经理
A/B实验
Ai Agent
Ai产品经理
Llm
Nlp
多模态评测
大模型评测
数据分析
值不值得投
80综合评分
综合评分 80
核心大模型评测产品岗，前沿技术栈与高成长空间，薪资竞争力强，但工作节奏可能较快。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.5万
比AI产品经理中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2060 个在招 · 其中AI产品经理 19 个
市场机会
选择适中
广州 · AI产品经理 · 14 个在招
职位详情
关于这个职位
该职位负责腾讯微信基础大模型产品的评测体系搭建与方法论制定，主导评测平台的产品设计与数据洞察分析
你需要结合AI/NLP技术背景，通过科学的评测手段发现模型能力短板，推动产品体验优化
最低要求
本科及以上学历，3年以上产品经理经验
具备AI/NLP/对话系统相关评测工作经验
熟悉AI产品评测的科学方法，包括评测指标设计、统计显著性检验、评分者一致性（Kappa/ICC）、A/B实验设计等
具备评测平台或数据平台的产品设计经验，能独立输出完整的产品方案
对LLM/AI Agent产品有深刻理解，熟悉主流AI产品的能力边界和用户场景
优秀的数据分析能力，能从海量评测数据中提炼关键洞察
出色的文档撰写和跨团队沟通能力，能有效推动多方协作
工作职责
评测体系设计：主导AI产品的评测体系搭建，定义评测维度、指标、标准和流程，确保评测的科学性和全面性
评测方法论制定：设计适配不同场景（对话、工具调用、多轮交互、创意生成等）的评测方案，包括自动评测、人工评测、众包评测、竞品对比等
评测平台产品设计：规划评测平台的产品架构和功能模块，输出PRD，驱动研发团队落地
评测洞察与决策支持：深度分析评测数据，发现产品体验问题和模型能力短板，输出有洞察力的评测报告，推动产品和算法团队优化
竞品评测与行业跟踪：持续跟踪业界竞品的能力变化，建立常态化竞品评测机制
标注体系管理：设计标注规范和质量控制流程，确保评测数据质量
优先资格
计算机、统计学、心理学、语言学或相关专业优先
有评测体系从0到1搭建经验者优先
具备一定技术背景者优先
熟悉多模态（图像、视频、语音）评测方法和指标体系者优先
有标注团队管理或众包平台运营经验者优先
AI 洞察
优缺点分析
优点
- 核心业务线的大模型岗位，能接触最前沿的LLM/AI Agent技术与海量数据
- 平台大，能主导从0到1的评测体系搭建，履历含金量高
- 大模型评测属于新兴领域，缺乏行业绝对标准，需要极强的探索能力和方法论构建能力
- 适合具备技术背景、对AI大模型有浓厚兴趣，且擅长体系化思考与数据分析的资深产品经理
缺点 / 挑战
- 跨团队推动算法和产品优化，沟通与博弈成本较高
角色解读
- 纵向可发展为AI产品专家或评测体系负责人，横向可向大模型应用产品经理、AI策略产品经理或AI商业化方向转型
- 负责微信大模型产品的评测体系搭建与方法论制定，设计自动、人工、众包等多维评测方案
- 主导评测平台的产品规划与PRD输出，通过数据分析洞察模型短板并推动优化
- 需要具备扎实的AI/NLP技术理解力，熟悉LLM能力边界及评测科学方法（如Kappa/ICC、A/B实验）
- 同时要求出色的数据平台产品设计能力与跨团队沟通推动能力
申请策略
- 了解微信近期在AI大模型及AI Agent方面的产品动态，准备一份针对微信AI产品的简要评测优化建议作为面试加分项
- 重点突出AI/NLP相关评测经验，尤其是从0到1搭建评测体系或评测平台的项目经历
- 量化数据分析成果，展示如何通过评测洞察推动模型指标提升
- 深入学习大模型评测的前沿论文与行业实践（如主流评测集的设计逻辑）
- 补充多模态评测及统计学显著性检验的相关知识
面试指南
- 采用STAR法则回答项目经历
- 对于体系设计类问题，采用“目标拆解-维度定义-指标量化-流程闭环”的结构化思路
- 如何从0到1搭建一个大模型对话系统的评测体系？
- 在人工评测中，如何保证评分者一致性（Kappa/ICC）？
- 请分享一个你通过评测数据发现模型短板并推动优化的成功案例
- 自动评测和人工评测在LLM场景下如何结合使用？
- 熟悉主流大模型评测方法论，复习统计学基础（如假设检验、一致性检验）
- 体验并分析微信或腾讯混元相关的AI产品，形成自己的评测视角
职位点评
薪资福利85
成长发展90
工作生活60
使命价值80
薪资福利
85较高
核心业务线的大模型产品岗，薪资具备较强市场竞争力，福利体系完善。
薪资信号未披露（AI估算：2.5千–4.5万/月）
成长发展
90较高
处于AI大模型前沿领域，能深度参与核心评测体系搭建，技术成长与行业视野拓展空间极大。
技术前沿前沿/新兴技术
技术栈LLM、AI Agent、NLP、多模态、A/B实验、Kappa/ICC
业务类型ambiguous
工作生活
60中等
JD未明确提及工作模式与加班情况，但作为核心业务线，工作节奏可能较快。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
致力于“科技向善”与提升大众生活体验，大模型基础能力建设具有较高的社会价值与行业影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号用户为本，科技向善、为用户创造价值
创新程度开拓性创新（行业首创）
Watch Jobs