阿里巴巴
数据技术及产品部-多模态理解大模型评测专家-杭州/北京
数据技术及产品部-多模态理解大模型评测专家-杭州/北京
发布于 4 小时前普通员工/个人贡献者
全职员工仅现场办公产品经理
产品经理
可视化开发
多模态大模型
数据驱动
算法协作
评测体系设计
Nlp/Cv基础
用户体验量化
值不值得投
74综合评分
综合评分 74
阿里核心AI部门、聚焦前沿多模态评测、技术产品复合发展、城市园区办公
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.5万
比产品经理中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 3570 个在招 · 其中产品经理 约 140 个
市场机会
选择面较广
北京 · 产品经理 · 约 780 个在招
职位详情
关于这个职位
负责主导多模态大模型的评测体系设计与落地，将真实用户场景转化为可量化的体验指标
通过设计覆盖检索、内容理解等高频场景的评测任务，挖掘Bad Case并推动模型优化
需与算法及产品团队紧密协作，提供数据驱动的迭代建议，助力AI产品体验升级
最低要求
对多模态 AI 产品有强烈用户视角，能清晰阐述"什么是好的产品多模态理解体验"并转化为可量化指标
具备从零设计产品侧评测体系的经验，理解评测集在区分度、代表性、生态效度方面的权衡
年以上 AI 产品（多模态大模型、智能助手、AI 搜索、文档/视频理解等）的产品、体验或评测相关经验
对多模态理解技术有基本认知，能与算法团队进行有效的技术沟通
熟练掌握 Python，有评测工具或平台开发经验，熟悉前端或主流可视化工具者优先
良好的产品思维与沟通能力，能从用户需求出发设计评测方案
工作职责
主导多模态理解大模型评测体系设计，从真实用户场景出发定义核心能力维度，将体验痛点转化为可量化的评测指标
设计覆盖信息检索、内容理解、文档分析、视频摘要、富媒体问答等高频场景的评测任务，推动评测从"学术任务"向"产品体验"演进
持续挖掘真实使用中的 Bad Case，做系统性分类与归因，形成问题清单与改进优先级
建立评测数据质量管控与版本管理机制，定期更新评测集以覆盖新场景与新模态组合
与产品、算法团队紧密协作，在新模型上线前完成评测，提供数据驱动的优先级建议
优先资格
有 ChatGPT、Claude、Gemini、Qwen-VL 等主流多模态产品的深度使用与体验分析经历
有用户研究、用户访谈或用户反馈管理体系建设经验
具备 NLP 或 CV 背景，对多模态融合有一定理解
有内容审核、信息检索、文档/视频理解等相关产品的评测或产品经验
AI 洞察
优缺点分析
优点
- 深度参与前沿多模态大模型核心环节，技术视野开阔且贴近一线业务
- 适合具备AI产品敏感度、擅长数据建模与跨部门协同的复合型求职者
缺点 / 挑战
- 需平衡学术评测标准与真实产品体验，Bad Case归因与指标量化难度较高
角色解读
- 可向AI产品专家、评测架构师或AI产品负责人方向发展，深耕大模型体验优化与商业化落地
- 负责搭建多模态大模型的产品级评测体系，将抽象的用户体验转化为可量化的评估指标
- 掌握Python编程与评测工具开发，具备扎实的AI产品思维与跨团队技术沟通能力
申请策略
- 提前调研目标公司主流多模态产品，准备1-2个针对特定场景的评测方案设计思路
- 突出过往独立搭建评测体系的完整案例，量化指标设计思路与模型优化带来的实际效果
- 强化Python数据处理与可视化库（如Matplotlib/Plotly）实战能力，补充多模态大模型最新进展知识
面试指南
- 采用STAR法则结合数据思维：先界定业务场景与核心目标，再说明指标拆解逻辑（如准确性、响应速度、交互流畅度），最后用实际项目数据验证闭环效果
- 如何设计一套兼顾区分度与代表性的多模态评测集？
- 遇到模型Bad Case时，你的归因分析与优先级排序逻辑是什么？
- 如何将模糊的用户体验痛点转化为可量化的产品指标？
- Python在评测工具开发中通常承担哪些核心职责？
- 梳理过往完整的评测项目链路，准备1个典型Bad Case的深度归因案例，复习多模态大模型基础原理与常见评测基准（如C-Eval、CMMLU）
职位点评
薪资福利75
成长发展85
工作生活55
使命价值75
薪资福利
75中等
阿里作为头部互联网企业，薪酬福利体系成熟规范，虽JD未明确具体薪资范围，但整体竞争力符合市场水准。
薪资信号未披露（AI估算：3.0千–6.0万/月）
成长发展
85较高
岗位聚焦前沿多模态大模型评测，技术栈领先，能深度接触核心AI产品线，具备较强的专业成长空间。
技术前沿前沿/新兴技术
技术栈Python、多模态大模型、NLP、CV、可视化开发
业务类型ambiguous
工作生活
55较低
工作地点位于一线/新一线城市核心科技园区，通勤条件较好；但互联网大厂节奏较快，JD未明确说明加班政策或弹性工时，需做好心理准备。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
75中等
投身于快速演进的多模态AI领域，致力于提升AI产品的实际用户体验，具有显著的技术探索价值与社会应用前景。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs