高德地图
高德-评测产品经理-AI Agent方向
高德-评测产品经理-AI Agent方向
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公产品经理
产品经理
Ai Agent
Benchmark Design
Llm Evaluation
Product Management
Prompt Engineering
Rag
值不值得投
82综合评分
综合评分 82
大厂核心AI赛道、前沿技术栈、高成长空间、中高薪资、工作强度可能较大
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.0万
比产品经理中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 320 个在招 · 其中产品经理 27 个
市场机会
选择面较广
北京 · 产品经理 · 约 960 个在招
职位详情
关于这个职位
负责构建面向真实复杂场景的AI Agent评测产品体系，涵盖Benchmark标准制定、自动化评测平台规划与设计
通过建立多维度指标与自动化分析能力，推动Agent研发过程中的效果验证、问题归因与持续优化闭环，将评测转化为驱动AI进化的核心基础设施
最低要求
本科及以上学历，计算机、人工智能、数学或相关专业优先，3年以上互联网或AI产品相关经验
熟悉大语言模型及Agent基本原理，理解Prompt、RAG、Tool Calling、Memory、Agent Workflow等关键技术
具备较强的产品设计与系统化思考能力，能够将复杂的评测流程抽象为标准化、可复用的平台能力
具备较强的数据分析能力，能够独立设计评测指标、分析实验结果、识别问题并推动改进
具备良好的技术理解力，能够与算法、工程团队深入讨论Agent执行链路、评测方法及效果优化
具备较强的主动性和结果导向，能够独立推进跨团队复杂项目
工作职责
Agent Benchmark与评测标准建设
建立面向AI Agent的评测指标体系，覆盖任务完成率、答案质量、工具调用、可靠性、响应效率与成本等维度
设计标准化评测Case，定义Query、Context、Rubric、难度、Domain等规范
构建覆盖真实用户场景的评测集体系，包括核心集、固定集、演化集、压力集等，持续提升评测覆盖度与区分度
自动化评测产品建设
负责Agent评测平台的产品规划与设计，支持评测集管理、评测任务运行、自动评分、实验对比和结果分析
探索LLM-as-a-Judge、规则评测、人工评测等多种方式，提升自动评测准确性、一致性与效率
支持不同模型、Prompt、工具策略及Agent版本的横向对比和效果回归
评测分析与问题归因
建立从整体指标到单条Case的多层次分析能力，识别Agent在意图理解、上下文利用、工具使用、任务执行等环节的问题
结合Agent Trace、工具调用日志和中间推理状态，推动失败分类、问题聚类及自动归因
将评测结果转化为可执行的优化建议，帮助研发团队快速定位和解决问题
Agent持续优化闭环
建立评测驱动的研发迭代流程，支持问题发现、修复验证、回归测试与版本质量准入
探索线上真实请求采样、评测集自动演化、影子评测等机制，持续发现新问题
推动评测体系与Agent开发平台、Harness及发布流程集成，支撑Agent持续优化
业务评测落地
与算法、工程及业务团队协作，将统一评测能力应用于地图智能体全场景
推动不同业务建立可复用的评测标准，持续跟踪核心指标及优化收益
优先资格
有LLM Evaluation、Agent Benchmark、模型评测平台等相关产品经验
熟悉RAGAS、DeepEval、LangSmith、Langfuse、OpenAI Evals等评测框架或产品
有LLM-as-a-Judge、自动归因、评测数据合成、评测集演化等实践经验
有AI Agent、搜索推荐、对话系统或自动化测试平台相关经验
具备SQL、Python等基础数据处理能力，能独立开展评测分析或快速验证产品方案
AI 洞察
优缺点分析
优点
- 处于AI Agent最前沿赛道，接触LlamaIndex、LangChain等最新技术生态，技术视野极佳
- 在大厂核心业务线，资源投入充足，能接触到海量真实用户场景数据
- 岗位具有极高的不可替代性，是连接AI研发与业务落地的关键枢纽，职业壁垒高
- 成果直接驱动产品进化，成就感强，且容易产出行业影响力的标杆案例
- 需要同时兼顾技术深度与产品广度，对候选人的综合学习能力要求极高
- 跨部门协作复杂，需协调算法、工程、业务多方利益，推动落地难度大
- 行业变化极快，需保持高强度的学习节奏以跟上技术迭代速度
缺点 / 挑战
- AI Agent领域标准尚未完全统一，需从零搭建评测体系，探索成本高，试错压力大
- 适合具备3年以上AI/互联网产品经验，对LLM技术有深刻理解，且喜欢挑战不确定性、具备极强逻辑思维和系统化能力的求职者
角色解读
- 成为AI Agent评测领域的专家，主导行业标准的制定与评测体系的架构设计
- 向更广泛的AI产品负责人发展，统筹从评测到研发全流程的产品战略
- 深入AI底层技术与应用层结合的交叉领域，成为懂技术又懂产品的复合型领军人才
- 设计AI Agent的评测指标体系与标准化Case规范，构建多维度的评估框架
- 规划并设计自动化评测平台，实现评测集管理、自动评分及实验对比功能
- 通过数据分析与归因，定位Agent在意图理解、工具调用等环节的问题并提供优化建议
- 建立评测驱动的研发闭环，推动Agent版本的持续迭代与质量准入
- 深刻理解LLM、Agent原理及Prompt、RAG、Tool Calling等关键技术栈
- 具备极强的产品系统化思维能力，能将复杂评测流程抽象为标准化平台能力
- 扎实的数据分析能力，能独立设计指标、分析实验结果并驱动业务改进
- 良好的技术沟通力，能与算法、工程团队深入探讨执行链路与优化方案
申请策略
- 准备一份详细的评测体系设计方案作为作品集，展示你的思考深度与落地能力
- 面试前深入了解高德地图在AI领域的布局及当前面临的挑战，展现业务敏感度
- 强调你的‘结果导向’与‘主动性’，举例说明如何在模糊需求下推动项目进展
- 突出展示过往设计的评测体系或数据平台产品，强调指标设计的科学性与覆盖率
- 详细描述如何利用数据分析驱动产品迭代的具体案例，体现‘发现问题-定位原因-推动解决’的闭环能力
- 强调对LLM、Agent相关技术的理解深度，如熟悉RAG、Prompt优化、模型评估框架等
- 展示跨团队协作经验，特别是与算法、工程团队共同解决复杂技术问题的经历
- 深入学习主流LLM评测框架（如RAGAS、DeepEval、LangSmith），了解其优缺点及适用场景
面试指南
- STAR法则：情境(Situation)-任务(Task)-行动(Action)-结果(Result)，重点突出行动中的思考逻辑
- 结构化思维：先定义目标，再拆解维度，最后给出具体指标与落地方案
- 数据驱动：用数据说话，展示如何通过A/B测试或历史数据验证方案有效性
- 用户视角：始终围绕‘如何提升用户体验’或‘如何降低研发成本’展开论述
- 如何设计一个全面且可量化的AI Agent评测指标体系？请举例说明
- 面对Agent在特定场景下的性能瓶颈，你如何通过评测数据定位根本原因？
- 如何平衡自动化评测的效率与准确性？LLM-as-a-Judge的优劣是什么？
- 如果算法团队认为你的评测标准不切实际，你会如何沟通并推动共识？
职位点评
薪资福利85
成长发展95
工作生活60
使命价值80
薪资福利
85较高
作为已上市大型互联网公司的核心AI岗位，薪资水平处于市场中上，福利体系完善，稳定性较高。
薪资信号偏高 (3.0千–5.0万/月)
成长发展
95较高
处于AI Agent最前沿赛道，技术栈新颖，成长空间巨大，能接触行业顶尖技术与人才。
技术前沿前沿/新兴技术
技术栈AI Agent、LLM、RAG、Prompt、Tool Calling、Benchmark、Python、SQL
业务类型profit_center
工作生活
60中等
大厂核心研发岗位通常工作强度较大，虽未明确提及加班文化，但AI赛道竞争激烈，需做好高强度心理准备。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
致力于构建AI Agent的核心基础设施，推动技术向善与高效落地，具有显著的行业影响力与社会价值。
行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号让Agent的能力可衡量、问题可定位、效果可持续提升
创新程度开拓性创新（行业首创）
高德地图 的其他在招职位
相似职位推荐
产品经理（OS系统）
商米科技 · 上海市
AI 估算 · 2.0–3.5万12 分钟前发布
VP, Senior Product Manager
野村控股 · 香港特别行政区
AI 估算 · 8.0–12.0万40 分钟前发布
产品经理（物流履约方向）-redshop
小红书 · 北京市
AI 估算 · 2.5–4.5万6 小时前发布
高级产品经理-飞书人事
飞书 · 杭州市
AI 估算 · 3.5–6.0万7 小时前发布
商家端产品经理（体验优化）-抖音生活服务
抖音 · 上海市
AI 估算 · 2.5–4.0万7 小时前发布
智驾产品经理_XC
博世 · 苏州市
AI 估算 · 2.5–4.0万8 小时前发布
腾讯灯塔-C端创新产品经理
腾讯 · 深圳市
AI 估算 · 2.5–4.5万15 小时前发布
中台产品经理（研发效能与工具平台方向）
网易 · 杭州市
AI 估算 · 2.5–4.0万15 小时前发布
Watch Jobs