高德地图
高德-Agent数据与评测-北京
高德-Agent数据与评测-北京
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公数据分析与科学
数据分析与科学
Llm Evaluation
Platform Development
Sql
值不值得投
80综合评分
综合评分 80
AI前沿赛道、高成长性、高技术要求、大厂平台、WLB待确认
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
5.5万
比数据分析与科学中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 330 个在招 · 其中数据分析与科学 5 个
市场机会
选择面较广
北京 · 数据分析与科学 · 约 520 个在招
职位详情
关于这个职位
负责构建下一代Agent产品的数据度量与评测体系，通过设计严谨的实验和统计方法，对Agent的业务表现、用户体验及模型能力进行全面诊断
需搭建自动化评测平台与数据看板，定位产品问题并输出可行动的洞察，推动数据驱动的组织文化
最低要求
● 5年以上 Data Science / Applied Scientist 经验，扎实的实验设计与统计方法论功底（A/B testing、因果推断、置信区间等）
● 有设计和落地评测体系的经验（LLM eval、产品 A/B testing 或传统 ML 评测），理解 LLM / Agent 的基本工作原理，读懂 prompt、理解 tool call、解析 trace
● 有从0到1搭建过数据或评测类平台的经验（LLM eval平台，A/B测试平台、数仓平台等），能够把需求抽象为平台后能力
● 把模糊的产品问题拆解为可衡量、可自动化验证的指标体系
● 强烈的 ownership 意识——指标是你的，问题是你的，答案也是你的
● 强 SQL / Python 数据处理能力，能和产品、算法团队直接协作
工作职责
● 业务度量与分析
○ 定义并维护 Agent 产品的核心业务指标体系，设计并落地因果分析方案，确保业务决策建立在统计严谨的基础上
○ 通过数据分析定位产品问题，输出可行动的洞察
○ 建立 dashboards 和 data driven 的组织文化，让团队对产品健康状况保持清晰认知
● 效果评测体系：
○ 设计 Agent 能力的评测框架：覆盖单步准确性、多轮对话、工具调用、端到端任务完成等维度
○ 构建和维护 benchmark 数据集，确保评测能真实反映用户场景
○ 建立自动化评测 pipeline，支持模型迭代和 prompt 优化的快速验证
● 诊断与归因
○ 当产品指标下滑或出现异常时，能快速定位是模型问题、产品问题还是数据问题
○ 分析用户真实 session，识别 Agent 的典型失败模式
○ 将定量数据与定性分析结合，形成完整的问题诊断报告
● 平台搭建：
○ 推动 Eval Platform（评测集管理、回归测试、CI/CD 集成）与 Data Platform（指标看板、实验平台）的建设，评估两者底层基础设施（如日志采集、数据仓库）的复用可能性
优先资格
● 有 LLM / Agent 产品的评测经验（Prompt evaluation、LLM-as-judge、hallucination detection等）
● 有管理数据科学、评测团队或跨职能团队的经验
● 有推动过质量门禁类流程（release gating、CI/CD质量卡点）的经验
AI 洞察
优缺点分析
优点
- 平台化思维强，能从底层基建到上层应用全链路参与
- 大厂背书，资源充足
- Agent评测标准尚在探索中，缺乏成熟范式，需自行定义指标体系
- 需要极强的跨部门协作能力，推动数据文化落地难度大
缺点 / 挑战
- 处于AI Agent前沿领域，技术栈新颖且具有挑战性
- 适合喜欢挑战未知、具备极强自驱力和平台化思维的资深数据科学家，而非仅执行既定任务的分析师
角色解读
- 可向首席数据科学家、AI产品负责人或技术专家方向发展，成为连接算法、产品与数据的桥梁角色
- 负责构建Agent产品的数据度量与评测体系，定义核心业务指标并进行因果分析
- 搭建自动化评测平台和数据看板，定位产品问题并输出洞察
- 扎实的统计学基础（A/B测试、因果推断），精通Python/SQL数据处理
- 具备从0到1搭建数据/评测平台的经验，深入理解LLM/Agent原理
申请策略
- 准备具体的案例，说明如何定义模糊问题的量化指标，以及如何推动团队采纳数据结论
- 了解高德Agent最新产品动态
- 突出从0到1搭建评测平台或数据系统的经验，展示如何通过数据驱动解决复杂产品问题的案例
- 强调统计学功底和LLM相关项目
- 深入学习LLM评测前沿方法（如LLM-as-judge, hallucination detection）
- 强化因果推断在实际业务场景中的应用案例准备
面试指南
- 使用STAR法则（情境、任务、行动、结果）描述过往项目
- 重点突出方法论的选择依据、遇到的坑及解决方案、最终带来的业务价值
- 请分享一个你从0到1搭建评测体系的经历，遇到的最大挑战是什么？
- 如何设计实验来评估Agent在多轮对话中的长期效果？
- 当产品指标下滑时，你如何进行归因分析？请举例说明
- 如何平衡评测的全面性与计算成本？
- 如何向非技术背景的产品经理解释复杂的统计结果？
- 复习A/B测试、因果推断的核心概念
职位点评
薪资福利85
成长发展92
工作生活60
使命价值75
薪资福利
85较高
作为已上市大型互联网公司的核心研发岗位，提供具有竞争力的薪酬福利和稳定的职业环境，满足度高。
薪资信号偏高 (4.0千–7.0万/月)
成长发展
92较高
处于AI Agent最前沿领域，涉及LLM评测、因果推断等高端技能，且要求搭建平台，个人成长空间极大。
技术前沿前沿/新兴技术
技术栈LLM、Agent、A/B testing、Causal Inference、Python、SQL、Eval Platform
业务类型profit_center
工作生活
60中等
JD未明确提及WLB，但作为核心研发岗位，通常面临一定的项目压力和快节奏，办公地点位于海淀核心区通勤可能较忙。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
致力于构建更智能、好用的Agent产品，提升用户体验，具有一定的社会价值和行业影响力。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新（行业首创）
高德地图 的其他在招职位
相似职位推荐
HV Battery Data Analytics Engineer高压电池数据分析工程师
奔驰 · 北京市
AI 估算 · 2.5–4.0万31 分钟前发布
智能算法产品事业部-数据科学-杭州
天猫 · 杭州市
AI 估算 · 2.5–4.0万12 小时前发布
运营管理工程师（数据处理）
宁德时代 · 宁德市
AI 估算 · 1.5–2.5万13 小时前发布
社会招聘-校园招聘 实习生招聘 联系我们
新华保险 · 广州市
AI 估算 · 4.0–6.0千1 天前发布
Investment Performance Analysis, Senior Associate
道富公司 · 杭州市
AI 估算 · 1.5–2.5万1 天前发布
奶量数据分析高级主管(J69010)
蒙牛乳业 · 呼和浩特市
AI 估算 · 2.5–4.0万1 天前发布
Data Analytic - CMI( Corp-Marketing)
雀巢 · 北京市
AI 估算 · 3.5–6.0万2 天前发布
Senior Business Analyst
汇丰 · 广州市
AI 估算 · 2.0–3.5万2 天前发布
Watch Jobs