蚂蚁集团
蚂蚁集团-医学专项-AI 健康产品评测专家
蚂蚁集团-医学专项-AI 健康产品评测专家
发布于 3 小时前普通员工/个人贡献者
全职员工混合式弹性办公数据标注与评测
数据标注与评测
Ai评测
Llm-As-Judge
Rag
医疗健康
大模型(Llm)
数据分析
用户体验
自动化评测
值不值得投
74综合评分
综合评分 74
前沿AI+医疗交叉领域、技术成长性强、平台资源优，但工作节奏可能较快。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.0万
比数据标注与评测中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 860 个在招
市场机会
选择适中
北京 · 数据标注与评测 · 35 个在招
职位详情
关于这个职位
负责蚂蚁AI健康Chatbot/Personal Agent的评测体系建设，设计疾病咨询、慢病管理等场景的评测标准与指标
结合业务场景构建高质量评测数据集，推动人工与自动化评测落地
通过版本评测、竞品分析与Bad Case归因，协同算法、产品及医疗团队，持续优化模型能力与用户体验
最低要求
本科及以上学历，计算机、人工智能、医学、公共卫生、营养、运动科学、心理学等相关背景，有 AI 产品、大模型评测或医疗健康相关项目经验
具备良好的 AI 产品思维和用户体验判断力，能理解用户真实诉求，将“好的回答与服务体验”转化为明确、可执行的评测标准，关注即时咨询与长期健康管理的不同需求
对疾病咨询、减重、慢病管理等医疗及泛健康场景有基本理解，关注用户的身体状况、生活习惯和执行困难，具备科学证据和安全边界意识
有医疗 AI、健康管理、营养运动或临床相关经验者优先
了解大模型基本原理、能力边界及常见问题，理解 RAG、多轮对话、记忆与工具调用等机制
熟悉主流 Benchmark 和评测方法，能结合业务设计评测方案
熟悉 Python 等数据分析与编程工具，能够完成数据处理、评测脚本开发与结果分析
有 LLM-as-Judge、自动化评测或健康领域 Benchmark 建设经验者优先
具备良好的逻辑分析、问题归因和跨团队协作能力，能输出有依据、可落地的优化建议，并推动验证与改进
工作职责
负责 AI 健康 Chatbot / Personal Agent 的评测体系建设，围绕疾病咨询、辅助问诊、报告解读，以及减重、营养运动、慢病管理等场景，设计评测标准、指标与方案
从用户健康需求和产品体验出发，评估内容科学性、安全性、多轮沟通、个性化及建议可执行性，衡量产品是否帮助用户理解健康问题、制定合理计划，并通过持续跟进支持健康行为改善
结合真实业务场景与业界 Benchmark，建设高质量评测数据集，覆盖多轮对话、个性化记忆、健康计划调整、工具调用及高风险场景，推动人工与自动化评测落地
开展版本评测、竞品分析和 Bad Case 归因，与算法、产品、工程及医疗健康专业团队协作，将评测结论转化为模型能力和用户体验的持续改进
优先资格
有医疗 AI、健康管理、营养运动或临床相关经验者优先
有 LLM-as-Judge、自动化评测或健康领域 Benchmark 建设经验者优先
AI 洞察
优缺点分析
优点
- 聚焦前沿AI+医疗交叉领域，技术栈新颖且业务价值高
- 头部平台资源充足，接触核心算法与真实海量数据
- 跨学科协作机会多，利于拓宽职业边界与技术视野
- 医疗合规与安全边界要求极高，容错率低
- 需同时兼顾技术实现与医学专业性，学习曲线陡峭
- 评测标准随业务与法规动态变化，需持续跟进业界最新进展
- 适合具备跨学科背景（技术+医疗/健康）、对AI应用落地有热情、注重细节与逻辑分析的求职者
缺点 / 挑战
暂无明显挑战项
角色解读
- 可向AI产品专家、大模型评测架构师或健康科技项目负责人方向发展
- 积累垂直领域Know-how后，有机会主导AI医疗产品的全生命周期管理与商业化落地
- 构建AI健康产品的评测体系与数据集，设计多维度评测指标（科学性、安全性、个性化等）
- 开发自动化评测脚本并分析Bad Case，定位模型缺陷
- 协同算法、产品及医疗团队，将评测结论转化为模型迭代与体验优化方案
- 掌握大模型核心机制（RAG、多轮对话、工具调用、对齐技术）
- 熟练使用Python进行数据处理、脚本开发与结果分析
- 具备医疗健康领域知识及科学证据评估能力
- 熟悉主流Benchmark与自动化评测方法论
申请策略
- 提前研究目标公司健康生态布局，准备针对具体场景（如慢病管理或减重）的定制化评测方案设计思路，展现业务理解力
- 突出大模型评测项目经验、Python自动化脚本开发成果、医疗健康领域专业知识及跨团队协作案例
- 量化评测指标提升比例与Bad Case修复效果
- 深入研读LLM-as-Judge、RAG优化及健康领域权威指南
- 补充统计学与实验设计知识，提升评测方案的严谨性与可复现性
面试指南
- 采用STAR法则结构化回答
- 先阐述业务目标与约束条件，再拆解技术路径与评估维度，最后给出落地方案、风险控制与迭代闭环
- 如何设计一个兼顾科学性与用户体验的AI健康问答评测指标？
- 遇到Bad Case时，如何定位是模型能力不足、Prompt设计问题还是数据分布偏差？
- Python自动化评测脚本如何保证在高并发下的稳定性、准确性与成本可控？
- 复习大模型核心机制（注意力机制、微调、RLHF）
- 准备1-2个完整的评测项目案例，涵盖指标设计、数据采集、结果分析与业务转化
- 了解国内AI医疗监管政策与合规红线
职位点评
薪资福利75
成长发展85
工作生活60
使命价值70
薪资福利
75中等
头部科技企业薪酬福利处于行业第一梯队，但JD未明确披露具体薪资范围与福利细节。
薪资信号未披露（AI估算：3.0千–5.0万/月）
成长发展
85较高
岗位深度参与大模型评测与健康AI前沿探索，技术栈先进且跨学科成长空间大。
技术前沿前沿/新兴技术
技术栈Python、LLM、RAG、LLM-as-Judge、Benchmark
业务类型ambiguous
工作生活
60中等
互联网大厂通常节奏较快，JD未提及弹性工时或远程办公，工作强度可能较高。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
致力于提升公众健康管理与疾病预防水平，具有明确的社会价值导向。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
蚂蚁集团 的其他在招职位
相似职位推荐
Watch Jobs