百度
大模型评测算法工程师（J100902）
大模型评测算法工程师（J100902）
发布于 大约 15 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
本科
研究与开发 (研发)
数据分析
RAG
自然语言处理
LLM
多模态
VLM
医疗健康
自动化评测
大模型评测
AI 估算 · 30k–50k
百度大厂高级算法岗，北京市场薪资较高，结合经验要求5年+，预估月薪30-50K，16薪。
职位详情
关于这个职位
该职位主要负责医疗健康场景下大模型（LLM/VLM/Agent）的评测体系建设，包括设计数据驱动的评测框架、搭建智能化评测平台、进行模型误差分析与能力诊断，并跟踪前沿评测方法，为模型迭代和产品上线提供质量决策依据
适合具备NLP、模型评测或大模型经验，对医疗AI领域感兴趣的算法工程师
最低要求
计算机、人工智能、自然语言处理、机器学习、统计学、数学等相关专业本科及以上学历，具备5年以上算法、NLP、模型评测或大模型相关经验
具备系统性评测体系建设经验，熟悉benchmark构建、rubric设计、人工评测、自动评测、A/B实验、误差分析、质量闭环和模型上线验收机制
具备扎实的数据分析与工程实现能力，熟练使用AI工具，理解ACC、AUC、F1、Recall、MAE、Bias、Cohen’s Kappa、置信区间、显著性检验等常用评测指标和统计方法
对大模型前沿技术和评测范式有持续关注，熟悉LLM-as-Judge、偏好评估、对齐评测、Agent评测、RAG评测、多模态评测、自动化数据生成等方法，具备良好的问题抽象、跨团队协作和项目推进能力
工作职责
负责医疗健康场景下 LLM / VLM / Agent 等模型评测体系建设，设计数据驱动、可复现、可扩展的评测框架，覆盖医学问答、健康科普、辅助问诊、报告解读、用药咨询、多模态理解等核心场景
探索并落地智能化、平台化评测能力，包括 LLM-as-Judge、自动化弱项挖掘、医疗风险识别、模型对比分析、评测任务调度、指标看板、评测报告生成和多模型多版本回归分析
基于评测结果开展模型误差归因与能力诊断，构建可复用的 case mining、error analysis 和能力边界分析方法，沉淀自动化诊断与质量监控能力，反向指导模型训练、post-training、prompt 和产品策略优化
持续跟踪医疗大模型、医学知识评测、多模态医疗理解、Agent 评测、RAG 评测、用户模拟评测等前沿方法，结合真实医疗健康业务场景建设评测范式，为模型迭代和产品上线提供质量决策依据
AI 洞察
优缺点分析
优点
- 百度作为国内AI大厂，技术平台和资源丰富，能接触到最前沿的大模型技术
- 团队对评测重视度高，有完善的协作流程和自动化工具，能系统化提升技术能力
- 薪资在行业内具有竞争力，福利体系完善（六险一金、餐补等，JD未明确但大厂标配）
- 技术迭代快，需持续学习新方法，保持领域前沿敏感度
- 适合对AI模型评测有浓厚兴趣，具备NLP或机器学习背景，喜欢系统性思考和数据驱动工作，希望在医疗AI领域深入发展的算法工程师
缺点 / 挑战
- 医疗AI赛道前景广阔，该职位在评测方向具有较高技术壁垒，专业积累价值大
- 医疗领域对准确性和安全性要求极高，评测标准和验收流程严格，工作压力较大
- 需要跨团队协作（模型训练、产品、医学专家等），沟通协调成本较高
角色解读
- 技术专家路线：深耕大模型评测领域，成为公司内测评方法论权威
- 技术管理路线：带领评测团队，负责更大范围的模型质量保障，晋升为团队Leader
- 交叉领域发展：转向AI产品经理或数据科学方向，利用评测经验推动产品优化
- 设计并建设医疗大模型（LLM/VLM/Agent）的评测体系，包括构建评测数据和自动化流程
- 搭建智能化评测平台，实现自动化弱项挖掘、风险识别、模型对比分析和看板展示
- 基于评测结果进行误差归因和诊断，输出优化建议，反向指导模型训练和产品策略
- 跟踪LLM-as-Judge、Agent评测、RAG评测等前沿方法，结合医疗场景落地创新评测范式
- 扎实的NLP、机器学习基础，熟悉大模型评测方法和典型指标（ACC、F1、Kappa等）
- 系统性评测体系搭建经验，包括benchmark设计、rubric制定、A/B实验和质量闭环
- 数据分析与工程实现能力，熟练使用Python及相关AI工具，具备数据驱动的问题解决能力
- 对大模型前沿有持续关注，了解LLM-as-Judge、偏好评估、多模态评测等最新进展
申请策略
- 在简历或求职信中表达对医疗AI评测的兴趣和长期规划，展示与该职位的高匹配度
- 准备1-2个具体的评测项目案例，面试时能流畅地讲清楚设计思路、执行过程和结果影响
- 突出过往模型评测或NLP项目的系统性成果，如构建过评测集、设计过评估指标体系
- 强调数据分析能力，附上具体指标提升案例（如F1提升X%，错误率降低Y%）
- 展示对大模型评测前沿方法的了解，如LLM-as-Judge、Agent评测等，可提及个人实践或学习心得
- 如有医疗健康领域项目经验，务必突出，并说明对医疗数据特点和评测要点的理解
- 补充大模型评测相关知识，阅读相关论文（如Auto-J、AlpacaEval、MT-Bench等），动手实践开源评测工具
- 学习统计学知识，特别是假设检验、置信区间、效应量等，以应对误差分析需求
面试指南
- STAR法则：描述情境（S）、任务（T）、行动（A）、结果（R），结合具体项目案例
- 结构化表达：从问题定义、方法选型、执行步骤、结果验证、后续迭代五个层面展开
- 展示批判性思维：指出方法的局限性和改进方向，体现深度思考
- 请设计一个医疗大模型评测数据集，需要考虑哪些维度？
- LLM-as-Judge方法有哪些优缺点？如何保证其评估结果的可靠性？
- 如何评估一个Agent系统在医学问诊场景下的表现？
- 当模型在某个子任务上F1较低时，你会如何进行误差分析？
- 你如何看待当前大模型评测中的量化偏差问题？有什么改进思路？
职位点评
72
综合评分
百度大厂，前沿大模型评测，薪资竞争力强，技术成长快，但工作强度和WLB一般。
更适合这类人
该职位最适合追求技术成长、关注前沿AI发展、希望在工作中获得专业成就感的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展85
工作生活50
使命价值80
薪资福利
75中等
百度作为上市大厂，薪资水平具有竞争力，福利体系完善，但JD未明确具体薪资和福利，因此评分中等偏上。
薪资信号未披露（AI估算：30K-50K/月）
成长发展
85较高
该职位涉及大模型评测前沿技术，能深入接触LLM/VLM/Agent等，技术成长空间大，但未明确提及培训或晋升路径。
技术前沿前沿/新兴技术
技术栈大模型评测、LLM、VLM、Agent、LLM-as-Judge、RAG、多模态
业务类型ambiguous
工作生活
50较低
仅现场办公，无远程弹性安排，大厂通常有一定加班文化，WLB信号不明确。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
80较高
医疗健康AI具有积极社会影响力，行业高速增长，职位创新性强，有助于个人使命感实现。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs