中国平安
评测中心经理
评测中心经理
发布于 大约 22 小时前中层管理(经理/总监)
成都市
高级经验
全职员工
仅现场办公
本科
分布式系统
团队管理
数据工程
RAG
自动化测试
多模态
大模型
Agent评测
Ai评测
AI 估算 · 30k–50k
大模型赛道热门，管理岗薪资高，平安大厂成都。
职位详情
关于这个职位
作为平安评测中心经理，你将负责大模型及AI产品链路的评测体系建设，管理团队并推动评测驱动的开发迭代闭环
核心工作包括搭建自动化评测平台、设计数据回流机制、建设标注系统，以及覆盖多模态、仿真能力的质量保障
这是大厂核心AI业务的技术管理岗，前景广阔
最低要求
重点大学及以上学历，5年以上AI/大模型相关工作经验，2年以上团队管理或技术Lead经验优先
具备扎实的工程开发基础，精通Python，熟悉分布式系统、AI评测框架，有实际大模型评测项目落地经验
有AI产品链路评测经验，熟练掌握评测数据构建、回流机制、badcase分析及自动化评测能力建设
熟悉主流大模型评测方法论，包括但不限于Agent评测、RAG评测、多模态评测、Mock用户多轮对话模拟等
有金融/保险领域AI应用评测经验优先
具备优秀的沟通协作能力、团队管理经验、敬业精神和快速学习能力
较强的抗压能力和执行力，能够推动跨部门评测-开发-业务正向循环落地
工作职责
负责公司大模型及AI产品链路的评测体系建设与技术管理工作，推动评测驱动的开发迭代闭环
负责评测数据构建、清洗、回流机制设计，实现“上线产品-日常观测-问题发现-数据回流-优化迭代”的正向循环
建设高可用、可配置的评测系统平台，支持评测任务管理、指标分析、badcase分拣、多轮对话模拟及Mock用户能力
结合AI产品链路（意图、提槽位、改写、检索、知识召回、模型入参、最终结果等），搭建自动化评测能力，覆盖幻觉、C端样式、低级问题CICD围栏测试等场景
负责标注平台建设，提供灵活的标注模板、任务配置、审核质检流程，支持人工标注效率统计与质量管控
牵头评测能力搭建，覆盖业务评测、语音评测、图文多模态、仿真能力等，支撑平安万佛等核心服务的质量保障与持续优化
负责评测团队管理、人员培养及跨团队协作，推动评测结果落地到产品改进
优先资格
有金融/保险领域AI应用评测经验优先
AI 洞察
优缺点分析
优点
- 身处大模型核心技术领域，积累前沿AI评测经验
- 平安作为大型金融科技平台，资源丰富，项目影响力大
- 管理岗位，锻炼领导力和跨部门协作能力
- 评测体系从零到一建设，技术难度高，需要深厚工程和算法功底
- 适合有AI开发背景、渴望转型技术管理、对质量保障有热情、能抗压的资深工程师
缺点 / 挑战
- 跨团队推动落地，沟通协调压力大
- 大模型迭代快，需要持续学习，工作强度可能较高
角色解读
- 在AI评测领域深耕，成为行业专家或总监
- 横向拓展到AI产品管理或技术架构方向
- 内部晋升到更高级别管理岗，负责更大范围的AI质量体系
- 负责大模型及AI产品的评测体系搭建，制定评测标准和流程
- 设计数据回流机制，构建自动化评测平台，覆盖多轮对话、多模态等场景
- 管理评测团队，协调跨部门资源，推动评测结果落地到产品改进
- 精通Python，具备分布式系统开发经验，能搭建高可用评测平台
- 深入理解大模型评测方法论，包括Agent、RAG、多模态等
- 有团队管理经验，能带领工程师完成复杂项目交付
申请策略
- 提前了解平安AI产品（如万佛）的评测需求，面试时展现针对性思考
- 准备一个评测体系从0到1建设的方案或复盘案例
- 突出大模型或AI评测项目经验，说明你如何搭建评测pipeline和自动化工具
- 强调团队管理或技术lead经历，展示leadership能力
- 列出Python、分布式系统、AI框架等硬技能的实际应用案例
- 熟悉主流大模型评测框架如lm-evaluation-harness、HELM等
- 补充Agent、RAG评测方面的知识，了解多模态评测方法
- 学习标注平台设计，掌握数据回流与质量管控方法
面试指南
- 结合具体项目，按“目标-方案-实施-结果”结构回答，突出数据驱动和闭环思维
- 对技术问题，先定义问题边界，再提出多方案对比，最后推荐最优解
- 请描述你过去搭建大模型评测体系的经历，遇到过哪些挑战？
- 如何设计一个覆盖多轮对话的自动化评测方案？
- 你如何平衡评测效率和准确性？
- 如何管理评测团队并推动跨部门协作？
- 请解释RAG评测的关键指标和评估方法
- 复习大模型评测主流方法论，如BLUE、ROUGE、基于LLM的自动评估
匹配度报告
74
综合匹配度
大厂大模型评测管理岗，技术前沿，发展空间大，但工作强度可能较高。
适合人群
该职位最适合追求技术前沿和职业发展的资深AI工程师或技术管理者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利85
成长发展90
工作生活50
使命价值70
薪资福利匹配
85较高
平安作为上市公司，薪资福利有竞争力，但JD未明确列出福利，薪酬信号为面议。团队管理岗位薪酬较高，补偿性动机满足较好。
薪资信号面议 (30K-50K/月)
成长发展匹配
90较高
职位涉及前沿大模型技术，评测体系建设创新性强，团队管理和跨部门协作提供成长空间，发展性动机满足度高。
技术前沿前沿/新兴技术
技术栈大模型、AI评测、多模态、Agent、RAG、Python、分布式系统
成长机会团队管理、人员培养
业务类型ambiguous
工作生活匹配
50较低
未提及远程或弹性工作，办公地点成都科技园，未提及WLB信号，有高强度暗示（抗压能力、执行力），生活化动机满足有限。
工作模式未明确
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值匹配
70中等
金融科技行业稳定，AI评测支持核心业务，有社会价值但非直接造福社会，意义感动机中等偏上。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs