中国平安
系统测试工程师（评测）
系统测试工程师（评测）
发布于 大约 9 小时前普通员工/个人贡献者
成都市
中级经验
全职员工
仅现场办公
本科
测试开发
Agent评测
Cicd
Rag评测
分布式系统
多模态评测
大模型评测
标注平台
自动化测试
Ai评测框架
月薪参考 · 15k–25k
暂无薪资依据说明。
职位详情
关于这个职位
该职位负责公司大模型及AI产品链路的评测体系建设与技术管理，包括评测数据构建、评测平台建设、自动化评测能力搭建等，以推动评测驱动的开发迭代闭环
需要扎实的Python工程基础和AI评测经验，适合有2年以上AI/大模型相关经验的技术人才
最低要求
重点大学及以上学历，2年以上AI/大模型相关工作经验
具备扎实的工程开发基础，精通Python，熟悉分布式系统、AI评测框架，有实际大模型评测项目落地经验
有AI产品链路评测经验，熟练掌握评测数据构建、回流机制、badcase分析及自动化评测能力建设
熟悉主流大模型评测方法论，包括但不限于Agent评测、RAG评测、多模态评测、Mock用户多轮对话模拟等
有金融/保险领域AI应用评测经验优先
具备优秀的沟通协作能力、团队管理经验、敬业精神和快速学习能力
较强的抗压能力和执行力，能够推动跨部门评测-开发-业务正向循环落地
工作职责
负责公司大模型及AI产品链路的评测体系建设与技术管理工作，推动评测驱动的开发迭代闭环
负责评测数据构建、清洗、回流机制设计，实现“上线产品-日常观测-问题发现-数据回流-优化迭代”的正向循环
建设高可用、可配置的评测系统平台，支持评测任务管理、指标分析、badcase分拣、多轮对话模拟及Mock用户能力
结合AI产品链路（意图、提槽位、改写、检索、知识召回、模型入参、最终结果等），搭建自动化评测能力，覆盖幻觉、C端样式、低级问题CICD围栏测试等场景
负责标注平台建设，提供灵活的标注模板、任务配置、审核质检流程，支持人工标注效率统计与质量管控
牵头评测能力搭建，覆盖业务评测、语音评测、图文多模态、仿真能力等，支撑平安万佛等核心服务的质量保障与持续优化
优先资格
有金融/保险领域AI应用评测经验优先
AI 洞察
优缺点分析
优点
- 大模型评测是AI领域的新兴方向，技术含量高，有良好的职业前景
- 中国平安作为大型金融集团，平台稳定，资源丰富，可接触核心业务
- 工作内容涉及评测体系建设和团队管理，能提升综合能力
- 工作强度可能较大，需要较强的抗压能力和执行力
- 技术更新快，需要持续学习，保持对前沿技术的敏感度
- 跨部门协作可能带来沟通成本，需要较强的协调能力
缺点 / 挑战
- 适合有AI评测经验、技术扎实、喜欢挑战并愿意推动技术落地的工程师
角色解读
- 可向AI评测专家或技术管理方向发展，负责更大规模的评测体系
- 有机会深入大模型技术栈，成为AI质量保障领域的专家
- 可横向拓展至AI产品研发或数据科学方向，积累业务理解
- 负责大模型及AI产品链路的评测体系建设，包括评测数据构建、清洗和回流机制设计
- 建设评测系统平台，支持任务管理、指标分析、badcase分拣和多轮对话模拟
- 搭建自动化评测能力，覆盖幻觉、C端样式等场景，并推动CICD围栏测试
- 牵头评测能力搭建，包括业务评测、语音评测、图文多模态等，支撑核心服务质量
- 精通Python，具备扎实的工程开发基础，熟悉分布式系统和AI评测框架
- 熟悉主流大模型评测方法论，如Agent评测、RAG评测、多模态评测
- 具备评测数据构建、回流机制、badcase分析及自动化评测能力建设经验
- 良好的沟通协作和团队管理能力，能够推动跨部门协作
申请策略
- 关注中国平安的AI战略和业务方向，在面试中体现对公司的了解
- 准备一个完整的评测体系设计案例，展示系统化思维
- 突出大模型评测项目经验，包括评测数据构建、回流机制和自动化评测平台建设
- 强调Python编程能力和分布式系统知识，展示工程实现能力
- 如有金融或保险领域AI应用经验，务必重点提及
- 展示团队管理和跨部门协作的成功案例
- 深入学习主流大模型评测方法论，如Agent评测、RAG评测
- 熟悉评测工具和框架，如LangChain、Ragas等
面试指南
- 采用STAR法则，清晰描述情境、任务、行动和结果
- 强调数据驱动和闭环思维，突出评测对产品优化的价值
- 展示技术深度和业务理解，结合具体案例说明
- 请描述你过去的大模型评测项目，如何设计评测指标和数据回流？
- 如何搭建自动化评测平台？遇到过哪些挑战？
- 如何评估RAG系统的效果？有哪些评测方法？
- 如何推动评测结果驱动开发迭代？请举例说明
- 在跨部门协作中，如何确保评测标准的一致性和有效性？
职位点评
72
综合评分
大厂AI评测岗位，技术前沿，薪资不错，但工作强度可能较大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
适合追求技术成长和职业发展，对工作生活平衡要求不高的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展85
工作生活50
使命价值70
薪资福利
75中等
薪资范围明确，处于市场中上水平，且公司为大型上市集团，福利稳定，但具体福利未在JD中提及。
薪资信号市场水准 (15K-25K/月)
成长发展
85较高
职位涉及大模型评测前沿技术，有实际项目落地机会，成长空间大，但JD中未明确提及晋升或培训。
技术前沿前沿/新兴技术
技术栈Python、大模型、AI评测、分布式系统、Agent评测、RAG评测、多模态评测
业务类型ambiguous
工作生活
50较低
工作地点在成都，但未明确办公模式，JD中未提及弹性工作或远程，可能为现场办公，且未提及WLB相关信息。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
AI评测对保障AI产品质量有积极意义，但社会影响力相对中性，行业处于高速增长期。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs