北方华创
高级测试工程师
高级测试工程师
发布于 7 天前普通员工/个人贡献者
全职员工混合式弹性办公测试开发
测试开发
CI/CD
Jmeter
Pytest
Rag
Secs/Gem
大模型评测
自动化测试框架
值不值得投
72综合评分
综合评分 72
AI测评体系从0到1建设岗位，技术前沿性强、成长空间大，薪资未披露、WLB未明确。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
3.8万
比测试开发中位数高
发布情况
正常在招 · 7 天前发布
公司情况
这家公司招聘很活跃
15 个在招
市场机会
选择面较广
北京 · 测试开发 · 约 180 个在招
职位详情
关于这个职位
在AI技术研究院负责AI应用与算法模型测评体系建设，面向大模型、Agent、RAG构建测评集与评测指标体系，搭建自动化测试流水线并闭环缺陷管理，同时覆盖知识库质量测试与工业控制软件测试
适合有AI应用测试与自动化框架经验的资深测试工程师
最低要求
硕士及以上学历，计算机科学、软件工程、自动化、电子信息或相关专业
工作经验：3年以上软件测试经验，其中至少1年从事AI应用（大模型、Agent、推荐/检索系统等）或工业控制软件的测试工作，有半导体装备、智能制造或工业自动化领域测试经验者优先
AI应用测试能力：熟悉AI应用测试的常见方法与挑战，了解大模型/Agent的评测指标体系
具备构建测评集、设计对抗性用例、进行模型鲁棒性测试的实际经验，了解RAG系统的检索效果评估、知识冲突测试者优先
自动化测试框架能力：熟练使用Python，具备Pytest、Robot Framework、Selenium、JMeter等至少两种自动化测试框架的实际项目经验
能独立搭建接口自动化、UI自动化或性能测试框架
了解CI/CD流程（Jenkins/GitLab CI）
工业控制软件测试经验：熟悉工业控制软件的特点，具备实时系统、嵌入式边缘软件或工控通信协议（如Modbus、OPC UA、SECS/GEM）的测试经验
逻辑与质量意识：具备缜密的测试分析能力，能根据需求文档、设计文档独立编写高质量的测试用例与测试计划
对质量有高要求，善于发现边界条件与潜在风险
具备良好的缺陷描述与沟通协作能力
工作职责
AI应用与算法模型测评体系建设：负责AI技术研究院各应用场景的测试策略制定与质量门禁设计
主导构建面向大模型、Agent、RAG等AI能力的测评集与评测指标体系
自动化测试框架搭建与维护：设计并实现AI应用的持续测试流水线
开发或引入适配AI应用特性的自动化测试框架
数据质量与知识库测试：协同知识治理工程师，对知识库、知识图谱进行内容质量测试，验证知识检索与召回效果
缺陷管理与质量闭环：建立缺陷生命周期管理机制，对测试中发现的问题进行记录、分级、跟踪与回归验证
与算法、开发、产品团队紧密协作，推动问题定位与修复，输出测试报告与质量评估意见，支撑版本发布决策
测试环境与数据治理：维护测试环境，管理测试数据集与标注数据版本
AI 洞察
优缺点分析
优点
- 站位AI测评体系从0到1建设，成果可见度高
- 大模型+工业控制双领域测试经验稀缺，职业壁垒高
- 与算法、开发、产品团队紧密协作，技术视野全面
- AI测评方法尚在演进，指标体系设计难度大
- 需同时掌握AI测试与工控软件两类知识域
- 适合有AI应用测试实战经验、想从传统测试转向大模型评测方向的资深测试工程师
缺点 / 挑战
- 版本发布压力下测试节奏紧张
角色解读
- 向测试架构师、AI质量负责人方向发展
- 可转型AI评测算法或效果评估方向，与大模型技术栈深度结合
- 积累半导体装备领域质量经验后可走向质量管理岗位
- 制定AI应用测试策略与质量门禁，构建大模型、Agent、RAG测评集与评测指标体系
- 设计并实现持续测试流水线与自动化测试框架
- 对知识库、知识图谱做内容质量测试与召回验证
- 建立缺陷生命周期管理机制，输出测试报告支撑版本发布
- 硕士学历及3年以上软件测试经验，其中至少1年AI应用或工业控制软件测试
- 熟练Python与Pytest、Selenium、JMeter等至少两种测试框架，了解CI/CD
- 熟悉大模型/Agent评测指标、对抗性用例与鲁棒性测试
- 了解Modbus、OPC UA、SECS/GEM等工控协议测试
申请策略
- 了解半导体装备行业软件质量特点
- 准备一份AI测评体系设计的思路说明
- 突出构建过的测评集、评测指标体系与鲁棒性测试案例
- 强调Pytest、Selenium、JMeter等框架的独立搭建经验
- 展示CI/CD流水线与缺陷管理机制的落地成果
- 深入学习大模型与Agent评测方法及RAG检索效果评估
- 补充Modbus、OPC UA、SECS/GEM等工控协议知识
- 熟练掌握Jenkins/GitLab CI流水线搭建
面试指南
- 按「目标-指标设计-用例构建-闭环机制」展开测评体系问题
- 用具体项目数据说明框架搭建与质量改进成果
- 强调跨团队协作与缺陷闭环方法论
- 你会如何为大模型应用设计评测集与指标体系
- 如何测试RAG系统的检索效果与知识冲突
- 介绍你搭建过的自动化测试框架与持续测试流水线
- AI应用测试与传统软件测试的主要差异是什么
- 如何推动算法团队修复你发现的模型缺陷
职位点评
薪资福利70
成长发展82
工作生活62
使命价值68
薪资福利
70中等
JD未披露薪资与福利，AI测评人才市场紧俏，可从岗位专业要求推断薪酬具备竞争力，具体以面谈为准。
薪资信号未披露（AI估算：2.8千–4.8万/月）
成长发展
82较高
面向大模型、Agent、RAG等前沿AI能力构建测评体系，技术栈前沿，且为体系从0到1建设型岗位。
技术前沿前沿/新兴技术
技术栈大模型、Agent、RAG、Python、Pytest、CI/CD
业务类型ambiguous
工作生活
62中等
JD未提及办公模式与WLB安排，测试发布节奏可能阶段性紧张，通勤与弹性情况未说明。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
68中等
岗位通过AI测试体系支撑半导体装备智能化应用质量，行业前景好，JD未提使命导向表述。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
北方华创 的其他在招职位
相似职位推荐
Watch Jobs