传音
资深大模型算法测试工程师(J19688)
资深大模型算法测试工程师(J19688)
发布于 3 天前普通员工/个人贡献者
全职员工仅现场办公测试开发
测试开发
Ai测试
Nlp
大模型测试
安全性测试
性能测试
测试用例设计
缺陷管理
自动化测试
值不值得投
76综合评分
综合评分 76
前沿技术赛道、高专业度要求、强调个人贡献与成长，工作模式与节奏需确认。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
3.3万
比测试开发中位数低
发布情况
新岗位 · 3 天前发布
公司情况
这家公司招聘很活跃
约 400 个在招 · 其中测试开发 28 个
市场机会
选择面较广
上海 · 测试开发 · 约 220 个在招
职位详情
关于这个职位
该职位是负责传音公司大模型产品的测试工作，需要从性能、精度、安全性等多个维度设计并执行测试，确保模型质量和交付
工作涉及测试流程优化、与研发团队紧密协作，并关注行业前沿测试方法，以提升测试效率和专业性
最低要求
本科及以上学历，计算机、软件工程、人工智能等相关专业，5年及以上大模型测试、AI测试或相关测试经验
熟悉大模型的基本原理、技术架构，了解常见大模型（如LLaMA、ChatGLM、文心一言等）的特性及测评方法
具备扎实的测试理论基础，熟练掌握测试用例设计方法、缺陷管理流程，能独立完成测试全流程工作
具备一定的编程能力，熟悉Python等编程语言，能使用脚本编写测试工具或自动化测试用例者优先
具备良好的逻辑思维能力、问题分析与定位能力，能快速响应测试需求，高效推进测试工作
工作职责
负责大模型相关测评工作，包括但不限于模型性能、精度、安全性、鲁棒性、易用性等维度的测试设计与执行，输出专业测评报告，为模型优化提供数据支撑
主导大模型测试交付全流程，制定测试计划、设计测试用例、搭建测试环境，执行测试用例、定位并跟踪问题，确保测试工作按时、按质完成，保障模型交付质量
梳理大模型测试流程，提炼测试重点与难点，优化测试方法、用例设计及测试工具，提升测试效率和测试覆盖率
配合算法、研发团队，对接测试需求，反馈测试过程中发现的问题，推动问题闭环，参与模型迭代优化的讨论与落地
整理测试文档，包括测试计划、测试用例、测试报告、问题清单等，确保测试过程可追溯、可复盘
关注大模型测试领域的新技术、新方法，结合业务场景落地到实际测试工作中，提升测试专业性
优先资格
有大模型测评项目、模型交付测试相关经验者优先
熟悉自动化测试工具、性能测试工具，有AI模型性能测试、安全性测试经验者优先
了解自然语言处理（NLP）、机器学习相关知识，能结合业务场景设计针对性测试用例者优先
具备良好的沟通协调能力、团队协作意识，责任心强，能承受一定的工作压力
AI 洞察
优缺点分析
优点
- 技术前沿：直接参与当前热门的大模型技术领域，能快速积累稀缺的行业经验
- 专业深度：岗位要求高，能系统提升从测试设计到模型理解的全链条专业能力
- 协作广泛：需与算法、研发等核心团队深度合作，有利于理解业务全貌和技术栈
- 质量要求严：作为模型上线的最后一道防线，责任重大，对问题发现和定位的效率要求高
缺点 / 挑战
- 技术复杂度高：大模型技术迭代快，测试策略和方法需持续更新，学习压力较大
- 跨团队协调：需推动多方解决问题，对沟通能力和推动能力有较高要求
- 具备扎实测试基础、对大模型技术有浓厚兴趣、喜欢解决复杂技术问题，并能承受一定工作压力的测试工程师
角色解读
- 技术专家路线：深耕AI模型测试领域，成为性能、安全或特定场景下的测试专家
- 管理路线：凭借项目经验与领导力，可向测试团队负责人、质量经理方向发展
- 跨界发展：凭借对模型的理解，可转向算法工程、模型评估或AI产品经理等岗位
- 设计并执行针对大模型多维度（性能、安全、鲁棒性等）的测试方案，输出专业报告
- 主导测试全流程，从计划、用例设计到环境搭建、问题跟踪，保障模型交付质量
- 与算法、研发团队紧密协作，推动问题闭环，参与模型优化讨论
- 持续优化测试方法和工具，关注行业新技术以提升测试效率和专业性
- 深厚的测试理论基础和丰富的AI/大模型测试实战经验
- 熟悉主流大模型（如LLaMA、ChatGLM等）的技术原理和特性
- 具备Python等编程能力，能开发测试工具或自动化脚本
- 良好的问题分析、定位能力及跨团队沟通协作能力
申请策略
- 深入研究传音公司的产品（尤其是手机及AI相关应用），思考其大模型可能的应用场景和测试重点
- 在面试中，准备一个关于“如何测试一个对话模型的安全性/鲁棒性”的详细案例或方案
- 突出独立负责或主导过的AI/大模型相关测试项目，描述测试维度和成果
- 详细列出掌握的测试工具（如JMeter, pytest）和编程技能（Python），以及用脚本解决实际问题的案例
- 强调在测试流程优化、效率提升或质量保障方面的具体贡献和数据
- 系统学习大模型（如Transformer架构）的基础原理和主流模型特性
- 实践使用Python进行自动化测试或性能测试脚本的开发
- 了解并尝试使用一些主流的LLM评测框架或工具
面试指南
- 使用STAR法则（情境、任务、行动、结果）描述项目经验，突出你的技术决策和影响力
- 回答测试用例设计时，结合具体技术点（如对抗攻击、越狱尝试、多轮对话一致性）进行阐述
- 定位问题时，展示你的逻辑分析能力，如如何收集日志、缩小范围、设计复现实验
- 工具选择方面，体现你的技术视野和务实态度，能对比不同工具的优劣
- 请描述一个你主导的大模型/AI模型测试项目的完整流程和关键挑战
- 针对大模型的‘安全性’或‘鲁棒性’，你会设计哪些具体的测试用例？
- 当测试发现一个难以复现的模型问题时，你会如何定位和与研发团队沟通？
- 你如何评估和选择适合大模型性能测试的工具或方法？
职位点评
薪资福利75
成长发展90
工作生活60
使命价值70
薪资福利
75中等
薪资水平在上海具有竞争力，能满足资深技术人员的基本期望。但福利体系等未在JD中明确。
薪资信号市场水准 (2.5千–4万/月)
成长发展
90较高
岗位处于大模型技术前沿，对个人技术深度、测试体系构建能力有极高要求，成长空间大，且涉及跨团队协作。
技术前沿前沿/新兴技术
技术栈大模型、LLaMA、ChatGLM、Python、NLP、机器学习、性能测试、安全性测试
成长机会优化测试方法、提升测试专业性、关注新技术、新方法
业务类型profit_center
工作生活
60中等
JD未明确办公模式和加班情况，工作涉及主导全流程和响应需求，可能存在一定工作压力。工作地点有选择但未说明灵活性。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
大模型是当前AI领域的核心方向，参与其质量保障具有行业价值。但JD未强调产品的社会使命或愿景。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs