商汤
高级测试开发（AI智能体方向）
高级测试开发（AI智能体方向）
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公测试开发
测试开发
Ai Agent
Langsmith
Llm-As-A-Judge
Mcp
Pytest
Rag
Tool Calling
值不值得投
薪资怎么样
4.0万
比测试开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
84 个在招
市场机会
选择面较广
北京 · 测试开发 · 约 180 个在招
职位详情
关于这个职位
这是商汤 AI 智能体产品的质量保障岗位，你需要覆盖功能、接口、UI、自动化、性能与稳定性测试，并重点验证任务规划、工具调用、多轮交互等 Agent 核心能力
同时要建设智能体效果评估体系（Benchmark、评估指标、自动化评测、Badcase 分析），并开发测试插件与框架、通过 Trace 日志定位复杂问题
最低要求
计算机相关专业硕士及以上学历，3–5 年测试开发经验，具备半年以上 AI 大模型或智能体产品测试经验
熟练掌握 Python，熟悉 Pytest、Playwright 等自动化测试框架，具备独立开发测试工具的能力
熟悉主流 Agent 框架，理解任务规划、Tool Calling、MCP、RAG 等核心技术
熟悉 HTTP、WebSocket、SSE 等协议，具备接口自动化、性能测试及复杂问题定位能力
了解大模型及 Agent 效果评估方法，熟悉任务完成率、结果准确性、工具调用准确率等评估指标
具备良好的沟通协作能力、问题分析能力及技术钻研精神
工作职责
负责 AI 智能体产品的质量保障工作，涵盖功能、接口、UI、自动化、性能及稳定性测试
负责 Agent 核心能力测试，包括任务规划、工具调用、多轮交互、上下文管理及复杂任务执行等场景
建设 AI 智能体效果评估体系，包括 Benchmark 数据集、评估指标、自动化评测及 Badcase 分析
设计和开发自动化测试插件及框架，提升测试效率和质量保障能力
深入分析 Agent 执行链路及 Trace 日志，定位复杂问题，推动产品质量持续优化
优先资格
有 AI Agent、Copilot、办公智能体等产品测试经验
熟悉 LangSmith、Langfuse、Ragas、DeepEval 等评估或可观测工具
有 Agent 自动化评估平台、Benchmark 建设或 LLM-as-a-Judge 实践经验
AI 洞察
优缺点分析
优点
- 岗位直接面向 AI 智能体这一前沿方向，涉及 MCP、RAG、LLM-as-a-Judge 等新技术，技术积累具有较强前瞻性
- 工作内容不止于执行测试，还包含评估体系、Benchmark 与自动化框架建设，能形成可迁移的方法论与平台能力
- 加分项中的 LangSmith、Langfuse、Ragas、DeepEval 等工具链，有助于构建完整的 AI 评测与可观测性技能栈
- AI 智能体测试缺乏成熟标准，效果评估指标、Benchmark 设计与判定口径都需要自己摸索，工作带有较强的不确定性和探索性
- 复杂问题定位依赖链路与 Trace 分析，问题排查周期可能较长
- 适合有 3–5 年测试开发经验、希望切入大模型与智能体方向的工程师，尤其是喜欢从 0 到 1 搭建评估体系、愿意钻研新技术细节的人
缺点 / 挑战
- 需要同时兼顾传统测试开发与 Agent 新能力验证，技术面较宽，对 Python 工程能力和大模型理解的双重要求较高
角色解读
- 可沿着 AI 质量工程专家方向发展，成为大模型/Agent 评测体系与自动化平台的建设者，这类能力在当前市场较为稀缺
- 也可横向转向 AI 产品工程、平台研发或测试架构方向，负责更大范围的研发效能与质量基础设施
- 随着 Agent 产品规模化落地，评估体系与可观测性方向有较大的纵向晋升空间
- 负责 AI 智能体产品的全链路质量保障，既做传统功能、接口、UI、性能与稳定性测试，也要验证 Agent 的任务规划、工具调用、多轮交互等核心能力
- 同时要搭建智能体效果评估体系，设计 Benchmark 数据集与评估指标，推动自动化评测与 Badcase 闭环
- 此外需要开发测试插件和框架，并通过 Trace 日志分析 Agent 执行链路、定位复杂问题
- 扎实的 Python 工程能力与自动化测试框架经验（Pytest、Playwright），能独立开发测试工具与框架
- 理解 Agent 技术栈：任务规划、Tool Calling、MCP、RAG，并熟悉 HTTP、WebSocket、SSE 等交互协议
- 掌握大模型与 Agent 的效果评估方法，能把任务完成率、工具调用准确率等抽象指标落到可执行的评测流程中
- 具备从 Trace 日志和链路中定位复杂问题的分析与钻研能力
申请策略
- 投递前了解商汤智能体产品线的具体形态（如办公智能体、Copilot 类产品），在沟通中体现对产品场景的理解
- 面试中可主动询问团队当前的评测体系现状与演进目标，展示你对该岗位核心难点的思考
- 突出 Python 自动化测试工程能力，具体写明用 Pytest、Playwright 搭建过的框架或工具，以及带来的效率提升
- 重点呈现大模型/Agent 相关测试或评测经历，例如 Benchmark 数据集建设、评估指标设计、Badcase 分析闭环
- 若有接口自动化、性能测试、WebSocket/SSE 长连接场景的实战经验，应单独成条说明
- 加分项中的 LangSmith、Langfuse、Ragas、DeepEval、LLM-as-a-Judge 实践要明确写出使用场景和产出
- 系统梳理主流 Agent 框架与 MCP、RAG、Tool Calling 的实现机制，理解 Agent 执行链路中常见的失败模式
- 补强 LLM 评测方法论，练习设计评估指标、构造 Benchmark 数据集与 LLM-as-a-Judge 打分方案
面试指南
- 体系类问题建议用「分层」思路回答：基础功能与接口层、Agent 核心能力层、效果评估层，逐层说明测试手段与指标
- 指标类问题建议按「定义—采集—判定—归因」四步展开，并说明如何自动化与可视化
- 定位类问题建议按「复现路径—日志/链路切片—假设验证—根因与修复验证」的结构描述真实案例
- 你会如何为一个 AI 智能体产品设计整体的质量保障与效果评估体系？
- Agent 的工具调用准确率、任务完成率这些指标，具体怎么定义、怎么自动化统计？
- 如何搭建一个 Benchmark 数据集？样本如何采集、标注和防止过拟合？
- 遇到多轮交互中上下文丢失或工具调用失败的问题，你如何通过 Trace 日志定位根因？
- 讲一个你用 Pytest/Playwright 或自研框架提升测试效率的具体案例
Watch Jobs