阿里巴巴
千问事业部-高级AI应用研发工程师-北京
千问事业部-高级AI应用研发工程师-北京
发布于 大约 9 小时前普通员工/个人贡献者
全职员工仅现场办公质量保证
质量保证
Ai Agent
Llm-As-Judge
数据驱动
自动化测试
质量保障
多模态测试
值不值得投
73综合评分
综合评分 73
大厂AI前沿岗位，技术成长快，薪资优厚，但工作强度可能较大。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
48K
比质量保证中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 1950 个在招 · 其中质量保证 4 个
市场机会
选择适中
北京 · 质量保证 · 43 个在招
职位详情
关于这个职位
作为阿里巴巴千问事业部的高级AI应用研发工程师，你将负责构建AI原生质量体系，保障云端/本地Agent在长程复杂任务中的质量与稳定性
你将运用LLM-as-Judge、Agent等前沿技术，将主观效果判断转化为自动化门禁，并驱动业务体验持续提升
该职位深度参与AI产品从需求到上线的全流程，是技术与业务结合的优质岗位
最低要求
年以上研发或质量工程经验，计算机理论基础扎实，至少精通一门编程语言（Python / Java / TypeScript 优先），能独立完成工具、服务与自动化系统的设计与交付，而不止于脚本编写
对 AI Agent 具备真实的工程认知而非概念了解：理解工具调用、上下文管理、多 Agent 编排、Eval 的作用与能力边界，有用大模型 / Agent 解决实际业务问题并真实落地的案例，AI 工具是日常工作方式而不是偶尔点缀
熟悉互联网产品的设计开发流程，具备用户型产品的功能、性能、稳定性测试经验，以及线上稳定性与体验水位监控、问题分析能力
有生成式内容（文档类/小程序/网页/图片/ 文本）效果评测、多模态测试、长生成链路（多端/复杂入参/意图/模型推理）质量经验者优先
有数据驱动意识，能把质量目标拆成口径清晰、可被追问的指标（如有效缺陷、线上漏出率、首包耗时、效果通过率、Skill 采纳率），用数据辅助质量决策、体验提升与业务目标达成
良好的沟通协作能力与强 owner ship，能在需求模糊、无先例的场景下主动定义问题、推动跨团队对齐
愿意把个人实践抽象成可被他人复用的方法论或工具并在团队内外分享
工作职责
负责任务助理业务（云端/本地agent支持长程复杂任务）的业务质量保障，参与产品需求与技术架构评审，评估 AI 方案的架构合理性、可测性与可评测性，在方案阶段就把成功标准和验收口径定义清楚
构建面向生成式内容的 AI 原生质量体系：设计并落地评测能力（标准定义、Golden Set、LLM-as-Judge、人工校准），把高度主观的效果判断转化为可复现、可回归、可卡点的自动化门禁，覆盖生成效果、性能、稳定性与内容安全
用 Agent 重做质量工作：以尽可能高的托管比例为目标，通过 Agent / Skill / 工具链的方式重构需求分析、用例生成、自动化执行、失败归因、缺陷闭环等环节，完成任务编排与交付，产出团队可复用的能力沉淀
通过全链路 trace、线上监控与指标体系，保障多端（App三端 / PC客户端 / H5 / PC web）生成链路的服务稳定性与用户体验，具备从用户反馈反查到链路日志、模型调用与下游服务的定位归因能力，驱动体验水位持续提升
通过全链路数据分析、效果评测与竞对对比，帮助业务识别目标达成路径上的核心问题并驱动解决，同时量化质量投入的产出与 ROI，让质量成为业务决策的输入而非交付末端的检查站
优先资格
主导过某业务域从 0 到 1 的 AI 原生方案设计与落地，方案被跨团队采用或复用
有组织级评测体系、质量平台或工具链建设经验，能抽象出统一接口与标准
指标驱动，能评估 AI 方案与传统方案的成本效益，在多条技术路径中给出有依据的选择，并对结果负责
AI 洞察
优缺点分析
优点
- 阿里巴巴作为互联网巨头，平台大、资源多，能接触前沿的AI Agent技术和大规模应用场景
- 薪资待遇优厚，福利完善，职业发展路径清晰，内部转岗和晋升机会多
- 团队氛围好，鼓励技术创新和知识分享，能提升个人在AI领域的影响力
- 岗位要求高，需要同时具备研发、测试、数据分析和沟通协调能力，对个人综合能力要求高
- 作为大厂，内部流程可能相对繁琐，需要适应组织架构和跨团队协作的复杂性
- 适合具备扎实研发功底，对AI Agent技术有热情，并希望在AI质量保障领域深耕的技术专家
缺点 / 挑战
- 岗位深度参与AI产品全流程，技术挑战大，能快速积累AI原生质量保障的稀缺经验
- AI Agent业务处于快速迭代期，需求变化快，可能需要应对较高的技术复杂度和不确定性
角色解读
- 在AI质量保障领域深耕，成为AI原生质量体系的专家，主导组织级评测体系和平台建设
- 向AI应用研发架构师方向发展，参与AI Agent核心架构设计，并推动质量工具链的标准化和平台化
- 横向拓展至AI产品研发、AI平台工程等方向，成为具备研发、质量、数据能力的复合型AI专家
- 负责AI Agent业务的质量保障，参与产品需求和技术架构评审，定义成功标准和验收口径
- 构建AI原生质量体系，包括评测标准、Golden Set、LLM-as-Judge等，将主观效果判断转化为自动化门禁
- 使用Agent、Skill和工具链重构质量工作流程，提升自动化托管比例，并沉淀团队可复用的能力
- 通过全链路trace、监控和数据分析，保障多端生成链路的稳定性，并驱动体验水位提升
- 扎实的编程基础，精通Python、Java或TypeScript，能独立完成工具、服务与自动化系统的设计与交付
- 对AI Agent有真实的工程认知，理解工具调用、上下文管理、多Agent编排和Eval的能力边界，并有实际落地案例
- 熟悉互联网产品开发流程，具备功能、性能、稳定性测试经验，以及线上监控和问题分析能力
- 数据驱动意识，能将质量目标拆解为清晰指标，并具备良好的沟通协作和ownership能力
申请策略
- 在简历中明确写出你对AI Agent的工程认知，并准备一个能体现你解决复杂问题的项目案例
- 关注阿里巴巴千问事业部的技术博客和开源项目，了解团队的技术方向
- 突出在AI Agent、大模型应用或相关领域的实际项目经验，特别是从0到1的落地案例
- 强调在质量保障、自动化测试、评测体系构建方面的具体成果，如设计并落地了LLM-as-Judge评测方案
- 展示编程能力和系统设计能力，例如独立开发过自动化工具或平台，并量化其效率提升
- 体现数据驱动和owner意识，例如通过数据分析驱动了某个业务指标的显著提升
- 深入学习AI Agent相关技术，如LangChain、AutoGPT、Function Calling等，并动手实践
- 了解LLM-as-Judge、RAGAS等AI评测框架，并尝试构建自己的评测集
面试指南
- 采用STAR法则（情境、任务、行动、结果）来组织项目案例，突出个人贡献和量化成果
- 回答技术问题时，先阐述核心概念和原理，再结合项目实践，最后总结方法论
- 对于开放性问题，展示你的思考框架和决策过程，体现数据驱动和owner意识
- 请介绍一个你主导的AI Agent项目，你是如何设计评测方案来保证其质量的？
- 如何将主观的AI效果评估转化为可量化的自动化门禁？请举例说明
- 在长链路、多端的复杂场景下，如何设计全链路监控和问题定位方案？
- 你如何理解Agent的'工具调用'和'上下文管理'？在项目中如何应用？
- 面对模糊需求，你如何定义质量目标和成功标准？
职位点评
薪资福利80
成长发展90
工作生活40
使命价值70
薪资福利
80较高
阿里巴巴作为大厂，薪资水平在行业内具有竞争力，福利完善，但具体薪资需面议。
薪资信号面议 (35K-60K/月)
成长发展
90较高
岗位深度涉及AI Agent、LLM评测等前沿技术，技术挑战大，能快速积累稀缺的AI原生质量保障经验，成长空间巨大。
技术前沿前沿/新兴技术
技术栈AI Agent、LLM-as-Judge、AgentOps、多模态测试、自动化测试
业务类型profit_center
工作生活
40较低
职位要求现场办公，未提及弹性工作或远程，且大厂节奏可能较快，工作生活平衡度一般。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
AI Agent是当前高速增长的赛道，岗位对推动AI技术落地有直接价值，但社会影响力相对中性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs