阿里巴巴
阿里云智能-AI产品评测工程师/专家-杭州
阿里云智能-AI产品评测工程师/专家-杭州
发布于 大约 23 小时前普通员工/个人贡献者
全职员工仅现场办公人工智能
人工智能
Ai评测
Llm
Rag
云计算
多模态
数据集
自动化测试
评测工具
值不值得投
78综合评分
综合评分 78
AI评测专家岗，技术前沿，薪资竞争力强，WLB未明确。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
33K
比人工智能中位数低
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2690 个在招 · 其中人工智能 约 280 个
市场机会
选择面较广
杭州 · 人工智能 · 约 330 个在招
职位详情
关于这个职位
这个职位负责构建面向云计算领域AI应用的评测体系，开发自动化评测工具，并分析评测结果以驱动产品优化
需要设计多维评测指标、搭建工具平台，并跟踪AI前沿技术转化为内部实践
最低要求
计算机、人工智能、统计学、数学或相关专业本科及以上学历，5 年以上 AI 评测 / 测试开发 / 算法 /后端开发等相关工作经验
具备从 0 到 1 构建评测体系的能力，熟悉业界主流评测工具集与 benchmark，有独立设计并执行评测、产出结论的完整经验
熟练掌握 Python，有评测工具或自动化平台开发经验
具备 AI 模型与产品的能力分析及迭代优化分析能力
深入理解 AI 产品（模型 / 应用 / Agent）的技术原理与业务场景，能从业务视角提炼评测指标
具备复杂项目统筹与跨团队协作能力，结果导向，有较强的 Owner 意识与技术领导力
严谨细心、责任心强，具备技术品位与 AI 原生思维，优秀的沟通表达与持续学习能力
工作职责
构建科学高效的 AI 产品评测体系，面向云计算领域知识问答类AI应用，设计准确性、专业性、拟人性等多维指标与数据集标准，识别现有体系局限并持续优化
搭建评测工具平台，研发自动化评测工具与评测 Agent，主导高质量评测集建设，执行评测方案并产出可复现的评测结论
分析与解读评测结果，输出版本迭代效果评估报告，将结论转化为产品与管理决策建议，协调跨团队资源，驱动优化落地
主导复杂子产品 / 跨系统场景的评测方案设计，沉淀通用评测组件与方法论，解决跨业务线共性问题
跟踪业界 AI 模型、产品与前沿评测方法（生成式 AI、多模态、LLM-as-a-Judge、RAG 评测等），转化为内部评测实践
AI 洞察
优缺点分析
优点
- 大公司平台资源丰富，项目影响大，可推动产品实际改进
- 岗位兼具技术开发和业务洞察，有利于综合能力提升
- 技术要求高，需持续跟踪AI快速演进的评测方法和工具
- 跨团队协作复杂，需协调资源驱动优化，沟通成本高
- 评测体系构建需严谨细致，对Owner意识和责任心要求严格
- 适合有5年以上AI评测或测试开发经验，喜欢深度技术研究、乐于通过数据驱动产品优化，并具备较强项目统筹能力的工程师
缺点 / 挑战
- 处于AI和云计算前沿领域，技术挑战性强，能接触最新开源模型和评测方法
角色解读
- 从评测工程师成长为AI评测专家，专注技术深度
- 可向技术管理岗位发展，领导评测团队或跨部门项目
- 有机会转向AI产品经理或算法优化方向，拓宽职业赛道
- 设计并构建AI产品评测体系，制定多维评测指标和数据集标准
- 开发自动化评测工具和平台，执行评测并产出可复现结论
- 分析评测结果，转化为产品优化建议，推动跨团队落地
- 跟踪前沿AI评测技术，如LLM-as-a-Judge、RAG评测等，内部实践
- 精通Python及自动化工具开发，有评测平台构建经验
- 深入理解AI模型（如LLM、多模态）原理和业务应用场景
- 具备从0到1构建评测体系的能力，熟悉业界主流benchmark
- 强项目管理和跨团队协作能力，结果导向和技术领导力
申请策略
- 研究阿里云智能的AI产品线，了解其应用场景和评测需求
- 在面试中展示对AI评测行业趋势的见解，如RAG评测等前沿方向
- 详细描述从0到1构建AI评测体系的具体案例，包括指标设计、工具开发
- 突出Python自动化开发经验，如评测脚本、平台工具代码示例
- 强调参与复杂项目时的跨团队协作和成果，体现Owner意识
- 深化对生成式AI、多模态模型评测方法的学习，如LLM-as-a-Judge实践
- 提升数据分析和报告撰写能力，将评测结论转化为可行动建议
面试指南
- 使用STAR法则（情境、任务、行动、结果）结构化回答，突出具体行动和量化成果
- 结合实际项目经验，说明技术选型、指标设计和工具实现细节
- 强调沟通协调能力，展示如何推动决策和落地执行
- 请描述你如何为一个新AI产品从0到1设计评测体系？
- 你开发过哪些自动化评测工具？遇到了哪些技术难点？
- 如何将复杂的评测结果转化为产品经理和管理层能理解的建议？
- 请举例说明你如何协调跨团队资源推动优化项目落地？
- 你如何跟踪和应用AI评测领域的前沿技术，如LLM-as-a-Judge？
职位点评
薪资福利75
成长发展90
工作生活60
使命价值85
薪资福利
75中等
公司为已上市巨头企业，薪资体系相对完善，但JD未披露具体福利，补偿性动机中等偏上。
薪资信号未披露（AI估算：25K-40K/月）
成长发展
90较高
AI评测是前沿技术领域，岗位要求深度技术能力和体系构建，对技能成长和职业发展有很强促进作用。
技术前沿前沿/新兴技术
技术栈AI评测、Python、自动化工具、LLM、多模态、RAG
业务类型ambiguous
工作生活
60中等
JD未明确提及办公模式和WLB相关信息，工作灵活性可能有限，需现场办公。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
85较高
AI和云计算是高速增长赛道，评测工作直接驱动产品优化，具有明确的行业价值和创新性。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
阿里巴巴 的其他在招职位
相似职位推荐
Watch Jobs