蚂蚁集团
蚂蚁集团-AI评测专家-杭州/重庆
蚂蚁集团-AI评测专家-杭州/重庆
发布于 大约 1 个月前普通员工/个人贡献者
全职员工仅现场办公数据标注与评测
数据标注与评测
Ai评测
Mmlu
Prompt Engineering
大语言模型
数据分析
机器学习
深度学习
评测基准
值不值得投
73综合评分
综合评分 73
AI评测专家，技术前沿，成长空间大，薪资市场水准，WLB未明确
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
27K
比数据标注与评测中位数低
发布情况
长期在招 · 37 天前发布
公司情况
这家公司招聘很活跃
约 960 个在招
市场机会
选择适中
杭州 · 数据标注与评测 · 16 个在招
职位详情
关于这个职位
负责AI模型评测体系的构建与执行，包括设计评测方案、运用主流基准测试、分析模型能力与缺陷、开发评测工具平台，并跟踪前沿技术
核心工作是确保AI模型在性能、安全、伦理等多维度达到高质量标准
最低要求
学历与经验：计算机科学、人工智能相关专业本科及以上学历.
技术理解：对机器学习、深度学习，特别是大语言模型的基本原理有一定的了解
编程能力：熟练掌握 Python，进行数据处理和分析
具备良好的脚本编写能力以自动化评测流程
评测方法论：了解主流的AI评测基准和方法，具备设计评测实验和控制变量的科学思维
数据分析能力：具备强大的数据分析能力，能够从复杂数据中提炼核心洞察，并熟练使用图表进行可视化呈现
沟通协作：出色的书面和口头沟通能力，能够清晰地撰写报告并与研发、产品等团队高效协作
工作职责
评测体系构建：设计并开发全面、客观、可量化的AI模型评测方案，涵盖能力、性能、安全、伦理等多个维度
基准测试与执行：
○ 熟练运用和改造现有的主流评测基准（如 MMLU, GSM8K, HumanEval, BIG-Bench, MT-Bench, HELM 等）
○ 针对具体业务场景，设计并构建定制化的评测数据集（包括指令编写、数据清洗、质量评估）
○ 执行自动化与人工评测，确保评测过程的高效与准确
深度分析与洞察：
○ 对评测结果进行深度分析，定位模型的能力强项、缺陷与失败模式
○ 探究模型在不同任务、领域和提示词下的表现差异
○ 撰写详尽的评测报告，清晰地呈现结论，并提出模型改进或应用策略建议
工具与平台建设：参与或主导内部评测工具、平台和流程的建设，提升评测的自动化水平与规模化能力
前沿追踪：紧密跟踪业界最新的模型动态、评测方法学与研究进展，并快速应用到实际工作中
优先资格
具备构建评测数据集的经验
对模型的安全性、偏见、鲁棒性等领域有深入理解和评测经验
具备Prompt Engineering的丰富经验，能够设计复杂的提示词来激发和检验模型能力
AI 洞察
优缺点分析
优点
- 直接接触前沿AI模型和评测技术，技术成长快
- 蚂蚁集团平台大，资源丰富，利于积累行业经验
- 工作涉及多维度评测，能全面了解AI模型特性
- AI技术更新快，需持续学习新基准和方法
- 适合对AI评测感兴趣，具备扎实Python编程、数据分析能力和科学思维的求职者
缺点 / 挑战
- 评测工作可能涉及重复性任务，需保持创新思维
- 需与多个团队协作，沟通要求较高
角色解读
- 可向AI研究、模型优化或算法工程师方向发展
- 积累经验后可晋升为技术负责人或管理评测团队
- 向AI安全、伦理等专项领域深入，成为领域专家
- 设计和开发AI模型的评测方案，涵盖能力、性能、安全等多维度
- 执行自动化与人工评测，使用主流基准如MMLU、GSM8K进行测试
- 深度分析评测结果，撰写报告并提出模型改进建议
- 参与建设评测工具与平台，提升自动化水平
- 熟练掌握Python编程，用于数据处理和评测自动化
- 了解机器学习、深度学习及大语言模型原理
- 具备强大的数据分析能力，能从复杂数据中提炼洞察
- 熟悉AI评测基准和方法，掌握科学实验设计思维
申请策略
- 研究蚂蚁集团的AI业务方向，如大模型、安全伦理等
- 准备一个评测项目案例，展示从设计到分析的全过程
- 突出Python技能和数据分析项目，尤其是与AI评测相关的经验
- 展示对机器学习、大语言模型的理解，如有相关课程或项目
- 强调沟通协作能力，如撰写报告或跨团队合作案例
- 学习主流AI评测基准如MMLU、GSM8K，了解其设计原理
- 提升Prompt Engineering技能，练习设计复杂提示词测试模型
面试指南
- 使用STAR法则：情境(Situation)、任务(Task)、行动(Action)、结果(Result)
- 结合具体技术细节，如评测指标、工具使用、数据分析方法
- 强调科学思维和量化评估，突出从数据中提炼洞察的能力
- 如何设计一个AI模型的评测方案？请举例说明
- 如何分析评测结果中的模型失败模式？
- 介绍一个你参与过的评测项目，你的角色和成果是什么？
- 如何保证评测过程的高效与准确性？
- 对模型安全性、偏见评测有什么理解？
职位点评
薪资福利70
成长发展85
工作生活60
使命价值75
薪资福利
70中等
该职位未明确披露薪资和福利，但作为跨国/巨头企业的技术岗，预期薪资处于市场水准，福利体系较完善
薪资信号面议 (18K-35K/月)
成长发展
85较高
职位涉及前沿AI模型评测技术，要求Python、机器学习等技能，提供较好的技术成长空间
技术前沿前沿/新兴技术
技术栈Python、机器学习、深度学习、大语言模型、AI评测
业务类型ambiguous
工作生活
60中等
JD未明确办公模式和WLB信息，但指定了工作地点，预计需要现场办公，生活化动机满足程度一般
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
AI领域处于高速增长赛道，评测工作有助于提升模型质量，社会影响力中等，创新水平较高
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs