Alibaba logo
阿里巴巴
数据技术及产品部-大模型评测算法工程师-杭州/北京

数据技术及产品部-大模型评测算法工程师-杭州/北京

发布于 1 小时前

普通员工/个人贡献者

AI 估算 · 3.0–6.0万 · AI 参考估算
中级经验
硕士
全职员工仅现场办公AI算法
AI算法
Agent Evaluation
Pytorch
Reward Modeling
多模态算法
大模型评测
数据合成
机器学习

值不值得投

76综合评分

综合评分 76

顶尖大厂、前沿技术栈、高成长潜力,但工作强度可能较大

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

4.5万

与AI算法中位数基本持平

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 5060 个在招 · 其中AI算法 92 个

市场机会

选择面较广

杭州 · AI算法 · 约 100 个在招

职位详情

关于这个职位

负责大模型及多模态内容的评测体系构建,包括自动评测集生成、LLM/Agent作为裁判的评估算法设计

需解决静态评测失效问题,建立离线指标与线上用户体验的对齐模型,支撑业务方向的模型质量评估需求

最低要求

计算机科学、人工智能、机器学习或相关领域硕士及以上学历,博士优先

对大模型评测方法论有体系化认知,能判断不同方法在不同模态/场景下的适用边界
对数据合成与数据质量有研究深度,理解合成数据的质量控制与多样性保障机制
扎实的机器学习基础,具备模型训练(预训练或微调)的完整实操经验,熟悉 PyTorch 及主流训练框架
具备跨模态的技术视野,不要求精通所有模态,但需要能快速理解不同领域的评测需求并抽象出通用技术方案
良好的学术敏感度,能持续跟进最新研究并快速转化
优秀的技术沟通与协作能力,能作为评测技术中台与多个业务方向团队有效对接需求

工作职责

评测集自动构建技术:研究跨模态通用的评测集自动生成方法,构建不同模态(文本/图像/视频/音频/3D 等)评测集生产框架

研究动态评测集与抗污染技术,解决各模态静态评测集被"刷榜"后失效的通用问题
探索面向模型弱点的定向探测数据生成,通过错误模式分析自动生成针对性测试样本
自动裁判技术:构建多模态通用的自动评判算法框架,统一支撑文本质量评判、生成内容质量评估、交互过程评估等不同评判范式,设计可插拔的评判策略组件
研究LLM as a judge及Agent as a judge,支撑 Agent 轨迹的中间步骤质量评估、推理链路正确性验证、世界模型的时序物理一致性检验等既需要结果评分也需要过程评分的评判场景
Agent评测技术:设计Coding Agentic应用的端到端评估算法,包括多轮对话质量建模、用户意图满足度预测、任务完成率估计等
研究评测信号与用户真实体验的对齐技术,通过线上行为数据反标定离线评测指标的有效性,构建离线评测可预测线上表现的校准模型

优先资格

在 LLM evaluation、reward modeling、data synthesis、image/video quality assessment 等方向有顶会/顶刊发表

有评测数据自动生成或动态评测集构建的实际经验
有训练过 Judge Model / Reward Model经验
具备多模态研究背景,在视觉生成评估或音频评估算子构建方面有实操经验
有产品级评测技术经验,理解如何将离线评测指标与线上 A/B 实验指标建立映射关系

AI 洞察

优缺点分析

优点

  • 接触前沿大模型评测技术,平台资源强大,技术影响力高,能直接服务于核心业务
  • 技术迭代极快,需持续跟进最新论文
  • 评测标准尚未完全统一,需具备较强的抽象和创新能力
  • 适合对AI底层原理有深刻理解、具备较强科研能力和工程落地能力的算法工程师

缺点 / 挑战

暂无明显挑战项

角色解读

  • 可向AI基础设施专家、算法架构师方向发展,或在评测标准制定、AI安全领域成为行业权威
  • 构建大模型及多模态内容的自动化评测体系,包括评测集生成和自动裁判算法开发
  • 掌握机器学习与深度学习框架(PyTorch),深入理解大模型评测方法论及多模态数据处理

申请策略

  • 准备展示你对当前大模型评测痛点(如刷榜、静态评测失效)的理解及解决方案思路
  • 突出大模型评测相关项目经验,强调在数据合成、自动裁判算法方面的具体成果和量化指标
  • 加强多模态数据处理能力,深入研究LLM as a Judge及Agent评估的最新文献与实践

面试指南

  • 采用STAR法则,重点阐述问题分析、技术选型依据、实验设计及最终效果评估,体现系统性思维
  • 如何设计一个抗污染的动态评测集?
  • LLM as a Judge的偏差来源有哪些,如何校正?
  • 如何建立离线评测指标与线上A/B实验指标的对齐?
  • 在多模态评测中,如何处理不同模态间的语义对齐问题?
  • 复习大模型评测相关经典论文,梳理自己在数据合成、模型训练方面的实战经验,准备具体的项目案例

职位点评

薪资福利85
成长发展95
工作生活40
使命价值70

薪资福利

85较高

阿里核心算法岗薪资极具竞争力,福利体系完善,符合市场高标准。

薪资信号偏高 (3.0千–6.0万/月)

成长发展

95较高

岗位聚焦大模型评测这一前沿领域,技术挑战高,成长空间巨大。

技术前沿前沿/新兴技术
技术栈LLM、Agent、PyTorch、多模态、Reward Modeling
业务类型profit_center

工作生活

40较低

大厂核心研发岗位通常工作强度较大,WLB相对一般,需做好心理准备。

工作模式未明确
办公地点科技园/产业园
加班情况未提及(无法判断)

使命价值

70中等

致力于提升AI模型质量与安全,推动行业标准化,具有积极的社会意义。

行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新(行业首创)
Watch Jobs