Ant Group logo
蚂蚁集团
蚂蚁集团-大模型语料建设专家-杭州

蚂蚁集团-大模型语料建设专家-杭州

发布于 3 小时前

普通员工/个人贡献者

AI 估算 · 4.0–8.0万 · AI 参考估算
高级经验
学历未注明
全职员工仅现场办公数据工程
数据工程
Hivesql
Llm-As-Judge
Scaling Law
多模态数据
大模型语料
数据合规
数据清洗

值不值得投

77综合评分

综合评分 77

顶尖大厂核心AI数据岗,技术前沿且发展极好,但工作强度可能较高。

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

6.0万

比数据工程中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 760 个在招 · 其中数据工程 9 个

市场机会

选择面较广

杭州 · 数据工程 · 约 110 个在招

职位详情

关于这个职位

负责大模型训练语料体系的整体规划与建设,定义从获取、清洗到配比供给的全链路技术架构

主导千亿级Token处理Pipeline设计,建立自动化质量评估体系,并通过数据飞轮驱动模型效果提升
需具备深厚的数据工程背景及LLM数据治理经验

最低要求

年以上数据工程、数据仓库或大规模数据处理经验,其中至少2年深耕大模型训练数据/语料建设,有TB级以上语料处理或从0到1语料体系落地的成功案例

深刻理解LLM训练数据飞轮与Scaling Law对数据规模、质量、配比的约束,有数据配比实验设计经验,并能给出对模型效果的可量化贡献
精通大规模语料处理Pipeline架构设计(去重、去污染、质量分层),熟悉主流数据质量评估方法与工具链,有自建评估基准集的经验
具备训练数据合规治理实战经验(版权、隐私、毒性及敏感信息过滤),熟悉集团内外部数据合规红线
扎实的工程能力(精通Python/Go/Java其一,熟练使用Spark、HiveSQL等大数据工具),能穿透到代码与数据细节定位复杂问题
具备跨团队协同与技术影响力,能驱动算法、产品、工程团队就语料标准与验收达成一致,有团队培养或技术规划经验

工作职责

语料战略与路线图:结合模型迭代节奏与Scaling Law对数据规模、质量、配比的需求,制定语料建设路线图(规模、语种、模态、领域覆盖),定义各阶段语料供给的量化目标并推动达成

语料获取与资产化:主导全网URL库、DataMap等语料资产底座建设,建立高质量数据源的发现、评估与引入机制(公开数据、授权数据、业务私有数据),构建语料价值评估模型,实现语料资产可度量、可运营、可复用
大规模清洗与质检体系:设计并持续演进千亿级token语料处理Pipeline(去重、去污染、质量分层、敏感信息过滤、版权合规校验),建立自动化质量评估体系(LLM-as-Judge、人工抽检、基准集回归),定义质量门禁与数据血缘标准
数据配比与效果闭环:与算法团队共建训练数据配比(data mixing)策略,设计并执行配比实验,建立'模型评测诊断→数据问题归因→Pipeline迭代→效果回归验证'的数据飞轮,以可量化指标(评测分数提升、单位token成本下降)驱动语料持续优化
领域与多模态语料:主导金融、风险、医疗等核心领域语料及图文、音视频等多模态语料的建设方案(非结构化数据解析、对齐、稀缺样本增强),沉淀可复用的领域语料资产与构造方法论
前沿探索与提效:跟踪数据合成、智能标注、AI辅助数据生产等前沿方向,完成技术评估与引入落地,持续提升语料生产效率与质量
组织影响力:定义团队语料建设的技术规范与最佳实践,培养中初级数据工程师,跨团队拉通算法、产品、工程对语料的需求与验收标准
视需要输出对外影响力(技术分享、开源、论文)

优先资格

有头部互联网公司大模型数据集建设经验,或主导过支撑千亿/万亿参数模型训练的语料供给项目

有多模态语料(PDF解析、OCR后处理、音视频转写与对齐)或合成数据生成与质控的实战经验
有GPU算力/数据成本治理经验、语料价值评估方法论研究背景,或语料生成/标注平台、LLM数据供应链平台的建设经验
在智能标注、AI辅助数据生产工具有落地成果,持续关注行业前沿并能快速完成引入与验证

AI 洞察

优缺点分析

优点

  • 依托巨头平台,拥有海量数据和算力资源支持
  • 对经验年限要求极高(8+年),需同时具备深厚工程能力和算法理解力
  • 拥有丰富大数据工程经验且对LLM数据领域有深刻理解的资深技术专家

缺点 / 挑战

  • 处于AI大模型最前沿赛道,技术挑战高且极具行业影响力
  • 数据合规与质量把控压力巨大

角色解读

  • 可向首席数据科学家、AI基础设施负责人或大模型算法专家方向发展,成为AI数据领域的顶级专家
  • 构建和维护大模型训练所需的高质量语料体系,包括数据获取、清洗、评估和配比
  • 精通大规模数据处理架构(Spark/Hive),深入理解LLM训练数据需求(Scaling Law、Data Mixing),具备数据合规与质量控制能力

申请策略

  • 准备详细的项目案例,重点阐述如何解决数据噪声、合规性及效率瓶颈问题
  • 突出TB级以上数据处理经验,展示从0到1搭建语料体系的案例,强调数据质量对模型效果的量化贡献
  • 深化对LLM训练原理(如Scaling Law、Data Mixing)的理解,掌握多模态数据处理技术

面试指南

  • 使用STAR法则,重点展示技术选型的依据、遇到的极端挑战及最终量化的业务/模型收益
  • 请描述你构建过的最大规模语料处理Pipeline及其性能优化手段
  • 如何平衡数据规模、质量和成本之间的关系?
  • 针对LLM训练中的长尾分布问题,你有什么数据配比策略?
  • 复习大模型数据相关的前沿论文和技术博客,准备关于数据合规和隐私保护的具体解决方案

职位点评

薪资福利85
成长发展95
工作生活40
使命价值80

薪资福利

85较高

作为巨头企业的高级专家岗,薪资水平必然处于行业顶端,且通常伴随丰厚的股票期权和福利。

薪资信号未披露(AI估算:4.0千–8.0万/月)

成长发展

95较高

岗位直接关联大模型核心能力建设,技术栈前沿,成长空间巨大,是典型的职业发展高地。

技术前沿前沿/新兴技术
技术栈LLM、Scaling Law、Data Mixing、LLM-as-Judge、多模态、Spark、HiveSQL
业务类型profit_center

工作生活

40较低

互联网大厂核心研发岗通常工作强度较大,虽可能有弹性工作制,但高压和高标准要求可能影响WLB。

工作模式未明确
办公地点科技园/产业园
加班情况未提及(无法判断)

使命价值

80较高

致力于推动AGI业务发展,通过高质量数据赋能金融、医疗等领域,具有显著的社会价值和行业前瞻性。

行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度开拓性创新(行业首创)
Watch Jobs