Alibaba logo
阿里巴巴
阿里云智能-对象存储数据湖技术专家-基于对象存储的数据湖相关技术开发

阿里云智能-对象存储数据湖技术专家-基于对象存储的数据湖相关技术开发

发布于 2 小时前

普通员工/个人贡献者

AI 估算 · 4.0–8.0万 · AI 参考估算
高级经验
学历未注明
全职员工仅现场办公数据工程
数据工程
Ai Infrastructure
Data Lake
Hudi
System Design

值不值得投

76综合评分

综合评分 76

高薪前沿技术岗,聚焦AI数据湖核心研发,技术成长空间巨大,但工作强度较高。

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

6.0万

比数据工程中位数高

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 4820 个在招 · 其中数据工程 78 个

市场机会

选择面较广

杭州 · 数据工程 · 约 120 个在招

职位详情

关于这个职位

该职位负责基于阿里云OSS构建高性能Iceberg数据湖引擎,支持AI场景下的结构化与半结构化数据管理

需优化存储格式集成、向量数据读写及大模型训练I/O路径,并推动湖格式技术在业务中的规模化应用

最低要求

年以上开发经验,精通Java或Rust开发,有大型项目全栈交付经验者优先

掌握湖仓架构,熟悉Iceberg、Hudi等主流湖仓系统,熟悉AI场景的新兴格式如Lance等
掌握主流AI训练推理原理,有工业级项目落地实践经验者优先
持有阿里云ACA/ACP/ACE认证证书者优先
了解主流云平台(如阿里云/AWS)架构体系,具备Serverless或微服务架构设计能力,熟练掌握Docker/Kubernetes等容器化技术
具备良好的系统设计能力,对高并发、高可用架构及系统安全有深刻理解和实践经验
有强烈技术热情和好奇心,自驱力和学习力强,尤其是AGI相关技术
具备良好的分析与解决问题的能力、沟通以及团队合作能力
喜欢挑战性的技术研发工作,善于攻坚克难,有创新热情,积极乐观,坚韧抗压,结果导向,能够持续推动问题的解决和突破

工作职责

负责基于 OSS 构建高性能、可扩展的 Iceberg 数据湖引擎,支持 AI 场景下的结构化与半结构化数据管理

负责多种存储格式的集成与优化,将多种列式存储格式深度集成至数据湖体系,开发高效向量数据读写、索引及查询能力
负责 AI 数据管道性能调优,面向大模型训练、向量检索等 AI 负载,优化从 OSS 到计算引擎的数据 I/O 路径,提升吞吐与降低延迟
负责跨团队协作与技术落地,与 AI 平台、存储、计算等团队紧密合作,推动湖格式技术在实际业务场景中的规模化应用

AI 洞察

优缺点分析

优点

  • 追求技术深度、热衷于解决复杂系统问题、具备极强自驱力的高级后端/基础架构工程师

缺点 / 挑战

  • 接触最前沿的AI基础设施技术栈(数据湖+大模型),平台规模巨大,技术挑战性强,职业背书价值高
  • 对底层性能和架构设计要求极高,需处理海量数据和高并发场景,工作压力较大,竞争激烈

角色解读

  • 可向首席工程师、架构师方向发展,或在AI基础设施领域成为行业专家,主导前沿数据湖技术演进
  • 构建和优化基于对象存储(OSS)的数据湖引擎(如Iceberg),为AI大模型训练提供高效的数据底座
  • 精通Java/Rust,深入理解湖仓一体架构(Iceberg/Hudi),掌握云原生技术(K8s/Docker),具备高性能系统设计与调优能力

申请策略

  • 准备详细的技术案例,展示如何在实际业务中优化数据I/O路径或解决高可用问题,体现结果导向
  • 突出大型分布式系统开发经验,强调在数据湖、存储引擎或AI基础设施领域的具体项目成果和技术难点攻克
  • 深化对Iceberg/Hudi源码的理解,提升Rust或Java在高并发场景下的性能调优能力,熟悉云原生生态

面试指南

  • 采用STAR法则(情境-任务-行动-结果),重点描述技术选型的权衡过程、性能指标的提升数据以及遇到的关键挑战及解决思路
  • 请介绍你设计的最高并发数据湖引擎架构及其性能瓶颈解决方案
  • 如何优化Iceberg在AI训练场景下的读取性能?
  • 对比Java和Rust在系统编程中的优劣,并结合本项目说明选型理由
  • 如何处理数据湖中的小文件问题以保证查询效率?
  • 复习分布式系统理论、存储引擎原理、JVM/Rust内存管理机制,以及阿里云OSS的产品特性

职位点评

薪资福利85
成长发展95
工作生活40
使命价值70

薪资福利

85较高

作为上市巨头企业的高级技术专家岗,薪资包(现金+股票)通常极具竞争力,远超市场平均水平,福利体系完善。

薪资信号未披露(AI估算:4.0千–8.0万/月)

成长发展

95较高

职位涉及AI数据湖、大模型训练等前沿技术领域,技术栈领先,能极大提升个人在AI基础设施领域的专业深度和行业影响力。

技术前沿前沿/新兴技术
技术栈Iceberg、Hudi、Lance、AI、OSS、Kubernetes、Rust、Java
业务类型profit_center

工作生活

40较低

互联网大厂核心研发岗位,通常工作强度较大,虽可能有弹性工作制,但高压和高绩效要求可能影响工作与生活的平衡。

工作模式未明确
办公地点市区核心地段
加班情况JD含高强度暗示词

使命价值

70中等

通过构建高效数据基础设施支持AI发展,具有明确的技术使命感和行业推动作用,但商业属性较强,社会直接影响力相对间接。

行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs