AgiBot logo
智元机器人
资深大数据工程师 - 数据治理与加速

资深大数据工程师 - 数据治理与加速

发布于 大约 21 小时前

普通员工/个人贡献者

上海市
高级经验
全职员工
仅现场办公
硕士
软件工程
Alluxio
Ceph
Go
Juicefs
Minio
数据治理
混合云

AI 估算 · 45k–65k

资深大数据工程师+混合云/EB级经验稀缺,B轮机器人公司薪资竞争力强,月薪45-65K合理,14薪体现行业惯例。

职位详情

关于这个职位

作为资深大数据工程师,你将主导EB级别混合云数据架构的设计与优化,构建跨云数据治理体系,并实现智能数据加速

这是智元机器人核心技术团队的关键角色,直接支撑自动驾驶与具身智能场景的海量数据处理,技术挑战大、发展空间广

最低要求

硕士及以上学历,计算机、软件工程、分布式系统等相关专业,3-5年工作经验

硬性背景:具有多云(公有云+私有云/自建IDC)环境下的大规模数据基础设施研发或数据治理经验,熟悉混合云存储架构
精通Python、C++、Go中至少两门语言,具备优秀的系统级编程能力,能独立开发高性能数据服务
深入熟悉对象存储体系:精通S3协议及MinIO、Ceph等开源对象存储内核原理,有大规模生产环境部署与调优经验,具备EB级数据管理实践
数据治理经验:具备数据目录(Data Catalog)、元数据管理、数据血缘、生命周期管理、存储成本治理等至少两个方向的实战经验
加速技术栈:具备Alluxio、JuiceFS、CDN、全球加速网络、智能缓存层等至少一种数据加速方案的落地经验,熟悉跨地域/跨云数据传输优化技术

工作职责

混合云数据架构设计:负责多云(公有云)与自建IDC环境下EB级别数据的统一架构设计,构建跨云跨数据中心的数据管理底座,实现异构存储(对象存储、块存储、文件存储)的统一纳管与调度

数据治理体系建设:搭建覆盖全链路的数据治理框架,包括元数据管理、数据血缘追踪、数据目录服务、生命周期管理、成本治理等,保障EB级数据的可视、可控、可管
统一数据访问层:设计并实现统一数据访问网关,屏蔽底层多云与IDC存储差异,提供标准化的数据访问接口(S3兼容协议/自定义协议),实现应用层对数据的无感知跨云访问
访问加速优化:构建智能数据加速体系,包括热点数据智能缓存、跨云传输加速、就近访问调度、数据预取与预热等机制,显著降低跨云/跨IDC数据访问延迟,提升模型训练与业务数据消费效率
数据流动与同步:负责设计云际数据流转方案,保障跨云/IDC之间的数据高效迁移、实时同步与一致性校验,支撑业务场景下的数据弹性调度与容灾切换

优先资格

有EB级规模混合云存储系统的架构设计或核心开发经历

熟悉自动驾驶/具身智能场景的数据存储特征(ROS Bag、大规模点云/图像数据集、LeRobot格式等)
有跨云数据同步工具(Rclone、Velero等)或自研数据流转平台的开发经验
在Ceph、MinIO、Alluxio、JuiceFS等开源存储社区有代码贡献
熟悉数据合规与安全管理,具备数据分级分类、敏感数据识别与脱敏经验

AI 洞察

优缺点分析

优点

  • 智元机器人处于B轮快速发展期,技术投入大,职业成长空间和股权激励可能性高
  • 混合云数据治理与加速是AI基础设施的核心方向,行业前景广阔,技能保值性强
  • 技术栈要求全面且深入,对候选人的分布式系统、存储、网络等多领域知识要求高
  • 自动驾驶/具身智能场景的数据特性和需求与传统大数据不同,需要快速学习适应
  • 适合具备混合云数据基础设施经验、热爱解决大规模分布式系统难题、希望在AI数据平台方向成为技术专家的大数据工程师

缺点 / 挑战

  • 接触EB级混合云架构设计,技术挑战大,积累稀缺的大规模数据工程经验
  • 工作强度可能较高,涉及跨云、跨IDC的复杂系统,需要解决海量数据下的性能瓶颈

角色解读

  • 技术专家路线:在混合云存储、数据治理、加速优化方向深耕,成为行业顶级架构师
  • 架构师/技术负责人路线:从核心开发转向系统架构设计,主导公司数据基础设施整体演进
  • 跨领域拓展:结合自动驾驶/具身智能场景,向AI基础设施或机器人数据平台方向延伸
  • 设计跨多云与自建IDC的EB级数据统一架构,实现异构存储的纳管与调度
  • 搭建覆盖元数据、数据血缘、生命周期、成本治理的全链路数据治理体系
  • 构建统一数据访问网关和智能加速层,优化跨云数据访问延迟,支撑模型训练
  • 负责跨云/跨IDC数据流动与同步方案,确保数据高效迁移与一致性
  • 精通Python、C++、Go至少两门,具备系统级编程能力,能开发高性能数据服务
  • 深入掌握对象存储体系(S3、MinIO、Ceph),有EB级生产环境经验
  • 具备数据治理实战经验,如Data Catalog、元数据管理、数据血缘等
  • 熟悉至少一种数据加速方案(Alluxio、JuiceFS、CDN等)和跨云传输优化技术

申请策略

  • 提前了解智元机器人在具身智能领域的布局和数据平台面试的风格,准备相关项目案例
  • 可以主动表明对混合云数据治理和加速的热情,以及愿意深入科研场景的态度
  • 重点突出在公有云+私有云/IDC环境下的大数据系统设计经验,量化数据规模(如PB/EB级)
  • 展示对象存储自研或深度优化经历,尤其是MinIO、Ceph等内核调优或二次开发案例
  • 强调数据治理项目中的具体成果,如元数据管理、数据血缘、成本治理的效果
  • 如有Alluxio、JuiceFS等加速方案落地经验,务必详细描述优化效果(延迟降低百分比等)
  • 补充学习Alluxio或JuiceFS的架构原理,若已有基础,可以尝试部署测试环境加深理解
  • 了解自动驾驶场景的数据存储格式(ROS Bag、LeRobot),阅读相关技术文档

面试指南

  • 使用STAR法则(情境-任务-行动-结果)描述项目经验,突出技术选型、架构决策和量化成果
  • 对于系统设计题,先明确需求约束,再分模块(存储、访问、加速、治理)逐步展开,并讨论权衡
  • 展现对开源社区的理解,可提及自己的贡献或对相关项目的源码分析
  • 请描述你设计过的混合云数据架构,如何实现跨云数据统一访问和调度?
  • 谈谈你对对象存储S3协议的理解,以及在多租户EB级场景下如何优化存储性能?
  • 在数据治理体系中,元数据管理和数据血缘追踪你是怎么实现的?遇到过哪些挑战?
  • 设计一个跨云数据加速方案,如何降低延迟并保证数据一致性?
  • 你如何看待自动驾驶/具身智能场景下数据存储的特殊性?

职位点评

68
综合评分

前沿技术栈(混合云/EB级数据)、高成长空间、薪资有竞争力,但工作强度未知、WLB不确定。

更适合这类人
适合技术驱动型、渴望挑战EB级系统难题、愿意在AI基础设施领域深度发展的工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利65
成长发展90
工作生活40
使命价值75

薪资福利

65中等

薪资面议,但B轮公司+资深技术岗通常提供有竞争力的薪酬与期权,但稳定性不如大厂。

薪资信号未披露(AI估算:45K-65K/月)

成长发展

90较高

职位涉及EB级混合云、数据治理、加速等前沿技术,成长空间极大;公司处于快速发展期,技术投入足。

技术前沿前沿/新兴技术
技术栈混合云、对象存储、S3、MinIO、Ceph、Alluxio、JuiceFS、数据治理、元数据管理、数据血缘
成长机会无明确提及,但职责描述中包含高挑战性任务
业务类型ambiguous

工作生活

40较低

上海办公,推测为现场办公,未提及弹性工作制或远程,可能涉及较高强度。

工作模式仅现场办公
办公地点市区核心地段
加班情况未提及(无法判断)

使命价值

75中等

服务于自动驾驶与具身智能,属于AI前沿领域,社会意义较高,但公司为创业阶段,影响规模有限。

行业发展高速增长赛道
社会影响正向社会影响力较高
使命信号支撑自动驾驶与具身智能场景
创新程度积极采用新技术
Watch Jobs