地平线
【地瓜机器人】分布式存储开发工程师
【地瓜机器人】分布式存储开发工程师
发布于 1 小时前普通员工/个人贡献者
全职员工仅现场办公存储技术
存储技术
Alluxio
Ceph
Csi
Go
Juicefs
Minio
分布式存储
混合云
值不值得投
薪资怎么样
4.3万
比存储技术中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 430 个在招
市场机会
选择适中
北京 · 存储技术 · 17 个在招
职位详情
关于这个职位
该岗位隶属于地平线旗下地瓜机器人的云平台部，负责企业级分布式存储平台的建设与运维
日常围绕 JuiceFS、Alluxio、Ceph、MinIO 在 Kubernetes 环境中做部署、调优与故障排查，重点支撑 AI 分布式训练与推理场景的数据读写加速
最低要求
学历与专业：计算机科学与技术、软件工程、云计算、大数据、网络工程等相关专业本科及以上学历
工作经验：5 年及以上分布式存储、大数据存储相关开发/运维经验，熟悉主流分布式存储架构与业务落地流程
核心技能：熟练掌握 JuiceFS 或 Alluxio 至少其中一款产品，精通其在 Kubernetes 集群中的部署、挂载、使用、排障与调优，深入理解架构、核心原理
自建存储能力：精通 Ceph、MinIO 架构、部署运维与故障排查，具备自建分布式存储集群实战经验
AI 场景经验：有分布式训练、推理场景存储支撑经验，能够针对性完成存储侧性能加速方案设计与落地
性能优化能力：精通存储级别全维度性能优化，擅长 IO、元数据、缓存、网络等链路调优，可独立分析并解决各类存储性能问题
混合云经验：具备混合云存储落地、运维实战经历，熟悉线下自建存储与公有云存储对接、数据流转、统一管控方案
编程能力：精通 Go 或 Python 语言，具备扎实的编码功底、脚本开发、工具自研及组件二次开发能力，代码风格规范
云原生基础：熟练掌握 Docker、Kubernetes，熟悉 PV/PVC、存储类、CSI 等 K8s 存储体系，能独立完成容器存储方案落地
操作系统与基础组件：熟练使用 Linux 操作系统，精通 Shell 运维脚本
熟悉文件系统、磁盘 IO、网络、内存等底层系统原理
分布式技术：了解分布式理论、元数据管理、数据分片、副本机制、缓存架构
熟悉大数据生态组件（Hadoop、Hive、Spark 等）优先
数据库与中间件基础：了解 MySQL、Redis 等常用组件，具备基础的数据存储设计与问题排查能力
工作职责
分布式存储系统开发与运维：负责企业级分布式存储平台的设计、开发、部署及日常运维，保障存储集群高可用、高吞吐、低延迟稳定运行
云原生存储落地：基于 Kubernetes 环境部署、配置、运维 JuiceFS/Alluxio，完成存储卷挂载、权限管控、动态供给，适配容器化业务运行需求
分层存储架构建设：依托 JuiceFS/Alluxio 构建统一数据湖、缓存加速架构，优化冷热数据分层、数据读写链路，支撑大数据、AI 训练、推理等场景的数据访问需求
AI 场景存储专项优化：面向分布式训练、推理业务开展存储性能加速工作，结合业务特征定制读写策略，解决训练/推理过程中的 IO 瓶颈
自建存储体系建设与维护：深度使用、运维 Ceph、MinIO，负责对象存储、块存储、文件存储集群搭建、扩容与日常管控，保障多类型存储服务稳定供给
混合云存储架构落地：负责混合云环境下存储架构规划、打通与运维，实现线下自建存储与公有云存储互联互通、数据协同、统一管理
存储性能调优与问题排查：持续监控存储集群运行状态，分析 IO 瓶颈、元数据性能、缓存命中率等指标，开展存储级别深度性能优化，完成参数调优、故障定位与修复，提升整体存储服务能力
数据迁移与接入适配：对接业务系统、计算集群，完成存量数据迁移、存储接口适配，制定数据同步、权限管理、配额管理方案，保障业务平滑接入
存储架构迭代与方案落地：结合业务增长需求，迭代存储架构，设计容灾备份、数据安全、多租户隔离方案
参与技术方案评审，输出标准化存储使用规范
跨团队协作支撑：配合后端、大数据、AI、算法等团队，提供存储技术支持，解决分布式训练、推理场景下各类存储相关问题，推动项目落地
优先资格
拥有自动驾驶、机器人行业相关数据流转、分布式存储落地实战经验
同时精通 JuiceFS + Alluxio，有大规模 K8s 集群中落地、架构改造实战经验
熟悉对象存储（S3、OSS）、本地存储、分布式块存储，具备多级存储融合架构设计经验
深度参与 AI 数据湖、大规模分布式训练/推理存储平台建设项目
具备分布式存储源码阅读、二次开发、功能定制经验
熟悉 RDMA、高性能网络、硬件加速存储方案，有存储性能专项优化经验
有大规模集群容灾、数据备份恢复、安全审计、多区域存储架构设计经验
精通主流公有云存储产品，具备复杂混合云存储架构设计、跨云数据同步治理经验
具备 GPU 集群、异构计算集群配套存储架构设计与调优经验
熟悉 CSI 驱动开发、K8s 存储调度优化，有容器存储性能专项优化经验
AI 洞察
优缺点分析
优点
- 技术栈贴近 AI 基础设施前沿：JuiceFS/Alluxio + Ceph/MinIO + K8s 是当前大模型训练数据链路的主流组合，技术保值性好
- 机器人、自动驾驶行业数据量增长快，存储平台有持续建设需求，岗位内容不会停留在纯运维
- 需要与后端、大数据、AI、算法多团队协作，视野与跨领域沟通能力提升明显
- 存储是底层支撑角色，问题往往在业务最需要的时候暴露，需要具备较强的抗压与应急处理能力
- 大量工作在部署、调优与排障等细节层面，需要长期钻研，短期内较难有从零造轮子的成就感
- 适合分布式存储功底扎实、喜欢底层系统与性能调优、并希望把技术能力绑定到 AI 训练/推理场景的资深工程师
缺点 / 挑战
- 业务场景硬核，需要解决分布式训练/推理的真实 IO 瓶颈，性能调优的深度积累快
- 门槛较高：要求 5 年以上分布式存储经验，且技能面覆盖多款存储系统、云原生、混合云与编码能力
角色解读
- 沿技术专家路线成长为分布式存储/AI 基础设施架构师，主导大规模存储平台的架构设计与技术选型
- 深度绑定 AI 训练与推理场景，可横向拓展至大数据平台、云原生基础设施、异构计算集群等相邻方向
- 在机器人、自动驾驶这类数据密集型行业积累大规模数据流转与治理经验，这类能力在市场上较为稀缺
- 负责企业级分布式存储平台（Ceph、MinIO、JuiceFS、Alluxio）的设计、开发、部署与日常运维，保障集群高可用、高吞吐、低延迟
- 在 Kubernetes 环境中落地云原生存储，完成 CSI 挂载、动态供给、权限与配额管理，支撑容器化业务运行
- 面向 AI 分布式训练与推理场景做 IO 链路加速、冷热数据分层与缓存优化，解决训练/推理过程中的存储瓶颈
- 规划并打通混合云存储架构，完成数据迁移、容灾备份、多租户隔离等方案设计与落地
- 精通 JuiceFS 或 Alluxio 至少一款，深入理解其架构原理，并能在 K8s 中完成部署、挂载、排障与调优
- 精通 Ceph、MinIO 的对象/块/文件存储集群搭建、扩容与故障排查，有自建分布式存储实战经验
- 扎实的 Go 或 Python 编码能力，能自研运维工具、做组件二次开发
- 熟练 Linux、Shell、Docker、Kubernetes 存储体系（PV/PVC、StorageClass、CSI）
- 具备存储全链路性能优化能力（IO、元数据、缓存、网络），并有混合云存储对接与数据流转经验
申请策略
- JD 未提及办公模式、弹性工时或加班安排，WLB 无法从原文判断
- 职责中的日常运维与故障定位修复可能带来应急响应需求，但原文未明确说明
- 未明确
- 未提及（无法判断）
- 科技园/产业园
- 岗位支撑机器人、自动驾驶与 AI 训练推理的数据底座，属于数据密集型新兴行业的基础设施建设，技术价值与社会价值都比较明确
- 高速增长赛道
- 积极采用新技术
面试指南
暂无内容
地平线 的其他在招职位
相似职位推荐
Watch Jobs