字节跳动
AI与大数据存储研发工程师-基础设施
AI与大数据存储研发工程师-基础设施
发布于 大约 14 小时前普通员工/个人贡献者
北京市
高级经验
全职员工
仅现场办公
学历未注明
GO
分布式存储
ClickHouse
大模型训练
AI 估算 · 30k–50k
AI存储前沿技术，大厂高级岗位，薪资竞争力强
职位详情
关于这个职位
作为字节跳动AI与大数据存储研发工程师，你将参与AI存储产品的架构设计，主导大模型训练/推理的存储方案定制与优化，解决IO阻塞、数据调度等核心痛点
同时负责大数据场景下存储技术演进，对接消息队列、数据湖等组件
适合精通分布式存储、熟悉大模型训练存储特性的高级工程师
最低要求
精通分布式存储系统核心原理与关键技术（一致性协议、数据冗余、缓存调度、GC优化等），具备独立拆解复杂需求、输出落地级存储解决方案的能力
熟练掌握Java/C/C++/Go任意一门开发语言，精通网络编程、多线程/多进程高并发编程，具备存储组件研发、问题排查与性能调优实战经验，可主导产品落地
熟悉AI大模型训练/推理存储特性，了解3FS、Tectonic、Colossus等业界主流AI存储架构，掌握大模型Checkpoint读写、海量小文件/大文件混合存储、低延迟IO优化等关键技术
熟悉大数据技术体系，精通Yarn、Spark、Flink、Kafka、HBase、ClickHouse、数据湖/数仓中至少两种组件的底层架构、工作原理与业务应用
工作职责
参与AI存储相关产品的整体架构设计，主导大模型训练/推理端到端存储方案的需求拆解、方案设计、研发交付与持续运维
针对推荐、广告、搜索场景下的大模型训练需求，定制化优化存储策略，保障模型训练效率与稳定性
参与大数据场景下存储技术演进，对接消息队列、数据湖、数仓、ClickHouse等核心组件，完成存储层适配优化与架构升级
挖掘存储产品性能瓶颈、可靠性缺陷，设计高可用、易扩展、低成本的优化方案，解决大模型训练中的IO阻塞、数据调度、高并发读写等核心痛点
保障存储集群高质量迭代、高效率发布，支撑EB级数据规模平稳运行
优先资格
加分项：
参与过PB/EB级AI分布式存储集群研发、运维、故障排查与性能调优，有大模型训练存储优化实战经验者优先
参与过HDFS、Ceph、Alluxio及AI存储相关开源项目开发，具备开源贡献经验者优先
深入理解推荐、广告、搜索业务场景，有AI训练数据治理、存储链路优化落地经验者优先
AI 洞察
优缺点分析
- 站在AI浪潮最前沿，参与大模型训练存储核心环节，技术含金量高
- 字节跳动平台大，数据规模EB级，能接触业界顶级分布式存储挑战
- 技术栈覆盖分布式、大数据、AI，技能积累全面，市场价值高
- 技术难度大，需要同时精通分布式存储和大模型训练特性，学习曲线陡峭
- 工作强度可能较高，大厂核心基础设施部门节奏快、压力大
- 对底层系统理解要求深，需要持续跟进开源社区和业界新技术
- 适合有扎实分布式存储背景、对AI基础设施充满热情、能接受高强度技术挑战的高级工程师
角色解读
- 技术纵深：从存储研发专家到AI存储架构师，深入大模型基础设施核心领域
- 横向扩展：可转向大数据平台架构、云原生存储等方向，覆盖更多基础设施技术栈
- 管理路线：积累大型集群运维和团队协作经验后，可晋升为技术Leader或存储团队负责人
- 主导AI大模型训练/推理场景下的存储方案设计、研发与优化，包括checkpoint读写、数据调度等
- 参与大数据技术栈（如消息队列、数据湖、数仓）的存储层适配与架构升级
- 挖掘存储系统性能瓶颈，设计高可用、低成本方案，保障EB级数据平稳运行
- 精通分布式存储核心原理（一致性、冗余、缓存、GC等），能独立输出架构方案
- 熟练Java/C++/Go之一，具备高并发网络编程和存储组件开发调优经验
- 熟悉AI大模型存储特性（如3FS、Tectonic），掌握海量文件混合存储优化技术
- 熟悉大数据生态至少两个组件（如Yarn、Spark、Kafka、ClickHouse等）的底层原理
申请策略
- 了解字节跳动内部存储技术栈（如HDFS演进、对象存储等），面试时展现业务理解
- 关注字节跳动AI Lab和技术博客，提前了解其在大模型基础设施方面的布局
- 突出分布式存储系统的实际项目经验，包括架构设计、性能调优、故障排查案例
- 强调AI相关存储优化经历，如大模型checkpoint读写、分布式训练数据流水线优化
- 展示大数据组件（如Spark、Kafka、HBase等）的应用或二次开发经验
- 如有开源贡献（如Ceph、Alluxio等），务必重点提及
- 若对AI存储不熟，可先学习3FS/Tectonic等主流架构论文或代码
- 强化Java/Go高并发编程和网络编程能力，刷相关系统设计题
面试指南
- 结合理论（如一致性、冗余策略）与实战案例，先讲问题分析，再讲方案设计和权衡
- 用分层思路：从存储介质、网络调度、缓存策略、客户端优化等多个维度逐一阐述
- 强调数据驱动的优化方法，比如通过监控定位瓶颈，设计针对性实验验证效果
- 如何设计一个支持大模型训练的高性能分布式存储系统？
- 当训练出现IO瓶颈时，你会如何分析和优化？
- 解释分布式一致性协议（如Raft/Paxos）在存储中的应用场景
- 你在之前的项目中如何解决海量小文件存储的性能问题？
- 对Ceph或HDFS的架构和调优参数了解多少？
匹配度报告
75
综合匹配度
字节跳动AI存储岗，顶级技术挑战，高薪资但WLB一般，适合技术极客。
适合人群
追求技术深度和前沿领域、能接受高强度工作的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利80
成长发展95
工作生活40
使命价值85
薪资福利匹配
80较高
字节跳动薪资水平行业领先，但JD未明确具体薪酬和福利，综合评估补偿性动机满足度较高。
薪资信号未披露 (30K-50K/月)
成长发展匹配
95较高
职位涉及AI大模型、分布式存储、大数据等前沿技术，技能成长空间巨大，发展性动机满足度极高。
技术前沿前沿/新兴技术
技术栈分布式存储、大模型训练、AI存储、3FS、Tectonic、Colossus、Yarn、Spark、Kafka、ClickHouse
业务类型ambiguous
工作生活匹配
40较低
仅现场办公且未提及WLB，互联网大厂核心部门工作压力大，生活化动机满足度较低。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值匹配
85较高
AI基础设施建设推动技术发展，行业前景光明，但直接社会影响力有限，意义感满足度较高。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs