字节跳动
AI与大数据存储研发工程师-基础设施
AI与大数据存储研发工程师-基础设施
发布于 大约 2 个月前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
本科
软件工程
大数据
GO
分布式存储
HDFS
ClickHouse
AI大模型
Ceph
AI 估算 · 60k–100k
高级工程师岗位，字节跳动大厂，技术难度高，AI存储方向稀缺，薪资有竞争力，参考市场水平
职位详情
关于这个职位
该职位负责字节跳动AI与大数据存储基础设施的研发，重点参与大模型训练/推理场景下的存储方案设计、优化与运维，解决IO阻塞、高并发读写等核心痛点
你将与顶尖团队合作，主导EB级数据规模的存储架构升级，支撑推荐、广告、搜索等核心业务
最低要求
精通分布式存储系统核心原理与关键技术（一致性协议、数据冗余、缓存调度、GC优化等），具备独立拆解复杂需求、输出落地级存储解决方案的能力
熟练掌握Java/C/C++/Go任意一门开发语言，精通网络编程、多线程/多进程高并发编程，具备存储组件研发、问题排查与性能调优实战经验，可主导产品落地
熟悉AI大模型训练/推理存储特性，了解3FS、Tectonic、Colossus等业界主流AI存储架构，掌握大模型Checkpoint读写、海量小文件/大文件混合存储、低延迟IO优化等关键技术
熟悉大数据技术体系，精通Yarn、Spark、Flink、Kafka、HBase、ClickHouse、数据湖/数仓中至少两种组件的底层架构、工作原理与业务应用
工作职责
参与AI存储相关产品的整体架构设计，主导大模型训练/推理端到端存储方案的需求拆解、方案设计、研发交付与持续运维
针对推荐、广告、搜索场景下的大模型训练需求，定制优化存储策略，保障模型训练效率与稳定性
参与大数据场景下存储技术演进，对接消息队列、数据湖、数仓、ClickHouse等核心组件，完成存储层适配优化与架构升级
挖掘存储产品性能瓶颈、可靠性缺陷，设计高可用、易扩展、低成本的优化方案，解决大模型训练中的IO阻塞、数据调度、高并发读写等核心痛点
保障存储集群高质量迭代、高效率发布，支撑EB级数据规模平稳运行
优先资格
参与过PB/EB级AI分布式存储集群研发、运维、故障排查与性能调优，有大模型训练存储优化实战经验者优先
参与过HDFS、Ceph、Alluxio及AI存储相关开源项目开发，具备开源贡献经验者优先
深入理解推荐、广告、搜索业务场景，有AI训练数据治理、存储链路优化落地经验者优先
AI 洞察
优缺点分析
优点
- 顶尖大厂平台，参与AI前沿基础设施建设，技术含金量极高
- EB级数据规模实战机会，能快速积累大规模分布式系统经验
- AI存储是稀缺方向，市场竞争力强，职业发展空间大
- 技术难度高，需要深入理解存储与AI交叉领域
- 技术栈广泛，学习曲线陡峭，对综合能力要求高
缺点 / 挑战
- 业务压力大，需保障高可用与性能，可能面临高强度工作
- 适合有多年分布式存储开发经验，对AI大模型充满热情，敢于挑战高难度技术问题的资深工程师
角色解读
- 深入AI基础设施方向，成为分布式存储领域的架构专家
- 可向技术管理（如存储团队负责人）或系统架构师方向发展
- 积累大模型与大数据结合的稀缺经验，未来在AI行业有广阔前景
- 负责AI存储产品的整体架构设计，针对大模型训练/推理场景定制存储策略，保障效率与稳定性
- 参与大数据存储技术演进，对接消息队列、数据湖、数仓等组件，完成存储层适配优化
- 解决大模型训练中的IO阻塞、高并发读写等核心痛点，设计高可用、易扩展、低成本的优化方案
- 精通分布式存储核心原理（一致性协议、数据冗余、缓存调度等），能独立输出解决方案
- 熟练掌握Java/C/C++/Go之一，精通网络与高并发编程，有存储组件实战与调优经验
- 熟悉大模型存储架构（如3FS、Tectonic）与关键技术，了解大数据组件底层原理
申请策略
- 了解字节跳动AI基础设施的公开技术分享，面试中展现对业务场景的理解
- 准备一个完整的存储优化案例，体现问题分析、方案设计与落地效果
- 突出分布式存储系统设计或优化项目，尤其是PB/EB级规模经验
- 强调大模型训练/推理存储相关实战，如Checkpoint优化、IO性能调优
- 展示对主流存储系统（HDFS、Ceph等）或AI存储架构的深入理解
- 补强AI存储架构知识，阅读3FS、Tectonic等论文或源码
- 熟悉大数据组件（如Spark、Flink）的存储交互原理
- 练习多语言（Java/C++/Go）特性，强化并发编程与性能分析能力
面试指南
- 结构化回答：先阐明问题背景，再分点列出原因与解决方案，最后总结效果
- 结合项目经验：用STAR法则（情境、任务、行动、结果）来组织案例
- 展现系统思维：不仅说技术细节，还要考虑业务影响、可扩展性、成本等
- 请解释分布式存储系统中的一致性协议（如Raft或Paxos）在AI训练场景下的优缺点
- 大模型Checkpoint读写有哪些性能瓶颈？如何优化？
- 描述一次你解决高并发IO阻塞的经历，用到了哪些技术手段？
- 对比HDFS和Ceph的架构差异，在AI训练场景下你会选择哪个？为什么？
- 复习分布式存储经典论文（如GFS、Bigtable、Dynamo）以及AI存储相关新方案
匹配度报告
70
综合匹配度
大厂高薪、前沿AI存储技术栈，但工作强度大、WLB一般。
适合人群
最适合追求技术成长和薪资回报，能够接受高强度工作的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利85
成长发展95
工作生活40
使命价值60
薪资福利匹配
85较高
字节跳动薪资水平在业内领先，且该岗位为高级/专家级，薪资极具竞争力，福利完善。
薪资信号市场水准 (60K-100K/月)
成长发展匹配
95较高
AI存储是前沿技术方向，项目涉及大模型与大数据，技术成长空间极大，且字节跳动内部有丰富的学习资源。
技术前沿前沿/新兴技术
技术栈分布式存储、AI大模型、Java、C++、Go、大数据、HDFS、Ceph、ClickHouse、Kafka、3FS、Tectonic、Colossus
业务类型ambiguous
工作生活匹配
40较低
大厂研发岗位通常需要较强的工作投入，JD未提及弹性工作或远程，现场办公且互联网行业加班文化普遍。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值匹配
60中等
AI基础设施岗位助力大模型发展，对行业有重要价值，但社会影响力相对间接。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs