哔哩哔哩
资深大数据架构工程师-存储与中间件方向
资深大数据架构工程师-存储与中间件方向
发布于 2 天前普通员工/个人贡献者
上海市
专家级经验
全职员工
仅现场办公
本科
信息技术与基础设施
分布式系统
数据集成
对象存储
HDFS
AI编程
存算分离
Pulsar
Ec编码
磁带归档
AI 估算 · 45k–65k
资深架构岗，B站上市大厂，上海高薪，技术栈难度高，市场竞争力强
职位详情
关于这个职位
作为B站资深大数据架构工程师，你将主导EB级存储底座和亿级QPS消息中间件的稳定性与成本优化，同时推动AI赋能基础设施研发，构建智能化运维体系
该职位要求深厚的技术功底和实战经验，适合有大型分布式系统背景的专家
最低要求
●985/211及以上院校全日制本科及以上学历，计算机相关专业
●5年以上大数据相关工作经验
●至少深度参与过1个大型大数据基础设施项目（EB级存储/PB级日处理/千节点以上集群任一）
●Java/Scala/Go/Rust/C++中至少两门掌握扎实
●深度参与过HDFS/Kafka/对象存储至少一个组件在生产环境(>=EB级/>=亿级QPS)的研发和运维
●有EB级存储成本优化经验(EC编码、冷热分层、磁带归档、对象存储)
工作职责
一、存储与中间件方向(HDFS / Kafka / 磁带 / 数据集成)
跟踪分布式存储/消息中间件/归档存储社区前沿(HDFS/对象存储/Kafka/Pulsar/磁带库),结合业务做选型和落地
主导EB级存储底座的稳定性、成本优化,包括但不限于:（1）HDFS NameNode扩展性、Federation、Router-based架构（2）EC编码、冷热分层、磁带归档、对象存储分层（3）跨机房/多活/容灾/数据迁移
主导Kafka/Pulsar在亿级QPS入口下的稳定性、扩展性优化,包括但不限于:（1）集群扩展、分区均衡、副本同步（2）多租户、配额、流量隔离（3）跨集群复制/多机房灾备
主导大数据数据集成体系建设,包括但不限于:（1）异构数据源(MySQL/Kafka/对象存储/业务系统)接入与同步（2）全量+增量同步、CDC数据通道
数据校验、对账、补数机制
推动存算分离、Remote Shuffle Service、新型存储介质(NVMe/SCM/磁带)在大数据场景的落地
二、AI赋能基础设施研发
熟练使用Claude Code、Cursor、Copilot等AI编程工具，将AI深度嵌入日常工作流
主导AI流程自动化建设，为团队赋能：（1）开发阶段：基于AI的代码生成、Code Review、单测生成、性能profiling自动化（2）发布阶段：AI辅助的变更影响分析、灰度策略推荐、回滚决策（3）运维阶段：AI驱动的告警归并、根因分析、故障自愈（4）答疑阶段：基于内部知识库的RAG答疑机器人、SQL助手、调优建议生成
沉淀AI工具链最佳实践，推广到全组并向外辐射
优先资格
●对分布式存储/消息系统的核心机制(一致性协议、副本管理、元数据扩展)有源码级理解
●有跨机房/多活/容灾的大数据基础设施建设经验
●有大规模数据集成系统(类似DataX/SeaTunnel/Flink CDC)的设计或落地经验
●有自研/改造分布式存储/中间件的经验
●Apache HDFS/Kafka/Pulsar/Ozone/SeaTunnel Committer优先
●对开源生态高度熟悉,能快速判断"该自研、该用开源、该改开源"的边界
●具备从0到1设计大型分布式系统的能力,能独立owner某个技术方向
●良好的工程品味:代码质量、测试覆盖、可观测性、稳定性
●熟练使用AI编程工具完成日常开发,对LLM能力边界有清晰认知
●良好的中英文技术阅读和书面表达能力(社区issue/PR/设计文档)
●Apache顶级项目Committer/PMC,或活跃的Contributor(有合入主线的非trivial PR)
●主导过将AI能力工程化落地到基础设施场景的真实案例(不只是用ChatGPT写代码,而是构建了系统)
AI 洞察
优缺点分析
优点
- 深度参与前沿技术（存算分离、AI赋能、新型存储介质），技能积累价值高
- B站上市大厂，薪资福利有竞争力，且有股票期权激励
- 将AI与基础设施结合，独特赛道，未来职业发展空间广阔
- 技术要求极高，需具备大数据基础设施的深度实战经验，学习曲线陡峭
- 需要持续跟进开源社区，并做出自研/选型决策，技术判断力要求高
- 适合有5年以上大数据基础设施经验、热爱底层技术、乐于拥抱AI的工具变革、追求技术深度和影响力的资深工程师
缺点 / 挑战
- 核心业务岗位，直接负责B站EB级数据底座，技术挑战大、影响力广
- EB级稳定性压力大，可能出现紧急故障处理，工作强度较高
角色解读
- 技术方向：可成长为分布式存储/消息中间件领域专家，成为Apache顶级项目Committer或PMC
- 管理方向：积累架构设计和技术领导力，未来可晋升为技术总监或基础设施团队负责人
- 横向发展：通过AI+基础设施的融合经验，可转型为AI基础设施架构师或技术VP
- 负责EB级分布式存储（HDFS/对象存储/磁带）和消息中间件（Kafka/Pulsar）的架构设计与优化，保障系统稳定性并降低存储成本
- 主导大数据数据集成系统建设，包括异构数据源接入、同步、校验等全链路方案
- 推动AI赋能基础设施研发，将AI融入开发、发布、运维、答疑各环节，提升团队效率
- 跟踪开源社区前沿技术，结合业务需求进行技术选型和自研/开源决策
- 精通至少两门高级编程语言（Java/Scala/Go/Rust/C++），具备扎实的系统底层能力
- 深度掌握HDFS/Kafka/对象存储中至少一个组件的原理和运维，有EB级或亿级QPS经验
- 熟悉分布式系统一致性协议、副本管理、元数据扩展等核心机制，能进行源码级调优
- 熟练使用AI编程工具（如Claude Code、Cursor），并有AI工程化落地的实际经验
申请策略
- 在面试中强调你在存储成本优化或消息中间件稳定性方面的具体贡献和量化指标
- 关注B站技术博客或社区，了解其基础设施演变，展示对公司的兴趣
- 突出参与过的大型项目规模（EB级存储、PB级日处理、千节点集群等），用数据量化成果
- 详细描述在HDFS/Kafka/对象存储等组件的优化经历，包括成本降低比例、稳定性提升等
- 如果有开源贡献（Committer/PR），务必列出具体贡献和影响
- 展示AI赋能基础设施的案例，如构建的自动化工具、落地效果等
- 如果缺乏AI编程工具使用经验，建议提前学习Claude Code、Cursor等工具，并尝试在个人项目中实践
- 补充分布式系统源码阅读能力，尤其是HDFS NameNode或Kafka分区均衡等核心模块
面试指南
- 对于技术问题，采用STAR法则：Situation-Task-Action-Result，重点突出你担任的角色和技术难点
- 对于架构设计问题，先澄清需求边界，再对比多种方案优缺点，最后给出推荐并说明理由
- 对于AI落地问题，从痛点出发，说明选型、系统设计、迭代优化过程，强调工程化而非简单使用
- 请描述你主导过的一个EB级存储成本优化项目，具体采用了哪些技术方案？效果如何？
- 在亿级QPS的Kafka集群中，你遇到过哪些稳定性挑战？如何解决的？
- 谈谈你对存算分离的理解，以及在哪些场景下适用？
- 如何将AI技术落地到基础设施运维中？请举例说明
- 当面临自研和开源的决策时，你的判断依据是什么？
职位点评
71
综合评分
B站核心基础设施岗，前沿技术栈、高薪资、高成长，但工作强度大、弹性办公不明显
更适合这类人
适合追求技术深度和成长、愿意挑战高难度基础设施架构、能接受较大工作强度的资深工程师。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展90
工作生活50
使命价值65
薪资福利
80较高
B站上市大厂，上海核心岗位，薪资水平在行业内具有竞争力，福利完善（如五险一金、补充医疗等），但JD未明确说明具体薪资福利，补偿性动机满足程度较高。
薪资信号未披露（AI估算：45K-65K/月）
成长发展
90较高
该岗位技术要求极高，涉及前沿分布式存储、消息中间件、AI工程化等，成长空间巨大；鼓励开源贡献，有成为Committer的路径，发展性动机高度满足。
技术前沿前沿/新兴技术
技术栈HDFS、Kafka、Pulsar、对象存储、存算分离、AI编程、RAG
成长机会Committer、Contribute、开源生态
业务类型profit_center
工作生活
50较低
仅现场办公，未提及弹性工作或远程，B站作为互联网公司工作强度较大，可能涉及紧急故障处理，生活化动机满足程度一般。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
65中等
B站作为视频内容平台，数据基础设施支撑亿级用户，社会影响力正面，但岗位本身不直接面向用户，意义感中等。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs