哔哩哔哩
大数据架构资深工程师
大数据架构资深工程师
发布于 大约 15 小时前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
本科
信息技术与基础设施
分布式系统
ClickHouse
AI编程
AI 估算 · 35k–65k
资深架构岗，技术门槛高，BAT级别薪酬，月薪中位数约50K
职位详情
关于这个职位
作为哔哩哔哩大数据架构资深工程师，你将负责大数据基础设施的研发与优化，包括Hadoop/Spark/Flink等开源组件的二次开发与自研，同时利用AI工具赋能基础设施自动化
该职位要求深厚的技术功底和开源社区贡献经验，适合技术驱动型人才
最低要求
●985 / 211 及以上院校全日制本科及以上学历
●5 年以上大数据相关工作经验
●在 Hadoop 生态（HDFS / Spark / Flink / Hive / HBase 之一）有深度的源码级理解和调优经验
●至少深度参与过 1 个大型大数据基础设施项目（EB 级存储 / PB 级日处理 / 千节点以上集群 任一）
●Java / Scala / Go / Rust / C++ 中至少两门掌握扎实
●对 OLAP / 流处理 / 批处理 / 存储 中至少一个方向有体系化认知，在对应领域里面有深入了解、开发、应用
【能力素质】
满足以下一项或者多项要求：
●对开源生态高度熟悉，能快速判断"该自研、该用开源、该改开源"的边界
●具备从 0 到 1 设计大型分布式系统的能力，能独立 owner 某个技术方向
●良好的工程品味：代码质量、测试覆盖、可观测性、稳定性
●熟练使用 AI 编程工具完成日常开发，对 LLM 能力边界有清晰认知
●良好的中英文技术阅读和书面表达能力（社区 issue / PR / 设计文档）
工作职责
大数据基础设施研发
（1）跟踪开源社区前沿（Hadoop、Spark、Flink、Iceberg、ES、Trino、Paimon、ClickHouse、Velox、Gluten 等），结合公司业务实际需求做选型评估
（2）对开源方案做二次开发与整合，包括但不限于性能优化、稳定性加固、与公司基础设施打通、定制化功能开发
（3）在开源方案不能满足时，主导自研组件的设计和实现，能够做到系统设计，方案讨论，代码实现，发布上线，版本迭代，线上运维等
（4）负责的方向覆盖以下一个或多个领域：
○批处理系统（Spark、MR 生态、向量化执行引擎如 Gluten/Velox）
○流处理系统（Flink、Flink CDC、流批一体）
○OLAP 引擎（ClickHouse、Trino）
○实时数仓（Lambda/Kappa 架构、湖仓一体、Iceberg/Paimon/Hudi）
○数据集成/清洗/治理（Data Schema、AutoETL、Atalas、Ranger）
○存储底座（HDFS、对象存储、EC、分层存储、冷热分离）
AI 赋能基础设施研发
（1）熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具，将 AI 深度嵌入日常工作流
（2）主导 AI 流程自动化建设，为团队赋能：
○开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化
○发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策
○运维阶段：AI 驱动的告警归并、根因分析、故障自愈
○答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成
（3）沉淀 AI 工具链最佳实践，推广到全组并向外辐射
优先资格
【加分项（满足任一即可加分，多项叠加）】
●Apache 顶级项目 Committer / PMC，或活跃的 Contributor（有合入主线的非 trivial PR）
●主导过将 AI 能力工程化落地到基础设施场景的真实案例（不只是用 ChatGPT 写代码，而是构建了系统）
●有湖仓一体（Iceberg / Paimon / Hudi）大规模落地经验
●有向量化执行引擎（Velox / Gluten / Photon / DuckDB）的开发或深度调优经验
●有跨机房 / 多活 / 容灾的大数据基础设施建设经验
●有 EB 级存储成本优化经验（EC 编码、冷热分层、磁带归档、对象存储）
●在 GitHub 有持续的开源项目贡献
AI 洞察
优缺点分析
优点
- B站上市大厂，平台稳定，技术氛围浓厚，有海量数据场景
- 岗位涉及前沿技术栈（Spark、Flink、AI编程），技能成长快
- 鼓励开源贡献，有机会与顶级社区互动，提升个人品牌
- 薪资水平有竞争力，福利完善
- 技术门槛高，要求源码级理解和大型项目经验，面试竞争激烈
- 需要同时精通大数据和AI两个领域，学习曲线陡峭
- 适合技术功底扎实、热爱开源、渴望深入底层技术并愿意拥抱AI的技术专家
缺点 / 挑战
- 可能涉及线上运维和压力较大的项目交付节奏
角色解读
- 技术路线：从资深工程师到技术专家，成为大数据或AI基础设施领域权威
- 管理路线：有机会带领技术团队，担任架构师或技术负责人
- 开源路线：通过社区贡献成为PMC/Committer，提升行业影响力
- 负责大数据基础设施的选型、二次开发与自研，覆盖批处理、流处理、OLAP等方向
- 主导AI赋能基础设施的自动化建设，包括代码生成、运维诊断、RAG答疑等
- 跟踪开源社区前沿，参与社区贡献，提升公司技术影响力
- 深度掌握Hadoop生态至少一个组件的源码和调优，如Spark、Flink
- 精通Java/Scala/Go/Rust/C++至少两门语言，具备大型分布式系统设计能力
- 熟练使用AI编程工具（如Cursor、Copilot），并能将AI工程化落地
- 具备良好的工程品味和开源社区参与经验
申请策略
- 关注B站的技术博客和开源项目，面试时展示对公司的了解和兴趣
- 准备一个完整的技术方案设计，体现系统思维和工程落地能力
- 突出在大数据基础设施项目中的主导角色和具体成果（如性能提升、规模扩展）
- 强调源码级调优经验，列出参与的Apache社区贡献（PR、Issue）
- 展示AI工程化落地案例，包括构建过的工具或系统
- 列举掌握的语言和深入的方向（批/流/OLAP/存储）
- 如果缺少AI编程工具经验，建议提前熟悉Cursor、Copilot并实践
- 深入阅读Hadoop/Spark/Flink之一的核心源码，准备源码分析
面试指南
- 对于源码类问题，先概述核心原理，再结合具体代码路径分析，最后给出实际调优案例
- 对于架构设计问题，从需求出发，对比不同方案（如Lambda vs Kappa），突出权衡与选型依据
- 对于AI落地问题，遵循“场景识别-工具选择-系统实现-效果量化”的逻辑
- 请详细解释Spark Shuffle的源码实现及优化手段
- 如何设计一个支持实时流处理和批处理统一的湖仓架构？
- 描述你如何将AI编程工具融入日常开发，并提升团队效率
- 你参与过哪个开源项目？贡献了什么？
- 在大规模集群中，如何优化HDFS的存储成本和读写性能？
匹配度报告
69
综合匹配度
技术前沿、高成长性，但WLB一般且工作强度可能较大。
适合人群
最适合追求技术深度和成长、愿意投入时间精力的开发者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利75
成长发展90
工作生活50
使命价值60
薪资福利匹配
75中等
薪资具有竞争力，福利完善，但未明确具体数字，面议可能性高。
薪资信号面议 (35K-65K/月)
成长发展匹配
90较高
技术前沿，涉及AI和大数据交叉，鼓励开源贡献，成长空间大。
技术前沿前沿/新兴技术
技术栈Hadoop、Spark、Flink、Iceberg、ClickHouse、AI编程、LLM
成长机会社区 issue / PR / 设计文档
业务类型profit_center
工作生活匹配
50较低
仅现场办公，上海核心地段，未提及WLB措施，互联网公司节奏可能较快。
工作模式仅现场办公
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值匹配
60中等
B站作为内容社区，技术价值和社会价值中等，岗位核心是技术基础设施。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs