哔哩哔哩
资深大数据架构工程师-流计算方向
资深大数据架构工程师-流计算方向
发布于 2 天前普通员工/个人贡献者
上海市
高级经验
全职员工
仅现场办公
本科
信息技术与基础设施
GO
AI编程
Rocksdb
实时数仓
Claude Code
流批一体
Paimon
Flink Cdc
Checkpoint
AI 估算 · 40k–80k
B站上市互联网公司，上海高级技术岗，市场薪资范围40-80K，15薪体现竞争力
职位详情
关于这个职位
负责哔哩哔哩实时流计算平台的建设与优化，包括Flink引擎在亿级QPS下的稳定性、性能调优及流批一体湖仓落地
同时主导AI赋能基础设施研发，将AI编程工具深度融入开发、运维等环节，提升团队效率
要求深厚的大数据功底及AI工程化能力
最低要求
●985 / 211 及以上院校全日制本科及以上学历，计算机相关专业
●5 年以上大数据相关工作经验
●至少深度参与过 1 个大型大数据基础设施项目
●Java / Scala / Go / Rust / C++ 中至少两门掌握扎实
●深度参与过 Flink 生产环境(>= 亿级 QPS / 千节点)的运维和优化,对 Flink 内核有源码级理解
●对以下任一有体系化认知:Checkpoint 机制 / State Backend / Flink SQL Planner / Adaptive Scheduler
工作职责
一、流计算方向(Flink / 流批一体)
跟踪 Flink / Flink CDC / Paimon 的社区前沿,结合实时业务做选型和落地
主导 Flink 引擎在亿级 QPS 入口、万级 TaskManager 规模下的稳定性、性能优化,包括但不限于:
（1）Checkpoint 加速 / Disaggregated State / Async State API
（2）大状态作业的 RocksDB / ForSt 调优
（3）反压治理 / 资源弹性 / Adaptive Scheduler
推动流批一体在 bilibili 实时数仓的落地(Flink + Paimon / Iceberg)
主导 Flink 大版本升级和 savepoint 兼容性体系建设(savepoint / 双跑 / 灰度 / 回滚)
解决 CDC 入湖、流式 join、实时大屏等典型场景的工程难题
二、AI 赋能基础设施研发
熟练使用 Claude Code、Cursor、Copilot 等 AI 编程工具，将 AI 深度嵌入日常工作流
主导 AI 流程自动化建设，为团队赋能：
（1）开发阶段：基于 AI 的代码生成、Code Review、单测生成、性能 profiling 自动化
（2）发布阶段：AI 辅助的变更影响分析、灰度策略推荐、回滚决策
（3）运维阶段：AI 驱动的告警归并、根因分析、故障自愈
（4）答疑阶段：基于内部知识库的 RAG 答疑机器人、SQL 助手、调优建议生成
沉淀 AI 工具链最佳实践，推广到全组并向外辐射
优先资格
●有 Flink CDC 入湖大规模落地经验
●有 Flink 2.x Disaggregated State / ForSt 调优实战
●主导过 Flink 大版本升级(1.x → 2.x、跨多个 minor)的项目
●主导过流批一体湖仓(Paimon / Iceberg)在生产环境落地
●Apache Flink / Paimon Committer 优先
●对开源生态高度熟悉,能快速判断'该自研、该用开源、该改开源'的边界
●具备从 0 到 1 设计大型分布式系统的能力,能独立 owner 某个技术方向
●良好的工程品味:代码质量、测试覆盖、可观测性、稳定性
●熟练使用 AI 编程工具完成日常开发,对 LLM 能力边界有清晰认知
●良好的中英文技术阅读和书面表达能力(社区 issue / PR / 设计文档)
●Apache 顶级项目 Committer / PMC,或活跃的 Contributor(有合入主线的非 trivial PR)
●主导过将 AI 能力工程化落地到基础设施场景的真实案例(不只是用 ChatGPT 写代码,而是构建了系统)
●在 GitHub 有持续的开源项目贡献或个人作品
AI 洞察
优缺点分析
优点
- 站在实时计算技术前沿，深度参与Flink社区，有机会主导开源贡献
- 公司重视技术基础设施建设，对AI赋能基础设施有明确投入，可积累稀缺的AI+大数据复合经验
- 技术要求全面，需要同时掌握大数据生态和AI工程化能力，学习曲线陡峭
- 竞争激烈，面试门槛高，要求985/211学历及多年大型项目经验
- 适合5年以上经验、热爱钻研技术、对Flink内核有深度理解，并希望将AI融入基础设施的大数据工程师
缺点 / 挑战
- B站高并发业务场景提供丰富的实战机会，技术挑战大，个人成长快
- 工作强度可能较高，需应对亿级QPS的稳定性压力和大版本升级风险
角色解读
- 技术路径：从Flink专家成长为大数据架构师，可深入分布式系统内核，成为开源社区Committer/PMC
- 管理路径：可向技术经理或架构组负责人发展，带领团队完成基础设施演进
- 跨界路径：结合AI与基础设施，成为AI for Data Infra领域的先行者
- 负责Flink实时计算引擎的深度优化与稳定性保障，处理亿级QPS和万级TaskManager规模下的技术挑战
- 推动流批一体架构在实时数仓中的落地，融合Flink与Paimon/Iceberg搭建湖仓平台
- 主导AI赋能基础设施，将AI编程工具融入开发、发布、运维全流程，构建自动化体系
- 精通Flink内核，具备源码级理解，熟悉Checkpoint、State Backend、Adaptive Scheduler等核心机制
- 扎实的编程能力，掌握Java/Scala/Go/Rust/C++至少两门语言
- 熟悉大数据生态，对Flink CDC、Paimon、Iceberg等有实战经验
- 具备AI工程化能力，熟练使用Claude Code、Cursor等AI工具，并能构建系统化方案
申请策略
- 简历中明确列出技术栈与开源贡献，最好附上GitHub链接
- 关注B站技术博客，了解其实时计算和AI基础设施的实践方向，面试时展现共鸣
- 突出Flink生产环境实战经验，量化QPS、节点规模等指标
- 强调开源贡献，如Flink/Paimon的PR、Committer身份
- 展示AI工程化落地案例，说明如何将AI融入开发运维流程
- 列出参与的大型基础设施项目，体现从0到1的设计能力
- 若对AI工具不熟悉，建议提前上手Claude Code、Cursor，并尝试构建简单的自动化脚本
- 深入学习Flink内核源码，尤其是Checkpoint、State Backend、Adaptive Scheduler部分
面试指南
- 对于性能优化问题：先描述业务背景和指标，然后分析瓶颈（如反压、checkpoint失败），最后给出优化措施（如调整参数、重构state backend），并对比优化前后效果
- 对于架构选型问题：从一致性、性能、成熟度、社区活跃度等维度对比，结合公司实际场景给出建议
- 对于AI赋能问题：说明具体场景（如代码生成、根因分析），描述使用的工具和实现方案，以及量化的效率提升
- 请描述一个你主导的Flink性能优化案例，包括遇到的问题、分析和最终方案
- 你是如何理解Flink的Checkpoint机制的？在亿级QPS下如何加速？
- 你如何看待流批一体架构？Paimon和Iceberg的选型考量是什么？
- 请举一个你利用AI提升开发效率的例子，具体是如何实现的？
- 如果你需要主导Flink大版本升级（如1.x到2.x），你会如何规划？
职位点评
69
综合评分
B站高级技术岗，薪资优厚，技术前沿，成长空间大，但WLB一般。
更适合这类人
该职位最适合技术驱动、追求前沿成长、愿意挑战高难度基础设施问题的求职者。
表现最好
成长发展
相对薄弱
工作生活
薪资福利75
成长发展90
工作生活40
使命价值70
薪资福利
75中等
B站作为上市互联网公司，薪资福利具有竞争力，且高级技术岗位薪资较高，但JD未明确具体薪资福利，故提供较优匹配。
薪资信号未披露（AI估算：40K-80K/月）
成长发展
90较高
该职位深度涉及Flink内核优化和AI工程化，技术前沿性强，成长空间大，且有开源社区贡献机会。
技术前沿前沿/新兴技术
技术栈Flink、Paimon、Iceberg、AI编程、RAG、流批一体
成长机会主导、从0到1设计、开源项目贡献
业务类型profit_center
工作生活
40较低
JD未提及远程办公或弹性工时，上海城区办公，且互联网公司高级岗位可能面临高强度工作。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
B站在内容社区行业具有较高影响力，该职位通过技术优化提升用户体验，有一定社会价值，但并非直接面向公益。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs