资深大数据架构工程师-离线计算方向

优缺点分析

角色解读

• 成为Spark/Gluten等开源项目的Committer或PMC，在社区建立影响力
• 向技术专家或架构师方向发展，负责更大规模的基础设施架构设计
• 横向拓展至AI基础设施领域，成为AI+大数据交叉方向的领军人物
• 主导Spark引擎在PB级数据、千节点集群下的深度优化，包括Catalyst优化器改造、Shuffle优化、AQE调优等
• 推动Spark与向量化引擎（Gluten+Velox）的集成，降低CPU成本，提升查询性能
• 建设AI赋能基础设施，开发AI代码生成、Code Review、根因分析等工具，将AI嵌入开发运维全流程
• 与湖仓团队协作，优化Spark on Iceberg/Paimon的查询和写入性能
• 精通Java/Scala/Go/Rust/C++中至少两门，对Spark内核源码有源码级理解
• 深入理解Catalyst优化器、Tungsten、Shuffle、Spark on K8s等核心机制
• 具备大型分布式系统设计能力，熟悉大数据生态（Hadoop、Hive、Iceberg等）
• 熟练使用AI编程工具（Claude Code、Cursor、Copilot），了解LLM能力边界，能构建AI工程化系统

申请策略

• 提前了解B站大数据平台的现状（如使用的发行版、集群规模），在面试中展示针对性方案
• 关注Spark社区最新动态（如Spark 4.x），体现技术前瞻性
• 突出参与过的大型大数据基础设施项目，尤其是PB级日处理或千节点集群的经验
• 详细描述Spark性能优化的具体案例，如Catalyst改造、Shuffle优化、AQE调优等，附上性能提升数据
• 展示开源贡献，如Spark/Gluten的Committer或Contributor，列出合入的PR
• 如果有AI工程化落地经验，务必描述系统设计和效果，简单使用AI工具不算亮点
• 深入阅读Spark源码（Catalyst、Tungsten、Shuffle模块），准备源码级面试
• 学习Gluten+Velox架构，了解向量化执行原理，最好有实际部署经验

面试指南

• 对于技术深度问题，采用STAR方法：背景(Situation)、任务(Task)、行动(Action)、结果(Result)，重点突出你的技术决策和量化收益
• 对于系统设计问题，先明确目标，再对比不同方案，最后给出选型理由，体现架构权衡能力
• 请描述Spark的Catalyst优化器工作流程，以及你如何对其进行改造以提升性能？
• 你在千节点Spark集群中遇到过哪些稳定性问题？如何解决的？
• Gluten+Velox如何实现向量化执行？与普通Spark相比性能优势在哪里？可能有哪些坑？
• 你如何将AI能力嵌入基础设施？请举例说明一个你主导的AI工程化项目
• 请谈谈你对Remote Shuffle Service（如Celeborn）的理解，以及它的适用场景
• 复习Spark内核源码，特别是Catalyst、Tungsten、Shuffle模块，准备一个你深入研究的源码片段