湖仓专家

优缺点分析

角色解读

• 技术专家路线：深入数据湖、计算引擎内核，成为领域权威或开源Committer
• 架构师路线：负责公司整体数据架构，从湖仓扩展到AI基础设施
• 管理路线：带领数据基础架构团队，培养技术梯队，推动跨部门协作
• 设计并落地云原生数据湖架构，整合公司数据资产，支撑BI报表和AI模型训练
• 基于湖仓一体理念，优化数据存储与计算引擎，提升数据开发效率和降低成本
• 与Flink、Spark等开源社区保持互动，推动技术演进并在公司内部落地实践
• 精通数据湖技术（Iceberg/Paimon/Hudi），能针对业务场景设计存储方案
• 深入理解Flink或Spark等计算引擎原理，具备大规模集群调优经验
• 扎实的计算机基础（算法、数据结构、操作系统），有代码和系统设计能力

申请策略

• 投递前研究小红书技术博客或开源项目，面试时体现对公司的了解和热情
• 准备一个从0到1的数据湖落地案例，详细说明技术选型、架构和收益
• 突出数据湖或数据仓库项目经验，特别是以Iceberg、Hudi等为核心的架构设计案例
• 详细描述使用Flink/Spark进行实时或离线计算优化的具体成果，如性能提升、成本降低
• 展示开源贡献或技术社区参与经历（如提交PR、发表演讲）
• 如果没有深度用过Paimon或Hudi，可快速学习其核心原理和对比差异
• 复习Flink状态管理和Checkpoint机制，准备常见故障排查场景
• 了解小红书业务特点（社区、电商、商业化），思考数据湖如何赋能

面试指南

• 对于对比类问题，从设计理念、ACID实现、性能特点、生态兼容性四个维度展开
• 对于架构设计题，先明确业务需求和数据量级，然后分存储层、计算层、管理层阐述，最后给出权衡
• 对于问题排查类，遵循“问题描述→根因分析→解决方案→验证效果”的结构
• Iceberg、Hudi、Paimon三者的核心差异和适用场景是什么？
• 请设计一个实时数据湖架构，支持分钟级的数据入库和查询
• Flink作业遇到状态膨胀或背压时，如何定位和优化？
• 如何保证数据湖的数据一致性和ACID特性？
• 聊聊你参与或了解的某个大数据开源社区项目，具体做了哪些贡献？