蚂蚁集团-数据湖存储引擎研发专家-杭州

优缺点分析

角色解读

• 在数据湖和 AI 存储领域深耕，成为该细分方向的顶级技术专家
• 通过参与开源社区（如 Apache Paimon）建设，提升个人在行业内的影响力
• 有机会向技术管理岗位发展，带领团队负责更大规模的存储系统研发
• 负责数据湖存储引擎（RLake）的核心模块研发，包括文件格式、元数据管理、读写优化等底层技术
• 构建面向 AI 场景的统一存储服务，支持结构化与非结构化数据的统一存储和高效访问
• 深入 Flink/Spark 等计算引擎，针对流式写入、批量读取等场景进行性能优化
• 参与跨语言 SDK（Python/C++/Rust）的设计开发，并参与 Apache Paimon 等开源社区的技术共建
• 扎实的计算机基础，精通引擎性能优化和问题定位，这是解决底层系统难题的关键
• 深入理解 Paimon/Hudi/Iceberg 等数据湖技术，并熟悉 Flink/Spark/Ray 等计算引擎源码
• 熟练掌握 AI 编程方式，并具备跨语言（Python/C++/Rust）系统编程能力
• 自驱、结果导向，具备将技术方案落地为稳定工程产物的能力

申请策略

• 在申请时，可以表达对蚂蚁数据湖技术方向的理解和热情，并展示你对 RLake 或相关开源项目的思考
• 准备好分享你在大规模数据场景下解决稳定性或性能问题的具体案例，这比单纯罗列技术栈更有说服力
• 重点突出在 Paimon/Hudi/Iceberg 等数据湖引擎上的深入实践，包括源码阅读、二次开发或性能调优经历
• 详细描述参与 Flink/Spark 等计算引擎优化的具体案例，展示问题定位和性能提升的量化成果
• 强调开源社区贡献，如提交过 PR、参与过 issue 讨论或成为 Committer，这是极大的加分项
• 如有 AI Infra、向量数据库或跨语言（C++/Rust）开发经验，务必在简历中显著位置体现
• 深入研读 Apache Paimon 或 Iceberg 的源码，理解其核心架构和设计思想
• 系统梳理 Flink 或 Spark 的源码，特别是与数据源读写、状态管理相关的模块

面试指南

• 对于技术深度问题，采用「背景-问题-方案-结果」的 STAR 法则，重点突出你的思考过程和量化成果
• 对于架构理解问题，可以从设计目标、核心组件、数据流程、优缺点对比等维度进行系统阐述
• 对于开放性问题，可以结合自己的项目经验，先给出结论，再分层展开论述，最后总结升华
• 请详细讲讲你对 Apache Paimon 或 Iceberg 架构的理解，以及它们各自的设计优缺点
• 描述一次你深入 Flink 或 Spark 源码解决性能瓶颈的经历，你是如何定位和优化的？
• 在 PB 级数据生产环境中，你如何保障数据湖的稳定性和数据一致性？
• 谈谈你对面向 AI 场景的统一存储（结构化与非结构化）的理解和设计思路
• 你如何看待数据湖技术未来的发展趋势？