AI数据湖研发工程师

优缺点分析

角色解读

• 成为数据湖/数据基础设施领域的专家，主导公司数据架构演进
• 向AI数据平台架构师方向发展，融合数据与AI技术栈
• 深入开源社区（如Iceberg、Spark），成为核心贡献者，提升技术影响力
• 设计并实现基于Apache Iceberg/Lance的企业级AI数据湖架构，确保高可用和高性能
• 开发元数据管理、全文检索、向量检索等核心模块，优化查询加速能力
• 设计并封装数据湖SDK，为AI/ML训练和推理提供统一的数据访问接口
• 精通Java和Python，具备扎实的编程功底和分布式系统经验
• 深入理解Spark、Ray等分布式计算框架，以及Iceberg/Lance等数据湖格式的原理
• 熟悉全文检索或向量检索技术，了解Lucene、Elasticsearch或向量数据库
• 具备源码阅读和二次开发能力，能够深入优化数据湖组件

申请策略

• 在求职信中表达对AI数据基础设施的兴趣，并结合米哈游业务提出自己的见解
• 关注米哈游技术博客和开源动态，了解其技术栈和团队风格，在面试中展现文化契合度
• 突出数据湖相关项目经验，特别是基于Iceberg/Lance的实践，以及性能优化成果
• 强调对Spark、Ray等分布式框架的深入使用和调优经验，附上具体数据（如数据量、性能提升）
• 展示全文检索或向量检索的技术细节，说明在AI场景中的应用
• 如有开源贡献，列出PR链接或参与社区讨论的经历，体现技术影响力
• 深入学习Iceberg或Lance的源码，理解其核心机制，可以尝试提交小的patch
• 动手搭建一个小型AI数据湖原型，结合Spark和向量检索，加深整体理解

面试指南

• 针对原理类问题：先阐述核心概念和设计思想，然后结合实际场景分析优缺点，最后给出优化建议
• 针对设计类问题：从需求分析开始，明确约束条件，给出架构方案，并讨论不同方案的权衡
• 针对迁移/实践类问题：分阶段描述，突出风险控制和验证方法，并提及性能监控和回退策略
• 请描述Apache Iceberg的元数据管理机制，以及如何优化Commit性能？
• 如何设计一个支持全文检索和向量检索的混合查询引擎？
• 在数据湖中如何保证数据一致性和ACID事务？
• Spark与Ray在ML场景下的区别和适用场景是什么？
• 假设你需要将PB级数据从Hive迁移到Iceberg，你会如何设计迁移方案？