数仓工程师（base北京）

优缺点分析

角色解读

• 技术方向：可向大数据架构师、数据科学家方向发展，深入掌握实时计算、机器学习等前沿技术
• 管理方向：积累项目管理经验后，可晋升为数据团队负责人或技术经理
• 行业方向：金融、互联网等行业对数据人才需求旺盛，可跨行业拓展职业机会
• 负责数据仓库和数据中台项目的需求调研、业务沟通和数据分析，输出需求说明书和数据调研报告
• 设计数据仓库的模型结构、ETL流程及mapping逻辑，管理元数据，并负责应用分析模块的模型和展现设计
• 规划、设计和优化Hadoop集群，提升高可用性、高性能和高扩展性，支持海量数据挖掘
• 对数据进行多维度分析和提取，并具备建模经验以支持业务决策
• 精通Hadoop生态（HDFS、MapReduce、Hive、HBase等），具备2年以上Hadoop工作经验
• 精通至少一种主流关系数据库（如Oracle、MySQL），SQL编程能力扎实
• 熟悉Shell、Python等脚本语言，具备实际开发能力
• 具备良好的数据分析能力和学习能力，沟通能力强，有一定项目管理经验

申请策略

• 了解平安的业务方向（金融、保险、医疗等），在面试中展示对业务场景的理解
• 准备一个完整的数据仓库项目案例，从需求到实现，体现全流程能力
• 突出Hadoop、Hive、HBase等大数据技术的实际项目经验，尤其是集群优化和ETL流程设计
• 强调数据仓库建模经验，展示Star Schema、Snowflake等模型设计案例
• 体现SQL和Python开发能力，列出具体的数据处理脚本或分析项目
• 如有阿里云开发经验，务必重点提及，这是优先资质
• 如果对Hadoop源码不熟悉，可以提前阅读相关源码或学习调优技巧
• 补充数据建模知识，如维度建模、数据湖架构等

面试指南

• 对于技术问题，采用STAR法则：描述场景、任务、行动和结果，突出技术细节和量化成果
• 对于设计问题，先明确需求，再比较不同方案的优劣，最后给出推荐方案及理由
• 对于优化问题，先定位瓶颈，再提出具体优化措施，并说明预期效果
• 请描述一次你设计数据仓库模型的经验，包括星型模型和雪花模型的选择
• 如何优化Hive查询性能？请举例说明
• 在Hadoop集群中，如何处理数据倾斜问题？
• 请解释MapReduce的工作流程，并说明如何优化shuffle阶段
• 你如何管理元数据？用过哪些工具？