汇丰
Consultant Specialist
Consultant Specialist
发布于 4 天前普通员工/个人贡献者
广州市
高级经验
全职员工
混合式弹性办公
本科
信息技术与基础设施
Cdc
Data Migration
Hdfs
Pyspark
Sql
Spark Structured Streaming
AI 估算 · 30k–45k
资深大数据工程师岗位，外企大厂，要求高技能，薪资有竞争力
职位详情
关于这个职位
该职位是汇丰银行CTO数据技术团队的高级技术专家，负责设计和交付CDMS迁移与增量同步解决方案，使用PySpark、Kafka、MongoDB等技术进行批处理和流处理，构建数据管道并确保数据质量
适合具备扎实大数据和编程经验的资深工程师
最低要求
扎实的Python基础和工程实践
具备丰富的PySpark实践经验（DataFrames、Spark SQL、RDD、调优和故障排除）
具备Spark Structured Streaming的成熟经验：watermarking、状态管理、checkpointing和交付语义（at-least-once / exactly-once概念）
丰富的Kafka经验：topic设计、分区/键控、消费者组、偏移管理、重放、排序和幂等性
实际的CDC实施经验：初始加载、增量连续性、回填、可恢复性和一致性保证
在本地Hadoop（HDFS/Hive/YARN）上操作并解决常见运行时问题的经验
Airflow经验：DAG模式、参数化、依赖/SLA管理、告警、重试和回填
对MongoDB有一定了解：数据建模、查询/聚合、索引
理解变更流/oplog概念
对Java有一定了解（能阅读代码、排查问题并对接接口
Spring Boot是加分项）
扎实的SQL技能以及数据核对和数据质量控制的实践经验
能够理解英文书面需求并将其转化为可实施的技术设计（HLD/LLD）
工作职责
设计并交付CDMS迁移和增量同步解决方案：初始全量加载、CDC切换、重放/回填和恢复机制
使用PySpark/Spark SQL/Structured Streaming开发和维护批处理/流处理作业（清洗、标准化、映射、去重和合并）
集成Kafka CDC事件：topic/partition/key策略，处理乱序/重复/延迟事件，重放和幂等处理
迁移和增量摄取MongoDB数据：文档解析、schema演变、嵌套/数组扁平化以及映射到目标模型
与Java/Spring Boot服务团队就事件契约（JSON/Avro）、schema管理、错误处理、重试和DLQ模式进行协作
在Hadoop生态系统（HDFS/Hive及相关存储格式）上实现数据落地和建模，包括分区和小文件管理
使用Airflow编排管道：DAG设计、依赖管理、参数化、SLA/告警、重跑和回填程序
构建数据质量核对控制：字段级验证、键唯一性、哈希/采样检查、核对报告和审计证据
优化性能和稳定性：shuffle/skew处理、状态管理和checkpointing、资源调优、背压和容错
为工程卓越做出贡献：代码审查、标准、文档、生产支持和持续改进
AI 洞察
优缺点分析
优点
- 使用前沿大数据技术栈（Spark、Kafka、Hadoop），技能含金量高，市场竞争力强
- 汇丰作为全球金融巨头，平台稳定，福利完善，提供国际化工作环境
- 混合办公模式，工作灵活性高，有助于平衡工作与生活
- 对技术深度要求高，需精通多个复杂组件，学习曲线陡峭
- 金融行业合规要求严格，工作流程可能较为繁琐
- 适合具有丰富大数据开发经验、热爱钻研技术、能在高压下交付高质量代码的资深工程师
缺点 / 挑战
- 涉及关键数据迁移和实时处理，生产环境压力大，需具备强问题解决能力
角色解读
- 从高级数据工程师成长为数据架构师或技术负责人，主导大型数据平台的设计
- 向大数据技术专家或研发经理发展，管理团队并推动技术创新
- 在汇丰内部可横向迁移至其他技术部门，如CTO办公室或全球数据团队
- 设计和实施数据迁移与同步解决方案，包括初始加载、CDC切换和回填机制，确保数据一致性
- 使用PySpark和Spark Structured Streaming开发批处理和流处理作业，进行数据清洗、转换和合并
- 集成Kafka事件流，处理乱序、重复和延迟事件，确保幂等处理
- 负责MongoDB数据迁移、schema演化以及数据落地到Hadoop平台，并利用Airflow编排任务
- 扎实的Python编程能力和丰富的PySpark实战经验，包括调优和故障排除
- 深入理解Spark Structured Streaming的watermarking、状态管理和exactly-once语义
- 精通Kafka的topic设计、消费者管理和偏移管理等高级特性
- 掌握CDC实施经验、Hadoop生态（HDFS/Hive）以及Airflow DAG编排
申请策略
- 了解汇丰的技术文化和对数据治理的要求，在面试中展现对数据一致性和可靠性的重视
- 突出PySpark、Kafka、CDC项目经验，用具体案例说明迁移或流处理方案的设计与效果
- 强调数据质量控制和性能优化的成果，如减少延迟、提升吞吐量
- 展示对Hadoop和Airflow的熟练程度，以及跨团队协作能力
- 巩固Spark Structured Streaming和Kafka的高级特性，如exactly-once和幂等处理
- 补充MongoDB的变更流和oplog知识，以及Java/Spring Boot基础
面试指南
- 使用STAR法则（情境-任务-行动-结果）描述项目经验，突出技术和决策
- 对于技术原理问题，先给出核心概念，再举例说明实际应用和权衡
- 准备1-2个完整的架构设计案例，涵盖组件选型和方案对比
- 请描述一个你设计过的CDC数据迁移方案，包括初始加载和增量同步的细节
- 在Spark Structured Streaming中如何处理乱序事件和状态管理？
- Kafka中如何保证消息的有序性和幂等消费？
- 解释你如何优化一个性能较差的PySpark作业
- 你如何处理数据质量问题和数据核对？
职位点评
72
综合评分
外企大厂，前沿大数据技术栈，混合办公，技术成长空间大但薪资未明示。
更适合这类人
适合重视技术成长和职业发展、追求稳定高薪的大数据工程师。
表现最好
成长发展
相对薄弱
使命价值
薪资福利75
成长发展85
工作生活70
使命价值60
薪资福利
75中等
薪资未明确，但作为外企资深岗位，预计在市场水准之上；福利完善，有年终奖等，但全面准确信息有限。
薪资信号未披露（AI估算：30K-45K/月）
福利待遇flexible working、continuous professional development
成长发展
85较高
技术栈前沿（Spark, Kafka, Hadoop），岗位要求高，成长空间大；公司提供培训和发展机会。
技术前沿前沿/新兴技术
技术栈PySpark、Spark Structured Streaming、Kafka、MongoDB、Hadoop、HDFS、Hive、Airflow、CDC
成长机会continuous professional development、grow within an inclusive and diverse environment
业务类型ambiguous
工作生活
70中等
混合办公模式提供灵活性，但未提及具体远程天数；地点在广州，外企通常工作生活平衡较好，但可能有项目压力。
工作模式混合式弹性办公
办公地点市区核心地段
加班情况未提及（无法判断）
工作生活平衡flexible working
使命价值
60中等
金融行业稳定成熟，但岗位偏向技术支撑，社会影响力中性；推动技术变革有一定创新性。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs