汇丰
Consultant Specialist
Consultant Specialist
发布于 4 天前普通员工/个人贡献者
西安市
高级经验
全职员工
混合式弹性办公
学历未注明
软件工程
Cdc
Hdfs
Pyspark
Structured Streaming
数据质量
数据迁移
Spark Sql
AI 估算 · 15k–25k
资深大数据工程师岗位，要求技能全面，银行领域稳定，薪资有竞争力
职位详情
关于这个职位
该职位是汇丰银行技术部门的数据工程师岗位，主要负责设计和实现大规模数据迁移与实时同步解决方案，涉及PySpark、Kafka、MongoDB等技术栈，适用于具备大数据处理经验的专业人士
最低要求
Strong Python fundamentals and engineering practices; solid hands-on PySpark experience (DataFrames, Spark SQL, RDD, tuning and troubleshooting)
Proven experience with Spark Structured Streaming: watermarking, stateful processing, checkpointing, and delivery semantics (at-least-once / exactly-once concepts)
Strong Kafka experience: topic design, partitioning/keying, consumer groups, offset management, replay, ordering and idempotency
Hands-on CDC implementation experience: initial load, incremental continuity, backfill, restorability and consistency guarantees
Experience operating on on prem Hadoop (HDFS/Hive/YARN) and resolving common runtime issues
Airflow experience: DAG patterns, parameterization, dependency/SLA management, alerting, retries and backfills
Working knowledge of MongoDB: data modelling, querying/aggregation, indexing; understanding of change streams/oplog concepts
Working knowledge of Java (able to read code, troubleshoot, and align on interfaces; Spring Boot is a plus)
Strong SQL skills and practical experience in data reconciliation and data quality controls
Ability to understand requirements in written English and translate them into implementable technical designs (HLD/LLD)
工作职责
Design and deliver CDMS migration and incremental sync solutions: initial full load, CDC cutover, replay/backfill and recovery mechanisms
Develop and maintain batch/stream processing jobs using PySpark / Spark SQL / Structured Streaming (cleansing, standardization, mapping, deduplication and merge)
Integrate with Kafka CDC events: topic/partition/key strategy, handle out-of-order/duplicate/late events, replay, and idempotent processing
Migrate and incrementally ingest MongoDB data: document parsing, schema evolution, nested/array flattening, and mapping to target models
Collaborate with Java / Spring Boot service teams on event contracts (JSON/Avro), schema management, error handling, retry and DLQ patterns
Implement data landing and modelling on the Hadoop ecosystem (HDFS/Hive and related storage formats), including partitioning and small-file management
Orchestrate pipelines with Airflow: DAG design, dependency management, parameterisation, SLA/alerting, rerun and backfill procedures
Build data quality and reconciliation controls: field-level validation, key uniqueness, hash/sample checks, reconciliation reports and audit evidence
Optimise performance and stability: shuffle/skew handling, state management & checkpointing, resource tuning, backpressure and fault tolerance
Contribute to engineering excellence: code reviews, standards, documentation, production support and continuous improvement
AI 洞察
优缺点分析
优点
- 技能积累：接触Spark Streaming、Kafka CDC等前沿大数据技术栈
- 行业平台：汇丰作为全球银行，项目规模大，流程规范
- 职业稳定：外资银行福利完善，工作环境包容
- 工作模式：支持混合办公，生活工作平衡较好
- 技术复杂度高：涉及实时流处理、数据一致性保证，对细节要求高
- 英语要求：需要阅读英文需求并撰写技术文档
- 适合有3-5年大数据开发经验，喜欢钻研实时数据处理，希望在稳定平台长期发展的技术人才
缺点 / 挑战
- 维护压力：生产环境需处理异常和性能优化，可能涉及on-call
角色解读
- 可在数据工程领域深耕，成为大数据架构师或技术专家
- 也可向数据平台管理、数据治理方向发展
- 在外资银行内部有明确的职级晋升和跨部门转岗机会
- 设计和实施数据迁移与增量同步方案，包括全量加载、CDC切换、回放/回填和恢复机制
- 使用PySpark/Spark SQL/Structured Streaming开发批处理和流处理作业，完成数据清洗、标准化、去重等
- 集成Kafka CDC事件，处理乱序、重复、延迟等问题，确保一次性语义
- 与Java/Spring Boot团队协作，定义事件契约，管理错误处理和重试逻辑
- 精通Python和PySpark，具备扎实的工程实践和调优能力
- 深入理解Spark Structured Streaming的watermarking、状态管理和交付语义
- 熟悉Kafka主题设计、消费者组管理和重播机制
- 掌握Hadoop生态（HDFS/Hive）和Airflow工作流编排
申请策略
- 了解汇丰银行的技术栈和文化，面试时表现出对金融领域数据处理的兴趣
- 准备一个端到端的数据工程方案案例，体现设计思路
- 突出PySpark/Kafka项目经验，尤其是CDC和流处理相关
- 展示数据迁移、质量控制和性能优化的具体成果
- 强调与Java团队协作及解决复杂问题的案例
- 如有英文技术文档撰写经验，务必提及
- 可提前复习Spark Structured Streaming的官方文档和常见问题
- 熟悉MongoDB change streams和Kafka Connect
面试指南
- STAR法则：先说明场景和任务，再描述具体行动，最后总结结果
- 技术问题：从原理出发，再结合实际经验，给出优化方案
- 设计问题：先明确需求，再分步骤给出架构，强调可扩展性和容错
- 请描述一次你使用Spark Structured Streaming处理迟到数据的经历
- 如何保证Kafka消费者的 exactly-once 语义？
- 设计一个MySQL到Hive的CDC同步方案，包括初始加载和增量更新
- 如何优化一个Spark作业处理数据倾斜？
- 解释一下Airflow DAG中任务依赖和回填机制
职位点评
75
综合评分
外资银行资深数据工程师，前沿技术栈，混合办公，发展空间大
更适合这类人
最合适追求技术成长和稳定职业发展的求职者，对薪资和WLB也有较好保障。
表现最好
成长发展
相对薄弱
使命价值
薪资福利75
成长发展85
工作生活80
使命价值60
薪资福利
75中等
薪资未在JD中披露，但外资银行通常提供有竞争力的薪酬和福利，稳定性高，补偿性动机满足较好。
薪资信号未披露（AI估算：15K-25K/月）
成长发展
85较高
职位涉及Spark Streaming、Kafka、CDC等前沿技术，且公司强调持续专业发展，成长空间大。
技术前沿主流现代技术
技术栈PySpark、Spark SQL、Structured Streaming、Kafka、MongoDB、Hadoop、Hive、Airflow、CDC
成长机会continuous professional development
业务类型ambiguous
工作生活
80较高
混合工作模式提供弹性，但未明确远程天数，办公地点未说明，整体WLB较好。
工作模式混合式弹性办公
办公地点未明确
加班情况未提及（无法判断）
使命价值
60中等
银行业属于稳定成熟行业，社会影响力中等，职位本身更偏技术实现，使命感一般。
行业发展稳定成熟行业
社会影响中性/一般
创新程度稳健跟随主流
Watch Jobs