汇丰
Consultant Specialist
Consultant Specialist
发布于 4 天前普通员工/个人贡献者
西安市
高级经验
全职员工
混合式弹性办公
学历未注明
软件工程
Cdc
Hdfs
Pyspark
Spark Sql
Sql
Structured Streaming
AI 估算 · 20k–35k
外资金融科技岗位，大数据技术栈要求高，西安薪资水平较一线低，但汇丰平台加成，预计月薪20-35K。
职位详情
关于这个职位
作为汇丰CTO数据技术团队的顾问专家，你将负责设计和交付CDMS数据迁移与增量同步方案，包括初始全量加载、CDC切换、回放/回填及恢复机制
你将使用PySpark、Spark Streaming、Kafka、Hadoop等技术构建批/流处理作业，并整合MongoDB数据迁移
该职位适合具备扎实大数据工程经验、希望在外资金融科技领域深入发展的技术人才
最低要求
扎实的Python基础和工程实践
熟练的PySpark经验（DataFrames、Spark SQL、RDD、调优和故障排除）
有Spark Structured Streaming经验：watermarking、有状态处理、checkpointing、交付语义（至少一次/恰好一次概念）
丰富的Kafka经验：主题设计、分区/键策略、消费者组、偏移量管理、回放、排序和幂等性
有CDC实现经验：初始加载、增量连续性、回填、可恢复性和一致性保证
有本地Hadoop（HDFS/Hive/YARN）操作经验，能解决常见运行时问题
Airflow经验：DAG模式、参数化、依赖/SLA管理、告警、重试和回填
了解MongoDB：数据建模、查询/聚合、索引
理解变更流/oplog概念
了解Java（能阅读代码、故障排除、协调接口
Spring Boot优先）
扎实的SQL技能，有数据对账和数据质量控制的实践经验
能理解英文书面需求并将其转化为可实施的技术设计（HLD/LLD）
工作职责
设计并交付CDMS迁移和增量同步解决方案：初始全量加载、CDC切换、回放/回填和恢复机制
使用PySpark/Spark SQL/Structured Streaming开发并维护批/流处理作业（清洗、标准化、映射、去重和合并）
集成Kafka CDC事件：主题/分区/键策略，处理乱序/重复/延迟事件、回放和幂等处理
迁移并增量摄入MongoDB数据：文档解析、模式演化、嵌套/数组扁平化、映射到目标模型
与Java/Spring Boot服务团队协作处理事件合约（JSON/Avro）、模式管理、错误处理、重试和DLQ模式
在Hadoop生态（HDFS/Hive及相关存储格式）上实现数据落地和建模，包括分区和小文件管理
使用Airflow编排管道：DAG设计、依赖管理、参数化、SLA/告警、重跑和回填流程
构建数据质量和对账控制：字段级校验、键唯一性、哈希/样本检查、对账报告和审计证据
优化性能和稳定性：shuffle/skew处理、状态管理和检查点、资源调优、背压和容错
贡献工程卓越：代码审查、标准、文档、生产支持和持续改进
AI 洞察
优缺点分析
优点
- 接触前沿的大数据技术栈（Spark Streaming、Kafka、CDC），技能含金量高
- 外资金融机构平台大，工作流程规范，有利于培养工程化思维和数据治理能力
- 混合办公模式提供一定的灵活性，有助于平衡工作与生活
- 作为固定期限合同（Fixed Term），稳定性不如永久职位，需关注续签或转正机会
- 工作地点在西安，薪资虽在当地有竞争力，但与一线城市相比仍有差距
- 适合拥有3-5年大数据工程经验、精通Spark和Kafka、希望在金融行业深耕的技术人才
缺点 / 挑战
- 涉及复杂的实时数据同步和一致性保障，技术难度较高，需较强的分布式系统理解
- 也适合喜欢技术挑战、能够独立解决数据一致性难题的工程师
角色解读
- 可向大数据架构师或数据平台技术负责人发展，深化在实时流处理、数据治理方面的专长
- 在外资金融科技领域积累经验，未来有机会转向金融数据产品经理或技术经理岗位
- 在汇丰内部可通过轮岗或晋升至更高级别的数据工程专家角色
- 负责CDMS数据迁移和增量同步方案的设计与交付，包括初始全量、CDC切换、回放/回填等
- 使用PySpark和Spark Streaming开发批/流处理作业，进行数据清洗、标准化、去重和合并
- 整合Kafka CDC事件和MongoDB数据迁移，确保数据一致性和幂等性
- 与Java服务团队协作，管理事件合约和错误处理模式，优化大数据管道的性能和稳定性
- 扎实的Python和PySpark编程能力，熟悉Spark SQL和Structured Streaming
- 深入理解Kafka主题设计、分区策略、偏移量管理和幂等处理
- 具备CDC实施经验，熟悉MongoDB数据模型和变更流
- 掌握Hadoop生态（HDFS/Hive/YARN）和Airflow DAG编排
申请策略
- 了解汇丰CTO数据技术部门的业务背景，在面试中展示你对金融数据平台的理解
- 准备英语技术面试，该职位要求能阅读英文需求并编写英文设计文档
- 突出在PySpark、Kafka、CDC方面的项目经验，特别是处理实时数据流和数据迁移的成果
- 详细描述你在数据质量、对账机制和管道优化方面的实践，最好有量化指标（如延迟降低、准确性提升）
- 强调你对Hadoop生态和Airflow的熟悉程度，以及生产环境中的故障排除案例
- 若对Spring Boot不熟，可快速学习基本概念，以便与Java团队顺畅协作
- 补强MongoDB的变更流和聚合管道知识，准备相关操作实践
面试指南
- 针对技术方案类问题，采用STAR（情境-任务-行动-结果）法则，突出技术选型原因和实际效果
- 对于概念理解类问题，先给出定义，再结合项目实例说明应用场景和注意事项
- 请描述你设计过的一个CDC数据迁移方案，如何处理数据一致性和延迟？
- Spark Structured Streaming中的watermarking和state store是如何工作的？
- Kafka主题分区策略如何选择？如何处理乱序和重复事件？
- 你在Hadoop集群中遇到过的性能问题及解决方案？
- 如何设计Airflow DAG以确保数据管道的高可用性和容错？
- 复习Spark Streaming和Kafka的底层机制，准备好手写简单代码或画架构图
职位点评
69
综合评分
汇丰西安大数据工程岗，技术前沿、混合办公，固定期限合同稳定性一般。
更适合这类人
最适合追求技术成长、希望在金融大数据领域积累经验、接受混合办公模式的求职者。
表现最好
成长发展
相对薄弱
薪资福利
薪资福利60
成长发展80
工作生活75
使命价值60
薪资福利
60中等
薪资未明确，但汇丰作为大型外企福利规范，预计薪资在当地有竞争力，但固定期限合同带来一定不确定性。
薪资信号未披露（AI估算：20K-35K/月）
成长发展
80较高
技术栈为大数据主流技术，项目涉及实时流处理和数据迁移，成长空间大。JD提及持续专业发展和成长机会。
技术前沿主流现代技术
技术栈Python、PySpark、Structured Streaming、Kafka、CDC、Hadoop、Airflow
成长机会continuous professional development、opportunities to grow
业务类型ambiguous
工作生活
75中等
混合办公模式提供灵活性，工作地点在西安，但固定期限合同可能影响长期稳定性。
工作模式混合式弹性办公
办公地点未明确
加班情况未提及（无法判断）
工作生活平衡flexible working
使命价值
60中等
金融行业稳定成熟，但职位本身偏向技术支持，社会影响力中性。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs