香港赛马会
Data Engineer
Data Engineer
发布于 8 小时前普通员工/个人贡献者
全职员工仅现场办公数据工程
数据工程
Etl/Elt
Power Bi
Pyspark
Sql
值不值得投
薪资怎么样
6.0万
比数据工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 100 个在招
市场机会
选择适中
香港特别行政区 · 数据工程 · 14 个在招
职位详情
关于这个职位
该职位负责在香港赛马会的数据平台上设计、开发并运维基于 PySpark 与 SQL 的可扩展 ETL/ELT 数据管道，构建云数据湖并优化海量数据处理
你需要与业务和产品团队协作，确保数据平台可靠、安全且符合治理要求
最低要求
-8年数据工程实操经验，专注于设计、构建和维护可扩展的云上 ETL/ELT 管道
-8年使用 PySpark 和 SQL 进行大规模数据处理的 production 经验
年以上端到端数据管道生命周期管理经验，包括监控、可观测性和生产支持
年以上在 AWS 上架构、实施和管理云数据平台的经验
具备大规模 PySpark 数据处理（TB 至 PB 级）的成熟专业能力
具备构建和管理生产级 ETL 工作流与框架的丰富经验
具备 AWS 或其他云数据分析服务的实操经验
具备数据可视化工具（如 Power BI、Tableau）的实操经验
熟悉数据治理、数据安全最佳实践及合规要求
具备 Kafka 或 Solace 等实时数据流技术经验
了解 Medallion 架构原则、设计模式与数据建模
具备基础设施即代码（Terraform、CloudFormation）经验
具备 DevOps/DataOps 实践（CI/CD、自动化测试、管道监控）经验
具备本地数据平台及迁移上云背景
核心数据处理：PySpark、SQL、Apache Airflow/Glue 编排、Delta Lake/Iceberg
云与基础设施：AWS（S3、Glue、EMR、Redshift、Athena、Lake Formation）、Terraform/CloudFormation
开发与测试：Python、Jupyter、GitHub、数据管道单元/集成测试框架
监控与可观测性：AWS CloudWatch、Datadog、自定义管道监控与告警
AWS 认证：Data Analytics Specialty、Solutions Architect Associate/Professional
数据可视化认证：Power BI、Tableau、QlikView 等
工作职责
使用 PySpark 和 SQL 在 AWS 平台上设计、开发、测试并运维可靠、可扩展的 ETL/ELT 数据管道
按照 Medallion 架构实施和管理云数据湖，编排数据流
针对性能、成本和可靠性优化数据管道与存储方案，处理海量数据
可能需要与业务用户和产品负责人沟通
AI 洞察
优缺点分析
优点
- 技术栈较现代，覆盖 PySpark、AWS、Medallion、Kafka、IaC 与 DataOps，有利于积累云数据平台经验
- 香港赛马会业务多元且数字化投入明确，数据平台项目具备规模和复杂度
- 岗位强调生产级管道与治理安全，能提升工程规范和企业级数据管理能力
- 机构具备慈善与社区贡献背景，工作意义感相对清晰
- 岗位要求 5-8 年数据工程经验，技能面广，面试可能深入考察大规模数据处理与云平台实战
- 需同时兼顾管道开发、生产支持、治理合规和业务沟通，工作内容较综合
- JD 未披露办公模式、工时和具体福利，需在面试中进一步确认工作节奏与地点安排
- 适合具备多年云数据工程经验、重视技术深度与平台规模，并愿意在大型机构中承担端到端数据管道责任的求职者
缺点 / 挑战
暂无明显挑战项
角色解读
- 可沿着云数据平台架构师方向发展，深入数据湖、实时计算和 DataOps 体系
- 积累大型机构的数据治理与平台迁移经验后，可转向数据架构或数据平台负责人岗位
- 在赛马会数字化转型项目中，有机会接触多业务线数据场景并提升跨团队交付能力
- 负责在 AWS 上设计、开发、测试和运维基于 PySpark 与 SQL 的 ETL/ELT 数据管道
- 按照 Medallion 架构建设云数据湖并编排数据流，处理 TB 至 PB 级数据
- 持续优化数据管道与存储的性能、成本和可靠性，保障生产环境稳定运行
- 与业务用户和产品负责人沟通，理解需求并支持数据交付
- 扎实的 PySpark 与 SQL 大规模数据处理能力，熟悉生产级 ETL 工作流
- 熟悉 AWS 数据栈（Glue、EMR、Redshift、Athena、Lake Formation 等）及数据湖架构
- 掌握数据建模、Medallion 架构、数据治理与数据安全合规实践
- 具备 Kafka/Solace 实时流、Terraform/CloudFormation、DevOps/DataOps 和监控告警经验
申请策略
- 投递前了解香港赛马会 AOP 数字化转型计划及其赛马、博彩、会员和慈善业务的数据场景
- 在求职信或面试中主动询问工作地点、办公模式、团队规模和跨部门协作方式，确认与个人预期匹配
- 突出使用 PySpark 和 SQL 处理 TB/PB 级数据的项目，量化数据规模、性能优化和成本节约成果
- 展示在 AWS 上构建数据湖、Medallion 架构、Airflow/Glue 编排及 Delta Lake/Iceberg 的实战经验
- 强调生产级 ETL 管道的监控、可观测性、CI/CD、自动化测试和故障处理经验
- 如有 Kafka/Solace 实时流、Terraform/CloudFormation、数据治理或本地迁移上云案例，应重点呈现
- 补强 AWS 数据 Analytics 相关认证知识，尤其是 Glue、EMR、Redshift、Lake Formation 的架构与成本优化
- 准备一个端到端数据平台案例，覆盖需求、建模、管道编排、监控告警、治理与上线支持
面试指南
- 用 STAR 结构描述项目背景、数据规模、技术选型、你的职责和可量化结果
- 回答架构题时先讲整体分层与治理原则，再讲关键组件、权衡取舍和上线后的监控优化
- 回答故障题时按发现、定位、止损、修复、复盘与预防的流程展开，体现生产支持意识
- 请介绍你设计过的一个大规模 PySpark ETL/ELT 管道，如何处理 TB/PB 级数据并保障性能与成本？
- 你在 AWS 上如何规划和实施数据湖？对 Medallion 架构、Lake Formation 权限和治理有什么实践？
- 生产环境数据管道出现延迟或数据质量问题时，你如何监控、定位和恢复？
- 你是否有 Kafka/Solace 实时流、Terraform/CloudFormation 或本地数据平台上云的经验？请举例
- 如何与业务用户和产品负责人沟通需求，并把业务问题转化为数据工程方案？
香港赛马会 的其他在招职位
相似职位推荐
Watch Jobs