具备数据仓库、ETL/数据管道和基于云的数据仓库解决方案的扎实背景
具备交付端到端数据管道解决方案的实践经验,涵盖架构设计、实施、测试、部署、监控和运营支持
使用 Snowflake 和/或 Databricks 技术栈、Spark 或 Informatica ETL(在复用的情况下)在 AWS 云平台上构建和运营可扩展的批处理和流式管道,以交付可供分析的数据集
设计、实施和优化基于 Iceberg 的表、分区和元数据结构,以实现一致且高性能的分析访问
与领域专家合作,定义数据语义(账户、产品、持仓、交易、基准等)、数据管理期望和消费契约(数据交换接口和消费 API)
具备 MDM、数据质量框架和数据管理工具的经验,包括实施自动数据验证、质量规则、对账检查和血缘捕获,以确保企业平台上受治理、可靠且可信的分析数据
构建和发布精选的语义层数据模型(服务模型、集市),并通过受治理的 BI 端点和/或消费 API 暴露它们,确保一致的指标和业务定义
定义和管理用于消费的数据产品接口(模式、SLA、文档、版本控制和向后兼容性),以支持稳定的 API 和 BI 集成
与平台工程团队合作,通过 CI/CD 标准化部署、生产化作业,并采用平台护栏和可观测性模式
与架构师和应用团队协作,定义数据策略并交付与分析工作负载一致的概念/物理数据模型
通过适当的数据库分区、归档和清理模式优化管道和查询性能
参与值班/重大事件管理,在需要时执行数据回填,并支持自有数据产品的生产稳定性