格步
Senior Data Engineer
Senior Data Engineer
发布于 5 个月前普通员工/个人贡献者
Petaling Jaya, Malaysia
高级经验
全职员工
仅现场办公
本科
软件工程
GO
StarRocks
AI 估算 · 30k–50k
高级数据工程师岗位，技术栈复杂且要求高，涉及大数据生态核心工具，在东南亚科技市场具备强竞争力，薪资水平可观。
职位详情
关于这个职位
作为Grab的高级数据工程师，您将负责维护和扩展公司的核心数据基础设施平台，该平台支撑着东南亚庞大的数据生态系统
您的主要工作是使用Python/Go/Scala等技术栈，优化Apache Spark、Trino、Starrocks等分布式计算引擎的性能与可靠性，并设计可扩展的架构以应对大数据挑战
通过抽象技术复杂性，您将赋能内部用户，帮助他们从数据中获取可执行的洞察
最低要求
年以上相关领域的专业经验
软件工程、计算机科学或相关领域的学位
具备Python、Go、Scala或Java经验，并有强烈意愿学习其他编程语言
对以下至少三项有良好的工作知识：Airflow、Spark、关系型数据库（最好是MySQL）、Kubernetes、Starrocks、Trino以及后端API实现
具备AWS服务（S3、EKS、IAM）和基础设施即代码工具（如Terraform）的经验
精通CI/CD工具（Jenkins、GitLab等）
工作职责
维护和扩展Grab的Airflow、Spark、Trino和Starrocks平台的Python/Go/Scala后端
修改和扩展Python/Scala Spark应用程序和Airflow管道，以提高性能、可靠性和降低成本
为新用例或效率提升设计和实施架构改进
构建能够扩展以适应大数据三V（Volume, Velocity, Variety）的平台
遵循各种测试最佳实践和SRE最佳实践，确保系统稳定性和可靠性
AI 洞察
优缺点分析
优点
- 技术栈前沿：接触并深度使用Apache Spark、Trino、Starrocks、Iceberg等业界领先的大数据和开源技术，技术积累价值高
- 职业发展清晰：处于已上市的跨国科技巨头，拥有完善的职业晋升通道、技术培训体系和多元的业务场景，成长空间广阔
- 福利体系完善：公司提供全面的医疗保险、弹性福利、各类假期及员工援助计划，关注员工福祉与工作生活平衡
- 技术复杂度高：需要同时掌握多种编程语言、大数据框架和云服务，技术学习曲线陡峭，对持续学习能力要求极高
- 适合拥有扎实大数据技术背景、追求技术深度、乐于解决复杂系统问题，并希望在具有区域影响力的科技平台实现职业突破的工程师
缺点 / 挑战
- 平台影响力大：在东南亚领先的超级应用平台工作，构建的数据基础设施直接影响亿级用户和复杂业务，项目挑战性和成就感强
- 系统稳定性压力大：维护的是公司级核心数据平台，任何故障都可能影响广泛业务，对代码质量、运维和应急响应能力是严峻考验
- 跨团队协作要求高：需要与数据目录、AI平台等多个技术团队紧密协作，对沟通协调和推动技术落地的软技能有较高要求
角色解读
- 技术专家路径：深耕大数据和云原生技术栈，成为数据平台架构师或特定领域（如实时计算、数据治理）的技术领袖
- 管理路径：积累项目和技术领导经验后，可转向数据工程团队经理或技术总监，负责团队建设和技术战略规划
- 业务赋能路径：深入理解业务需求，将数据能力产品化，向数据产品经理或解决方案架构师方向发展，直接驱动业务增长
- 负责公司核心数据平台（基于Airflow、Spark、Trino、Starrocks）的后端开发、维护与性能优化，确保其稳定高效运行
- 设计和实施数据架构改进，以支持新业务场景并提升平台处理海量、高速、多样数据的能力
- 与数据目录和AI平台团队协作，整合工具链，为用户提供自助式数据湖访问和流畅的AI开发体验
- 探索行业新技术趋势，并将其集成到现有数据生态系统中，赋能内部数据社区
- 精通Python、Scala或Go中至少一门语言，并具备快速学习其他语言的能力，用于后端开发和数据处理任务
- 深入理解并至少熟练运用Airflow、Spark、Trino/Starrocks中的三项，具备大数据管道编排、分布式计算和查询优化经验
- 熟悉AWS云服务（如S3、EKS）和基础设施即代码（Terraform），能够构建和维护可扩展、可靠的云原生数据平台
- 掌握CI/CD、测试及SRE相关最佳实践，以确保系统的高可用性、可维护性和成本效益
申请策略
- 深入了解Grab作为东南亚超级应用的业务模式（出行、外卖、金融等），思考数据平台如何支撑其多业务线发展，在面试中展现业务洞察力
- 关注并认同Grab‘用心、渴望、荣誉、谦逊’的企业文化，在沟通中体现协作精神、技术热情和解决实际问题的务实态度
- 重点展示与Airflow、Spark、Trino/Starrocks相关的大数据平台开发、优化或运维项目经验，量化性能提升或成本节约成果
- 突出使用Python/Scala/Go进行后端系统或数据处理应用开发的具体案例，特别是涉及高并发、分布式场景的项目
- 详细描述在AWS云环境（S3, EKS, IAM）上设计、部署和管理数据基础设施的经验，以及使用Terraform等IaC工具的实践
- 强调在CI/CD流程建设、系统稳定性保障（SRE实践）或技术债务治理方面的贡献，体现工程化思维和责任感
- 若对Starrocks或Trino经验不足，可提前学习其核心原理、性能调优及与现有生态（如Spark, Hive）的集成方式
- 加强对数据湖格式（如Apache Iceberg, Delta Lake）的理解，掌握其ACID事务、模式演进等特性及其在数据治理中的应用价值
面试指南
- 采用STAR原则（情境、任务、行动、结果）结构化回答项目问题，重点突出个人在技术决策、问题解决和结果量化中的具体贡献
- 对于架构设计问题，从需求分析入手，分层阐述（数据摄入、存储、计算、服务、运维），权衡不同技术选型的利弊，并强调可扩展性、可靠性和成本考量
- 回答协作类问题时，展现沟通技巧、同理心和推动力，说明如何理解各方诉求、制定清晰计划、提供支持并最终达成共识、实现价值
- 请描述一个你使用Spark（或Airflow）处理大规模数据并成功优化其性能或可靠性的具体项目
- 你遇到了什么挑战，如何解决的？
- 如果让你设计一个可扩展的数据摄取和处理管道来应对数据量和速度的快速增长，你会考虑哪些关键架构组件和设计原则？
- 你如何监控一个由多个分布式服务（如Spark, Trino, Airflow）组成的数据平台的健康状况？当出现性能瓶颈或故障时，你的排查思路是什么？
- 请谈谈你使用基础设施即代码（如Terraform）管理云上数据服务（如AWS EKS, S3）的经验
职位点评
Watch Jobs