格步
Data Engineer - Insurance
Data Engineer - Insurance
发布于 5 个月前普通员工/个人贡献者
Jakarta, Indonesia
中级经验
全职员工
仅现场办公
本科
数据分析与科学
ETL
SQL
AI 估算 · 25k–45k
该职位要求3年以上经验，涉及复杂的数据工程技能，且在东南亚领先的科技公司工作，薪资具备市场竞争力。
职位详情
关于这个职位
这是一个位于雅加达的数据工程师职位，专注于保险领域
你将负责设计、构建和维护公司的数据基础设施，包括开发可扩展的数据管道，编写SQL查询和Spark代码进行数据转换，并与数据科学家、分析师等团队协作，为业务决策提供可靠的数据支持
最低要求
至少3年以上数据工程或相关领域经验
精通SQL，能够查询和操作大规模数据集
精通数据工程常用编程语言（例如Python、Scala或Java）
具有数据管道框架和ETL工具经验（例如Apache Spark、Airflow或类似工具）
熟悉数据仓库概念和平台（例如Hive、Presto、BigQuery或Snowflake）
具备计算机科学基础知识（算法和数据结构），并能将其应用于数据问题
理解数据建模原则和数据库设计
具有版本控制系统（如Git）的使用经验
拥有计算机科学、信息系统或相关领域的学士学位
工作职责
设计和开发稳健、可扩展的数据管道，确保跨多个系统的无缝数据流
编写功能正确、模块化且可维护的SQL查询和数据转换代码（Spark）
使用常见的数据存储系统和数据库，包括数据仓库和分布式数据系统
将基本的数据建模概念应用于简单和中等复杂度的数据集
与数据科学家、分析师和软件工程师等多元化团队协作，交付数据解决方案
参与代码审查，以维护数据管道质量并分享知识
及时响应数据管道问题，维护运行手册、仪表板和警报
通过适当的测试和监控确保数据质量和可靠性
AI 洞察
优缺点分析
优点
- 公司提供全面的福利（如医疗保险、弹性福利）和职业发展支持，平台稳定
- 在保险这一数据密集型行业工作，能积累宝贵的领域知识，提升职业壁垒
- 与多元团队协作，能提升沟通和项目管理等软技能
- 需要处理大规模、多源数据，对数据管道性能、稳定性和故障排查能力要求高
- 需与不同背景的团队紧密协作，准确理解并满足多样化的数据需求可能存在沟通成本
- 数据工程师岗位竞争激烈，需要持续学习新技术（如新的数据处理框架、云服务）以保持竞争力
- 适合拥有3年以上数据工程经验，对构建可靠数据基础设施有热情，并希望在快速发展的科技公司中解决复杂数据问题的求职者
缺点 / 挑战
- 能接触到东南亚领先超级应用的海量数据和复杂业务场景，技术挑战和成长空间大
角色解读
- 技术专家路径：可深入大数据架构、实时数据处理或机器学习工程领域，成为资深数据工程师或架构师
- 管理路径：积累项目经验后，可转向技术主管或数据工程团队经理，负责团队管理和技术规划
- 行业专家路径：在保险领域深耕，结合业务知识，成为懂技术的业务分析师或数据产品经理
- 设计和构建可扩展的数据管道，确保数据在不同系统间高效流动
- 编写和维护SQL查询及Spark代码，进行数据清洗、转换和集成
- 与数据科学家、分析师等团队协作，理解需求并提供可靠的数据解决方案
- 监控数据管道运行状况，及时排查问题，确保数据质量和系统稳定性
- 精通SQL和至少一种编程语言（如Python/Scala），用于处理大规模数据
- 熟悉Apache Spark、Airflow等数据工程框架，具备构建ETL管道的实战经验
- 理解数据仓库（如BigQuery, Snowflake）和数据建模原理，能设计高效的数据结构
- 具备扎实的计算机科学基础，包括算法和数据结构，并能应用于解决数据问题
申请策略
- 深入了解Grab的业务，特别是其超级应用生态和保险业务线，在面试中展现你的业务洞察力
- 研究公司文化（如'heart, hunger, honour, humility'），准备例子说明你如何契合这种价值观
- 重点展示使用SQL、Python/Scala和Spark等工具构建数据管道的具体项目经验，量化成果（如处理数据量、性能提升）
- 突出你在数据建模、数据仓库（如Hive, BigQuery）方面的实践，以及确保数据质量的方法
- 描述与数据科学家、业务分析师成功协作的项目案例，体现你的团队合作和沟通能力
- 如有保险或金融科技行业经验，务必强调，这将是重要加分项
- 如果对Airflow等编排工具不熟，可提前学习其核心概念并通过小项目实践
- 加强对分布式系统（如Hadoop生态）和云数据平台（AWS/GCP相关服务）的理解
面试指南
- 使用STAR法则（情境、任务、行动、结果）来结构化你的回答，确保逻辑清晰
- 对于技术问题，先阐述核心原理，再结合具体案例说明你的应用和思考过程
- 在回答协作类问题时，突出你的沟通技巧、问题解决能力和以结果为导向的思维
- 请描述你设计过的最复杂的一个数据管道，遇到了什么挑战，如何解决的？
- 如何优化一个运行缓慢的Spark作业？
- 你如何确保数据质量？请分享一个你发现并修复数据质量问题的例子
- 请解释星型模式和雪花模式的区别，并说明在什么场景下会选用哪一种？
- 描述一次你与数据科学家或业务团队合作完成一个数据项目的经历
职位点评
Watch Jobs