澳蒂华
Software Engineer (Data)
Software Engineer (Data)
发布于 5 个月前普通员工/个人贡献者
Sydney
中级经验
全职员工
仅现场办公
本科
软件工程
分布式计算
数据管道
AI 估算 · 60k–90k
该职位要求资深数据工程技能，涉及高频交易领域，技术门槛高且对业务影响直接，因此薪资在悉尼市场具备强竞争力。
职位详情
关于这个职位
这是一个位于悉尼的数据软件工程师职位，你将加入Optiver的亚太区总部，为本地研究团队提供数据支持
你的核心工作是设计、构建和管理大规模数据管道，优化数据处理流程和基础设施成本，确保研究团队能够高效获取高质量数据，以支持实时洞察和数据驱动的决策
最低要求
年以上软件工程经验，专注于数据领域
熟练掌握Python
熟悉分布式数据处理和构建健壮的数据管道
熟悉各种数据工程技术和方法的概念或使用
能够自主领导项目，确定任务优先级并交付高质量成果
有与研究及平台工程团队合作支持数据驱动项目的成功经验
强大的解决问题能力，专注于效率、可扩展性和成本效益
出色的书面和口头沟通能力，能够向技术和非技术利益相关者传达技术概念
拥有计算机科学、工程、数据科学或相关领域的学士或硕士学位
工作职责
数据管道设计与开发：使用Spark、Databricks和专有HPC工具，架构、构建和管理可扩展的数据管道，确保高可用性、可扩展性和性能
平台与工具开发：推进Optiver研究和数据平台及工具的技术水平
成本优化：与数据平台团队合作，监控和优化资源使用，平衡性能和成本效益
监控与调优：实施监控工具并微调系统，以实现最佳吞吐量、延迟和可靠性
跨职能协作：与全球数据平台团队紧密合作，保持数据战略、工具和最佳实践的一致性
文档与标准：制定和维护数据管道架构、流程和最佳实践的清晰文档
指导与引导：为初级工程师提供技术指导，并支持悉尼数据工程职能的发展
优先资格
有Spark或Databricks的实践经验
有为数据管道开发定制软件组件的经验
熟悉系统语言（如C++、Rust）
熟悉基于云的架构（如AWS）
有大规模关系型数据库（如PostgreSQL）的经验
了解实时数据流技术（如Kafka）
有与研究人员合作，将实验性工作流程转化为生产就绪管道的经验
AI 洞察
优缺点分析
优点
- 全面的技术栈：接触并应用Spark、Databricks、AWS等前沿数据技术和云架构，技能积累价值大
- 优秀的薪酬福利：提供有竞争力的薪资、奖金结构、额外假期、完善的培训和个人发展机会
- 协作与支持文化：公司强调协作、卓越和支持性的高性能环境，并提供搬迁和签证赞助等实际支持
- 技术复杂度高：需要处理大规模分布式系统和专有工具，对系统设计、性能调优和成本控制能力要求苛刻
- 领域知识门槛：虽然不强制要求金融背景，但需要快速理解业务需求，以便有效支持研究团队的数据驱动决策
缺点 / 挑战
- 顶级平台与挑战：加入全球领先的做市商，处理金融市场的海量实时数据，技术挑战性和行业影响力极高
- 高压与快节奏：金融市场环境要求系统高可用、低延迟，工作节奏快，需在压力下交付高质量成果
- 适合拥有扎实数据工程背景、追求技术挑战、能在快节奏环境中独立工作，并希望在高影响力的金融科技领域发展的软件工程师
角色解读
- 技术深度：可以从数据工程师向数据架构师或特定领域专家（如实时流处理、高性能计算）发展
- 横向扩展：有机会深入了解金融市场的量化研究，向数据科学家或量化研究员角色过渡
- 领导力路径：通过指导初级成员和主导项目，可以逐步转向技术主管或工程经理等管理岗位
- 你将负责设计和构建可扩展的数据管道，使用Spark、Databricks等工具处理大规模数据，确保研究团队能高效访问高质量数据
- 你需要与全球团队合作，优化数据处理流程和基础设施成本，将研究团队的工作流程产品化
- 你的工作包括监控系统性能、编写技术文档，并为初级工程师提供技术指导
- 核心编程能力：必须精通Python，并熟悉分布式数据处理框架（如Spark）来构建健壮的数据管道
- 系统与架构知识：需要了解数据工程的核心概念，并最好有云架构（AWS）、关系型数据库（PostgreSQL）或流处理技术（Kafka）的经验
- 软技能与项目管理：必须具备强大的自主解决问题能力、优秀的沟通技巧，以及领导项目并确定优先级的能力
申请策略
- 研究公司业务：深入了解Optiver作为做市商的业务模式，理解流动性提供、风险管理和交易执行的基本概念，在面试中展现你的业务敏锐度
- 准备技术案例：精心准备1-2个能体现你数据管道设计、性能优化或解决大规模数据处理难题的详细技术案例，用于应对行为面试和技术讨论
- 突出数据工程项目：详细描述你使用Python、Spark等工具设计、构建和优化数据管道的具体经验，量化其规模、性能提升或成本节约效果
- 展示全栈数据技能：除了核心的ETL/管道经验，也应提及你在数据库（如PostgreSQL）、云服务（AWS）或流处理（Kafka）方面的实践经验
- 强调协作与影响：举例说明你如何与研究团队、平台团队或其他跨职能团队合作，成功交付数据驱动项目并产生业务影响
- 体现问题解决与自主性：用实例证明你独立领导项目、解决复杂技术问题以及优化系统效率与成本的能力
- 强化分布式计算：如果经验不足，可以深入学习Apache Spark的核心原理、性能调优及在Databricks上的实践
- 补充系统语言知识：了解C++或Rust的基础，有助于理解高性能计算和系统级优化，这在金融科技领域是加分项
面试指南
- STAR框架：对于行为类问题，使用情境(Situation)、任务(Task)、行动(Action)、结果(Result)的结构来组织答案，确保逻辑清晰且有具体成果支撑
- 技术深度与原理：回答技术问题时，不仅要说明“怎么做”，还要解释“为什么”，展现你对底层原理（如Spark shuffle、数据分区）的理解
- 业务关联性：始终将技术解决方案与业务目标（如支持研究决策、降低成本、提高效率）联系起来，展示你的商业意识
- 请描述你设计过的最复杂的数据管道，遇到了哪些挑战，你是如何解决的？
- 你如何监控和优化一个Spark作业的性能与成本？请分享具体经验
- 描述一次你与研究人员或非技术团队合作，将他们的需求转化为技术解决方案的经历
- 如果发现生产环境的数据管道出现延迟或数据质量问题，你的排查思路是什么？
- 你如何看待数据工程中的权衡，例如处理速度（延迟）与数据一致性？
职位点评
Watch Jobs