澳蒂华
Databricks Platform Engineer
Databricks Platform Engineer
发布于 6 个月前普通员工/个人贡献者
Chicago
中级经验
全职员工
仅现场办公
学历未注明
软件工程
CI/CD
云平台运维
基础设施即代码
AI 估算 · 88k–131k
该职位要求熟练的云平台和自动化技能，属于金融科技领域核心技术岗，市场竞争力强，薪资水平较高。
职位详情
关于这个职位
这是一个Databricks平台工程师职位，主要负责设计、部署和运维公司的Databricks数据平台
你将通过基础设施即代码（如Terraform）和自动化（如Python脚本）来确保平台的可靠性、安全性和成本效益，为内部团队提供高效、稳定的数据服务支持
最低要求
年以上Databricks环境管理经验
丰富的Terraform和基础设施即代码实践经验
熟练使用Python进行自动化和工具开发
扎实的CI/CD原则和工具知识
有Git和协作开发工作流经验
熟练使用Linux命令行界面
理解云基础设施概念（网络、IAM、计算、存储）
熟悉监控、告警和运维最佳实践
工作职责
Databricks平台工程：设计、部署和运维Databricks工作区和环境
管理工作区配置、集群策略、访问控制和平台设置
建立并执行可靠性、安全性和成本治理标准
支持和改进Databricks平台运营
基础设施即代码与自动化：使用Terraform构建和维护基础设施
创建跨环境的可重复、版本控制的部署模式
使用Python和Shell脚本自动化平台运维和维护
CI/CD与发布工程：为基础设施和平台配置设计和维护CI/CD系统
实施配置变更的自动化验证、测试和推广
支持基于Git的工作流和环境生命周期管理
系统工程：排查平台级别问题
帮助管理系统配置、网络和访问控制
改进可观测性、日志记录和运维工具
安全与可靠性：实施基于角色的访问控制、密钥管理和安全最佳实践
确保平台符合内部安全和运营标准
参与事件响应、根因分析和可靠性改进
优先资格
有使用Terraform管理AWS基础设施的经验者优先
有运营共享开发者平台或内部工具的经验者优先
有多环境或多账户设置经验者优先
了解云成本管理和治理者优先
AI 洞察
优缺点分析
优点
- 接触并深度掌握Databricks和AWS等主流云数据平台技术栈，技能市场认可度高
- 公司提供具有竞争力的薪酬福利和利润分享计划，物质回报丰厚
- 团队文化强调协作与卓越，能与来自全球的优秀同事共事，学习环境好
- 需要同时兼顾平台工程、自动化开发、系统运维和安全管理，对综合能力要求高
- 需要快速响应和解决生产环境的问题，可能涉及非工作时间的事件处理
- 适合具备扎实的云平台和自动化运维背景，追求技术深度，并希望在快节奏、高标准的金融科技领域发展的工程师
缺点 / 挑战
- 在顶尖的量化交易公司工作，能接触到高并发、低延迟的复杂技术场景，技术挑战大，成长快
- 金融行业对系统的稳定性、安全性和性能要求极高，工作压力和责任重大
角色解读
- 技术深度上，可向云架构师或平台架构师发展，负责更复杂、更大规模的技术平台规划与设计
- 技术广度上，可拓展至数据工程、数据治理或云安全领域，成为跨领域的专家
- 在金融科技行业，此类平台工程师的经验极具价值，未来可向技术管理岗或特定业务领域的技术负责人发展
- 负责Databricks数据平台的整个生命周期管理，包括设计、部署、配置和日常运维
- 使用Terraform和Python等工具实现基础设施的自动化部署和平台运维的自动化
- 建立并维护CI/CD流水线，确保平台配置变更的安全、高效和可追溯
- 保障平台的安全性、可靠性和成本效益，参与事件响应和持续改进
- 精通Databricks平台的部署、配置和管理，具备2年以上相关经验
- 熟练掌握Terraform进行基础设施即代码的实践，并能应用于AWS环境
- 具备使用Python和Shell脚本进行自动化开发和运维的能力
- 深入理解CI/CD流程、Git工作流以及云原生环境下的监控和运维最佳实践
申请策略
- 仔细研究Optiver作为市场做市商的业务模式，理解数据在其业务中的核心作用
- 在申请和面试中，展现出对自动化、标准化和可观测性等平台工程核心理念的深刻理解
- 重点突出使用Terraform管理AWS或类似云环境的实际项目经验，量化成果
- 详细描述在Databricks或类似数据平台上的管理、优化和故障排查经历
- 展示通过Python脚本或自动化工具解决实际运维问题的案例，体现效率提升
- 如果有金融或交易系统相关经验，务必强调，这是重要的加分项
- 如果对AWS特定服务（如VPC, IAM, EC2, S3）与Terraform的结合使用不熟，建议进行针对性学习和实践
- 深入了解金融行业，特别是高频交易或市场做市业务对数据平台的特殊要求
面试指南
- 使用STAR法则（情境、任务、行动、结果）来结构化你的回答，确保逻辑清晰
- 在回答技术问题时，不仅要说明“怎么做”，还要解释“为什么这么做”，体现你的设计思考
- 将你的经验与Optiver可能面临的高要求场景（如低延迟、高可用）联系起来，展示你的适应性和前瞻性
- 请描述你设计和管理一个多环境（如dev/staging/prod）Databricks平台的经验
- 你如何用Terraform管理一个复杂的AWS基础设施？遇到过哪些挑战以及如何解决的？
- 请举例说明你如何通过自动化（Python脚本）解决了一个重复性的平台运维问题
- 当Databricks平台出现性能下降或故障时，你的排查思路和步骤是什么？
- 你如何平衡平台的安全性、可用性和成本控制？
职位点评
Watch Jobs