澳蒂华
Data Site Reliability Engineer
Data Site Reliability Engineer
发布于 6 个月前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
学历未注明
软件工程
事件响应
数据管道
数据质量监控
运维自动化
湖仓架构
AI 估算 · 35k–60k
该职位要求高技能的数据运维与工程能力，涉及金融交易核心系统，技术门槛高且责任重大，市场竞争力强，薪资水平位于行业前列。
职位详情
关于这个职位
这是一个专注于数据系统可靠性的工程师岗位
你将负责确保公司核心数据管道和平台的稳定性、正确性与可用性，这些系统直接支持交易和研究工作流
工作内容包括配置和维护数据管道、监控数据质量、响应事故以及通过自动化提升运维效率
最低要求
有运维或支持生产数据系统（如数据管道、摄取框架或分析平台）的经验
精通 Python，并有使用 Pandas、Arrow、Spark 等库的经验
扎实理解数据建模、规范化和 API 开发，以支持大规模分析或交易系统
具备运维思维，拥有强烈的责任感、可靠性和持续改进意识
能够高度自主地工作，为生产系统做出合理的工程和运维决策
具备良好的沟通能力，能够跨团队和跨时区有效协作
工作职责
配置、启动和维护稳健的数据管道（ETL/ELT），用于摄取和转换对研究和交易至关重要的数据集
拥有从摄取到下游消费的关键生产数据管道的端到端可靠性
通过验证、监控和稳健的工程实践确保数据质量和一致性
作为数据事故的第一联系人，调查故障、数据质量问题和管道回归，并推动其解决
参与事件响应、根本原因分析和事后审查，重点是防止复发
管理日常发布、回填和临时数据运行，高度关注安全性、可追溯性和环境隔离
设计和改进监控、警报、数据质量检查和运维手册，确保问题被及早发现且警报可操作
构建自动化和工具，以减少手动运维工作，并使平台能够安全扩展
与数据工程、平台和交易相关团队紧密合作，确保数据系统可靠、易于理解且适用
优先资格
有使用湖仓架构（如 Delta Lake、Databricks、AWS）管理大规模、高质量分析数据集的经验者优先
有外部数据摄取经验者优先
接触过基于 PCAP 的数据工作流或市场数据捕获管道者优先
愿意为制定最佳实践做出贡献，并指导工程师提升运维卓越性和生产可靠性者优先
AI 洞察
优缺点分析
优点
- 接触核心业务：直接支持金融交易与决策，工作价值高，能深入理解业务与技术的结合点
- 技术栈前沿：涉及大规模数据处理、云平台和自动化运维，技能具有很高的市场价值和通用性
- 优质平台与福利：大型企业提供完善的培训、 mentorship、有竞争力的薪酬结构（全球利润池奖金）和丰富的员工福利
- 技术复杂度高：需要同时精通数据工程、软件开发和运维（SRE）多个领域，并处理跨时区的协作问题
缺点 / 挑战
- 高压与高责任：系统故障或数据问题可能对交易产生即时业务影响，需要承受较大的运维压力和责任
- 快速响应要求：需作为事故第一联系人，可能面临 on-call 轮班和紧急情况处理，对个人时间管理有一定挑战
- 适合对数据系统可靠性有浓厚兴趣，具备扎实工程和运维能力，追求技术挑战，并能在高压环境下保持冷静、注重细节的工程师
角色解读
- 技术深度与广度：可向数据平台架构师、数据基础设施专家方向发展，或深入特定领域如实时数据流、数据治理
- 管理与领导力：积累经验后可转向技术管理岗位，如 SRE 团队负责人或数据工程经理，负责团队建设和战略规划
- 运维核心数据管道：负责配置、监控和维护支撑交易与研究的批处理和流式数据管道，确保其高可用和正确性
- 保障数据质量与事故响应：建立数据质量监控体系，作为第一响应人处理数据事故，进行根因分析并推动修复
- 提升运维自动化水平：设计和开发自动化工具与运维手册，减少人工干预，提升大规模数据平台的运维效率和安全性
- 数据工程与运维技能：精通 Python 及 Pandas、Spark 等数据处理库，具备生产数据系统（如 ETL/ELT 管道）的运维经验
- 平台与架构知识：熟悉湖仓架构（如 Databricks, AWS）和数据建模，能够管理大规模分析数据集
- 软技能与思维模式：拥有强烈的责任心和运维思维，能自主决策，并具备优秀的跨团队、跨时区沟通协作能力
申请策略
- 研究公司业务：深入了解澳蒂华作为交易公司的业务模式，理解数据在其工作流中的关键作用，在面试中展现你的业务洞察力
- 准备行为案例：提前准备几个处理复杂数据事故、进行根因分析或推动自动化项目的详细案例，使用 STAR 法则进行结构化描述
- 突出生产运维经验：详细描述你参与运维过的数据管道或平台项目，强调你在确保可靠性、处理事故和提升自动化方面的具体贡献
- 展示技术栈深度：明确列出你精通的技能，如 Python、Spark、AWS 及相关数据工具，并用项目实例证明你的熟练度
- 体现软技能与成果：通过事例展示你的责任心、问题解决能力、跨团队协作经验，以及如何通过你的工作带来了可量化的改进（如 SLA 提升、事故减少）
- 强化数据平台实践：如果经验不足，可以学习并通过项目实践 Databricks、Delta Lake 等湖仓架构工具
- 深入 SRE 方法论：系统学习站点可靠性工程（SRE）的原则，如错误预算、监控告警设计、容量规划等
- 了解金融数据领域：提前了解金融市场数据（如 PCAP、行情数据）的基本概念和处理流程，增加业务理解
面试指南
- 结构化描述问题：使用 STAR（情境-任务-行动-结果）法则组织答案，确保逻辑清晰
- 突出技术深度与思考：不仅要讲做了什么，更要解释背后的技术选型、权衡决策和学到的经验教训
- 体现运维与协作思维：在回答中融入对可靠性、自动化、可观测性以及团队协作的考量
- 请描述一次你处理过的生产环境数据管道故障，你是如何排查、定位根本原因并最终解决的？
- 你如何设计和实施一套有效的数据质量监控与告警系统？
- 谈谈你在使用 Python 和 Spark 处理大规模数据集时，遇到过哪些性能挑战以及你是如何优化的？
- 在跨时区团队协作中，你如何确保运维 handover 的顺畅和信息同步？
- 如果一个新的数据源需要接入，从运维可靠性角度，你会考虑和评估哪些方面？
职位点评
Watch Jobs