3M公司
Data platform architect
Data platform architect
发布于 3 天前普通员工/个人贡献者
全职员工仅现场办公数据工程
数据工程
Etl/Elt
Pyspark
Spark Sql
数据仓库
数据治理
数据湖
值不值得投
69综合评分
综合评分 69
技术前沿、平台广阔，但工作模式传统，适合以技术成长为核心驱动力的候选人。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
50K
与数据工程中位数基本持平
发布情况
新岗位 · 2 天前发布
公司情况
这家公司招聘很活跃
36 个在招
市场机会
选择面较广
上海 · 数据工程 · 77 个在招
职位详情
关于这个职位
这是一个在3M公司担任数据平台架构师的职位，主要负责在微软Azure云平台上设计和实施可扩展的数据平台架构，并主导基于Databricks的数据平台建设
您将与业务、数据工程师和分析师紧密合作，交付支持分析、报表和高级数据用例的企业级数据解决方案
该职位要求深厚的数据平台架构、云数据工程和Databricks实践经验
最低要求
年以上数据平台架构、数据工程、云数据解决方案或相关领域经验
丰富的Microsoft Azure数据服务经验
具备Azure Data Factory的数据集成、编排和管道开发实践经验
在Databricks平台设计、实施、管理和优化方面有成熟经验
扎实的Python编程能力
丰富的Spark SQL、PySpark和分布式数据处理经验
有为企业级数据环境设计和实施ETL/ELT管道的经验
对数据湖、湖仓一体和数据仓库架构有良好理解
有大规模数据处理、数据建模和数据集成模式的经验
扎实的数据平台性能调优、监控和故障排除知识
能够与技术和非技术利益相关者有效沟通
较强的分析、问题解决和解决方案设计能力
工作职责
在Microsoft Azure上设计和实施可扩展的数据平台架构
主导基于Databricks的数据平台的设计、搭建和实施
使用Databricks、Spark SQL、PySpark和Python开发和优化数据处理框架
使用Azure Data Factory及相关Azure数据服务设计、构建和维护健壮的ETL/ELT管道
定义数据湖、湖仓一体和数据仓库架构模式，以支持企业数据需求
在结构化和半结构化数据源上实施数据摄取、转换、编排和发布流程
建立数据平台开发、部署、监控、安全和性能优化的最佳实践
与业务和技术团队合作，将数据需求转化为可扩展的技术解决方案
优化数据管道和Spark工作负载的性能、可靠性和成本效益
支持数据治理、访问控制、数据质量、元数据管理和平台安全要求
创建架构文档、技术设计文档、标准和操作指南
为数据工程师和项目团队提供现代数据平台实践的技术指导
优先资格
有Delta Lake、Unity Catalog、Databricks Workflows、Auto Loader和Lakehouse架构经验
有Azure Data Lake Storage、Azure Synapse Analytics、Azure Key Vault、Event Hub或相关Azure服务经验
熟悉CI/CD、Git、DevOps实践、Terraform或基础设施即代码
有数据治理、数据质量框架、元数据管理和访问控制经验
有从零开始构建企业数据平台的经验
AI 洞察
优缺点分析
优点
- 能够深入掌握Azure和Databricks等主流云数据技术栈，提升个人技术竞争力
- 在大型跨国企业工作，可以接触到复杂的企业级数据环境和多样化的业务场景
- 职位涉及架构设计和技术指导，有助于培养全局视野和领导力
- 适合拥有丰富云数据平台经验、热爱技术架构设计、并希望在大型企业环境中解决复杂数据问题的资深数据工程师或架构师
缺点 / 挑战
- 职位要求5年以上经验，对技术深度和广度要求较高，需要持续学习新技术
- 作为架构师，需要与多方沟通协调，对沟通和推动能力有较高要求
- 企业级数据平台建设周期长，可能面临复杂的遗留系统整合挑战
角色解读
- 可以成长为数据平台架构领域的专家，负责更复杂、更大规模的数据平台规划
- 有机会向数据架构师、数据工程经理或云解决方案架构师等方向发展
- 在3M这样的跨国企业，可以积累丰富的跨行业、跨部门的数据解决方案经验
- 负责在微软Azure云平台上设计和实施可扩展的企业级数据平台架构，包括数据湖、湖仓一体和数据仓库
- 主导基于Databricks的数据平台建设，包括设计、实施、管理和优化，并开发ETL/ELT管道
- 与业务、数据工程师和分析师紧密合作，将业务需求转化为技术解决方案，并推动数据平台最佳实践
- 精通微软Azure数据服务，特别是Azure Data Factory、Azure Data Lake Storage等
- 具备深厚的Databricks平台设计和实施经验，熟练使用Spark SQL、PySpark和Python进行分布式数据处理
- 深入理解数据湖、湖仓一体和数据仓库架构，以及ETL/ELT管道设计
- 具备优秀的沟通能力，能够与技术和非技术团队有效协作
申请策略
- 在申请时，请务必上传详细的简历，并确保包含完整的教育和工作经历
- 可以提前了解3M公司的业务领域，思考数据平台如何支持其创新战略
- 突出您在Azure和Databricks上的具体项目经验，特别是架构设计、实施和优化的案例
- 量化您所负责的数据平台规模、性能提升或成本节约成果
- 强调您使用Python、Spark SQL、PySpark等技术的熟练程度，并展示ETL/ELT管道设计能力
- 如果对Databricks的Delta Lake、Unity Catalog等高级特性不熟悉，建议提前学习
- 可以补充学习Terraform等基础设施即代码工具，以及CI/CD在数据平台中的应用
- 复习数据治理、数据质量和元数据管理的最佳实践
面试指南
- 对于项目经验类问题，建议采用STAR法则（情境、任务、行动、结果）来清晰描述
- 对于技术方案类问题，可以按照“理解需求 -> 方案设计 -> 技术选型 -> 实施与优化”的逻辑来回答
- 对于沟通类问题，强调您如何将技术语言转化为业务语言，并推动共识
- 请描述一次您设计并实施一个基于Azure和Databricks的数据平台的经历，遇到了哪些挑战？
- 如何优化一个运行缓慢的Spark作业？请举例说明您的调优思路
- 在设计企业级数据湖或湖仓一体架构时，您会如何考虑数据治理和安全？
- 如何向非技术背景的业务方解释复杂的数据架构决策？
- 您如何评估和选择不同的Azure数据服务来满足特定业务需求？
职位点评
薪资福利70
成长发展85
工作生活50
使命价值60
薪资福利
70中等
职位未明确提及薪资和具体福利，但作为跨国企业的资深技术岗位，通常提供有竞争力的薪酬。
薪资信号未披露（AI估算：40K-60K/月）
成长发展
85较高
职位深度涉及Azure、Databricks等前沿云数据技术，并提供架构设计和技术指导的机会，有利于个人技能和职业发展。
技术前沿前沿/新兴技术
技术栈Azure、Databricks、Spark SQL、PySpark、Python、Azure Data Factory、Delta Lake、Unity Catalog
成长机会Provide technical guidance
业务类型ambiguous
工作生活
50较低
职位描述未提及远程办公或弹性工作安排，通常为现场办公。工作地点在上海，具体通勤情况未知。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
60中等
3M是知名的创新型企业，职位支持企业数据分析，但未直接体现强烈的社会价值导向。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
3M公司 的其他在招职位
相似职位推荐
Watch Jobs