希音
大数据开发（CRM数据平台方向）
大数据开发（CRM数据平台方向）
发布于 3 天前普通员工/个人贡献者
全职员工仅现场办公大数据
大数据
Paimon
Starrocks
实时计算
数据仓库
用户画像
值不值得投
72综合评分
综合评分 72
技术前沿、业务核心、成长迅速，但工作强度可能较高。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
参考估算薪资
根据职位描述推断，供对比参考
发布情况
新岗位 · 2 天前发布
公司情况
这家公司招聘很活跃
约 520 个在招
市场机会
选择不多
上海 · 大数据 · 1 个在招
职位详情
关于这个职位
这是一个专注于CRM营销触达场景的大数据开发岗位，核心工作是构建和优化实时与离线数据链路，支撑用户画像、标签体系和人群圈选等关键业务
你将使用Flink、Spark等主流技术栈，并有机会探索Paimon湖仓一体等前沿方案
岗位要求5年以上经验，适合对大数据技术有深入理解并希望在电商领域深耕的开发者
最低要求
计算机及相关专业本科及以上学历，5年以上大数据开发经验，具有扎实的代码功底
精通Hadoop/Hive/Spark/Flink等大数据计算框架，有大规模数据处理实战经验（实时流处理或离线批处理）
熟悉Java/Scala/Python至少一种编程语言，具备良好的编程习惯和工程能力
熟悉数据存储方案（HBase/Hive/Kafka/Elasticsearch/StarRocks等），能根据业务场景进行合理选型与性能优化
掌握数据建模方法论，熟悉数仓分层设计（ODS/DWD/DWS/ADS），有数据质量治理经验
工作职责
负责CRM营销触达大数据处理流程开发，基于Flink构建实时数据链路，基于Spark完成离线人群圈选与数据加工
对大数据任务进行性能调优，保障集群的高效与平稳运行，提升系统稳定性和可扩展性
持续升级计算存储架构，探索和引入新技术方案（如Paimon湖仓一体、实时特征计算等），更好支持业务增长
构建和优化数据仓库体系，支撑用户画像、标签体系、人群圈选等核心数据能力
参与数据质量治理和成本优化，推动数据链路的标准化和自动化
优先资格
熟悉Paimon/Iceberg等湖仓一体技术，或有实时特征计算/实时数仓建设经验
有电商领域用户画像、标签体系、人群圈选的数据开发经验
有StarRocks/ClickHouse等OLAP引擎的使用和调优经验
有数据成本优化经验（存储压缩、计算资源治理、任务调度优化等）
熟悉Docker/Kubernetes容器化部署，有云原生数据平台经验
有跨境电商或全球化数据开发经验
有Java后端工程开发经验（Spring Boot/微服务），能独立完成数据服务接口开发和平台工程化建设
AI 洞察
优缺点分析
优点
- 技术栈主流且前沿，涉及Flink、Spark、Paimon等，能持续提升个人技术竞争力
- 业务场景复杂且数据量大，能积累宝贵的电商领域大规模数据处理经验
- 公司处于高速发展阶段，平台大，个人发展空间和机会较多
- 对技术深度和广度要求高，需要持续学习和探索新技术
- 需要较强的跨团队沟通和协作能力，以推动项目落地
- 适合拥有5年以上大数据开发经验，对技术有热情，希望在电商领域深耕，并能适应快节奏工作环境的资深工程师
缺点 / 挑战
- 电商业务节奏快，可能面临较大的工作压力和项目交付挑战
角色解读
- 在技术深度上，可向实时计算、湖仓一体、数据架构等专家方向发展
- 在业务理解上，可深入电商营销领域，成为懂业务的数据专家，为业务决策提供数据支持
- 在团队管理上，随着经验积累，有机会带领小团队，负责更复杂的数据平台建设项目
- 负责CRM营销触达场景的大数据链路开发，包括基于Flink的实时数据处理和基于Spark的离线批量加工
- 对现有大数据任务进行性能调优，保障集群稳定高效运行，并持续优化计算存储架构
- 构建和优化数据仓库，支撑用户画像、标签体系、人群圈选等核心数据能力的建设
- 参与数据质量治理和成本优化，推动数据链路的标准化和自动化
- 精通Hadoop/Hive/Spark/Flink等主流大数据计算框架，具备大规模数据处理实战经验
- 熟练掌握Java/Scala/Python至少一种编程语言，具备扎实的工程能力
- 熟悉HBase、Kafka、Elasticsearch、StarRocks等数据存储组件，能根据业务场景进行合理选型
- 掌握数据建模方法论和数仓分层设计，有数据质量治理经验
申请策略
- 在面试中展现对CRM营销业务的理解，以及如何将业务需求转化为技术方案的能力
- 可以提前了解SHEIN的业务模式和全球化布局，在面试中体现对公司的关注和兴趣
- 重点突出Flink和Spark的实战项目经验，特别是大规模数据处理和性能调优的案例
- 详细描述在数据仓库建设、用户画像或人群圈选方面的项目经历和成果
- 强调对数据建模、数据质量治理和成本优化的理解和实践经验
- 如有Paimon、Iceberg、StarRocks等加分技术经验，务必在简历中显著位置体现
- 系统复习Flink和Spark的底层原理和调优技巧，准备相关技术深度的面试问题
- 了解Paimon等湖仓一体技术的最新进展，并思考其在业务中的应用场景
面试指南
- 对于项目类问题，采用STAR法则（情境-任务-行动-结果）清晰阐述，突出个人贡献和技术难点
- 对于技术原理问题，先阐述核心概念，再结合实践经验说明应用场景和注意事项
- 对于业务结合问题，先表达对业务的理解，再说明技术如何支撑业务目标
- 请详细描述一个你主导的Flink实时计算项目，包括架构设计、状态管理、背压处理和性能调优经验
- 在离线数仓建设中，你是如何进行分层设计的？如何保证数据质量和一致性？
- 谈谈你对Paimon或Iceberg等湖仓一体技术的理解，以及它们相比传统数仓的优势
- 面对海量数据，你是如何进行Spark任务性能调优的？请举例说明
- 如何理解用户画像和人群圈选？在设计标签体系时需要考虑哪些因素？
职位点评
薪资福利70
成长发展90
工作生活50
使命价值75
薪资福利
70中等
JD未明确提及薪资和具体福利，但作为大型互联网公司的高级技术岗位，薪资水平通常具有市场竞争力。
薪资信号未披露（AI估算：35K-55K/月）
成长发展
90较高
职位涉及Flink、Spark、Paimon等前沿技术，并鼓励探索新技术，对个人技术成长非常有利。
技术前沿前沿/新兴技术
技术栈Flink、Spark、Hadoop、Hive、Kafka、StarRocks、Paimon、Iceberg、Docker、Kubernetes
成长机会持续升级计算存储架构、探索和引入新技术方案
业务类型profit_center
工作生活
50较低
JD未提及工作模式，但作为互联网大厂的技术岗，通常为现场办公，且电商业务节奏快，工作强度可能较高。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
职位服务于公司的核心营销业务，通过数据驱动业务增长，对公司的商业价值贡献直接且重要。
行业发展高速增长赛道
社会影响中性/一般
使命信号更好支持业务增长
创新程度积极采用新技术
Watch Jobs