快手
大数据存储研发工程师-【可灵AI】
大数据存储研发工程师-【可灵AI】
发布于 28 分钟前普通员工/个人贡献者
全职员工仅现场办公大数据
大数据
Paimon
元数据管理
分布式系统
值不值得投
80综合评分
综合评分 80
大厂核心数据湖研发岗，技术栈前沿，成长性强，但工作强度可能较大
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.5万
比大数据中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2850 个在招 · 其中大数据 5 个
市场机会
选择适中
北京 · 大数据 · 29 个在招
职位详情
关于这个职位
负责快手公有云数据湖（Iceberg/Paimon）的核心研发，涵盖存储架构设计、计算引擎接入及性能优化
需构建统一元数据服务与资产治理能力，解决小文件治理、Schema演进等生产难题，保障海量数据的稳定运行与高效访问
最低要求
熟练掌握 Java、Python 中至少一种语言，具备扎实的 SQL 和分布式系统基础，有数据平台、存储或元数据服务研发经验
熟悉 Iceberg、Paimon 中至少一种表格式及其生产应用，理解事务、快照、Compaction 等机制，具备 Spark、Flink 或 Trino 的湖表接入经验
理解 Catalog、元数据采集、数据血缘及权限治理，具备相关系统建设经验
有 DataHub、OpenMetadata 或 OpenLineage 实践者优先
熟悉公有云对象存储、身份权限和容器化部署，能够独立完成方案落地、生产问题排查及性能优化，并推动跨团队协作
工作职责
负责公有云环境下 Iceberg / Paimon 数据湖建设，完成场景选型、湖表设计、对象存储适配，以及 Spark、Flink、Trino 等计算引擎的读写接入与性能优化
建设湖表生命周期管理能力，完善 Schema 演进、快照与版本管理、Compaction、小文件治理、数据清理和故障恢复，保障湖表长期稳定运行与数据正确
建设统一 Catalog 和元数据服务，完善命名空间、库表标识、元数据采集及变更同步，逐步建设资产目录和数据血缘，对接统一权限与审计
持续优化湖表读写性能、存储成本和元数据服务稳定性，建设监控诊断与自动维护工具，沉淀表设计、引擎接入、版本兼容和日常运维规范
AI 洞察
优缺点分析
优点
- 接触行业领先的 AI 业务数据规模，技术栈前沿（Data Lakehouse），平台影响力大
- 高并发下的性能调优难度大，需处理复杂的分布式一致性与容错问题
- 对分布式存储有深厚兴趣，具备扎实后端开发功底的技术专家型人才
缺点 / 挑战
暂无明显挑战项
角色解读
- 向大数据架构师、数据平台技术专家方向发展，主导企业级数据基础设施建设
- 负责公有云数据湖底层架构的研发与维护，确保海量数据的高效存取
- 精通 Java/Python，深入理解 Iceberg/Paimon 原理及 Spark/Flink 集成
申请策略
- 关注快手云业务动态，准备关于数据湖与 AI 训练数据结合的思考
- 突出 Iceberg/Paimon 在生产环境的应用案例，展示性能优化前后的量化对比
- 深入研究 Compaction 机制与小文件治理策略，了解开源元数据服务架构
面试指南
- 采用 STAR 法则，重点阐述遇到的具体技术瓶颈、采用的技术方案及最终的性能提升数据
- Iceberg 的 Snapshot 机制是如何实现的？
- 如何解决数据湖中的小文件问题？
- Flink 写入 Iceberg 的事务一致性如何保证？
- 元数据服务的高可用架构设计思路
- 复习分布式事务理论，梳理过往项目中关于存储引擎优化的实战经验
职位点评
薪资福利85
成长发展90
工作生活60
使命价值75
薪资福利
85较高
作为已上市巨头企业的核心研发岗，薪资处于行业中上水平，福利体系完善，稳定性较高。
薪资信号未披露（AI估算：3.0千–6.0万/月）
成长发展
90较高
涉及 AI 业务底层数据基础设施，技术栈极具前瞻性，能积累大规模数据处理的核心竞争力。
技术前沿前沿/新兴技术
技术栈Iceberg、Paimon、Spark、Flink、Trino、Data Lakehouse
业务类型profit_center
工作生活
60中等
互联网大厂研发岗通常节奏较快，虽未明确提及加班，但高强度交付压力客观存在。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
75中等
支撑快手 AI 业务发展，通过提升数据治理效率间接赋能内容生态，具有一定的社会价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
快手 的其他在招职位
相似职位推荐
高级技术支持工程师（大数据应用）
中国铝业集团有限公司 · 成都市
AI 估算 · 2.5–4.0万1 小时前发布
大数据架构师.
任仕达 · 上海市
AI 估算 · 3.3–5.8万6 天前发布
微信基础-大数据工程师-AI方向
腾讯 · 广州市
AI 估算 · 3.0–5.0万6 天前发布
大数据算法开发岗
蜂巢能源 · 保定市
AI 估算 · 1.5–2.5万6 天前发布
微信基础-大数据工程师-AI方向
微信 · 广州市
AI 估算 · 2.5–4.5万6 天前发布
车联网大数据开发
毕马威 · 合肥市
AI 估算 · 3.0–5.0万6 天前发布
Data platform Developer (Big Data & Java Backend)
星展银行 · 广州市
AI 估算 · 2.0–3.5万7 天前发布
大数据计算平台 资深工程师（计算中间件）
地平线 · 南京市
AI 估算 · 3.5–6.0万8 天前发布
Watch Jobs