快手
大数据计算引擎研发工程师-【可灵AI】
大数据计算引擎研发工程师-【可灵AI】
发布于 28 分钟前普通员工/个人贡献者
全职员工仅现场办公大数据
大数据
Sql
云计算
分布式系统
性能优化
值不值得投
75综合评分
综合评分 75
大厂核心研发、技术栈前沿、发展性强、工作强度可能较高
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.0万
比大数据中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2850 个在招 · 其中大数据 5 个
市场机会
选择适中
北京 · 大数据 · 29 个在招
职位详情
关于这个职位
负责快手可灵AI公有云的大数据计算引擎（Spark/Flink/Trino）平台化建设，涵盖云上部署、多租户资源管理及作业全生命周期监控
重点解决离线与实时计算的稳定性、性能优化及故障恢复问题，构建高可用、低成本的数据计算基础设施
最低要求
熟练掌握 Java / Scala 中至少一种语言，具备扎实的 SQL、分布式系统及工程开发基础
深入掌握 Spark、Flink、Trino 中至少一种引擎的运行机制，具有生产环境的平台建设、性能优化或稳定性治理经验
熟悉 Linux、容器和 Kubernetes，具备公有云环境下计算服务部署或运行管理经验
能够独立完成方案设计、开发上线、运行维护和问题排查
工作职责
负责 Spark、Flink、Trino 计算引擎的平台化建设，包括云上部署、版本管理、配置管理、稳定性优化与故障恢复
建设统一作业和查询接入能力，支持 SQL、Jar、Python 等任务的全生命周期的监控与管理
建设多租户资源管理能力，包括队列、配额、优先级、并发控制、资源隔离与弹性伸缩，提升资源利用率
负责离线计算与交互式查询优化，解决慢查询、数据倾斜、Shuffle、内存和高并发问题，持续优化性能与云资源成本
负责实时计算稳定性建设，包括 Checkpoint、Savepoint、状态管理、作业升级与恢复，解决反压、状态膨胀和延迟问题
建设计算平台的监控、告警、容量评估和故障诊断体系，沉淀标准配置、作业模板及运维工具
AI 洞察
优缺点分析
优点
- 处于快手核心业务线（可灵AI），技术栈前沿（云原生+大数据），能接触海量数据处理场景，职业竞争力强
- 适合热衷于底层技术攻坚、具备扎实分布式系统理论基础和丰富实战经验的资深工程师
缺点 / 挑战
- 需处理复杂的分布式系统稳定性问题（如反压、状态膨胀），对底层原理要求极高，工作压力较大
角色解读
- 可向大数据架构师、技术专家方向发展，或转向更底层的数据库内核研发及云原生基础设施领域
- 负责构建和维护基于 Spark、Flink、Trino 的大数据计算云平台，确保其高可用性和高性能
- 精通 Java/Scala 编程，深入理解 Spark/Flink/Trino 内核原理，熟悉 Kubernetes 容器化部署及公有云架构
申请策略
- 准备详细的项目复盘，重点阐述如何平衡资源利用率与计算性能，以及故障排查的具体思路
- 突出在 Spark/Flink 等引擎的性能调优案例，展示解决数据倾斜、内存溢出等具体问题的经验
- 深化对 Kubernetes 调度原理及云原生存储网络的理解，补充 Trino 等交互式查询引擎的内核知识
面试指南
- 使用 STAR 法则（情境、任务、行动、结果）描述技术难题解决过程，强调量化指标（如性能提升百分比、故障率降低幅度）
- 请详细描述一次你解决 Spark/Flink 严重数据倾斜的经历
- 在 Kubernetes 环境下部署大数据组件，面临哪些挑战？如何解决资源隔离问题？
- Trino 与 Spark SQL 在架构设计上有何异同？适用场景分别是什么？
- 如何设计一个高可用的实时计算集群，保证 Checkpoint 的高效与一致性？
- 复习分布式一致性协议（如 Paxos/Raft）、JVM 调优技巧、Linux 内核参数调整及网络编程基础知识
职位点评
薪资福利85
成长发展90
工作生活40
使命价值70
薪资福利
85较高
作为已上市的互联网巨头，提供具有市场竞争力的薪酬福利，但高强度研发岗位通常伴随较高工作负荷。
薪资信号偏高 (3.0千–5.0万/月)
成长发展
90较高
涉及前沿的云原生大数据技术栈，技术深度大，成长空间广阔，是典型的利润中心核心研发岗。
技术前沿主流现代技术
技术栈Spark、Flink、Trino、Kubernetes、Java、Scala
业务类型profit_center
工作生活
40较低
互联网大厂核心研发岗，通常工作强度较大，JD未提及弹性工作制或WLB保障，推测以现场办公为主。
工作模式未明确
办公地点市区核心地段
加班情况未提及（无法判断）
使命价值
70中等
服务于快手核心AI业务，推动数据基础设施建设，具有一定的行业影响力和社会价值。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
快手 的其他在招职位
相似职位推荐
高级技术支持工程师（大数据应用）
中国铝业集团有限公司 · 成都市
AI 估算 · 2.5–4.0万1 小时前发布
大数据架构师.
任仕达 · 上海市
AI 估算 · 3.3–5.8万6 天前发布
微信基础-大数据工程师-AI方向
腾讯 · 广州市
AI 估算 · 3.0–5.0万6 天前发布
大数据算法开发岗
蜂巢能源 · 保定市
AI 估算 · 1.5–2.5万6 天前发布
微信基础-大数据工程师-AI方向
微信 · 广州市
AI 估算 · 2.5–4.5万6 天前发布
车联网大数据开发
毕马威 · 合肥市
AI 估算 · 3.0–5.0万6 天前发布
Data platform Developer (Big Data & Java Backend)
星展银行 · 广州市
AI 估算 · 2.0–3.5万7 天前发布
大数据计算平台 资深工程师（计算中间件）
地平线 · 南京市
AI 估算 · 3.5–6.0万8 天前发布
Watch Jobs