快手
大数据任务调度研发工程师-【可灵AI】
大数据任务调度研发工程师-【可灵AI】
发布于 28 分钟前普通员工/个人贡献者
全职员工仅现场办公大数据
大数据
分布式系统
后端开发
数据工程
值不值得投
75综合评分
综合评分 75
高薪大厂核心数据基建岗，技术前沿挑战大，工作强度较高
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.0万
比大数据中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
约 2850 个在招 · 其中大数据 5 个
市场机会
选择适中
北京 · 大数据 · 29 个在招
职位详情
关于这个职位
负责快手公有云统一任务调度与工作流平台的研发，基于Airflow打通Spark/Flink等执行链路
主要工作包括调度服务高可用建设、DAG解析优化、引擎插件开发及依赖管理能力构建，保障数据生产稳定性与可追溯性
最低要求
熟练掌握 Python，具备后端服务、API 设计能力，有任务平台、工作流系统或执行插件研发经验
熟悉 Airflow 等调度框架的调度机制，具有生产环境部署、扩展或优化经验，能够定位 DAG 解析、调度积压和执行效率问题
理解任务依赖、业务日期、补数据、重试及幂等机制，熟悉 Spark、Flink 或 Trino 的任务生命周期，能够完成引擎接入与异常恢复
熟悉 Linux、容器、Kubernetes 及监控日志体系，具备生产故障排查能力，能够独立推动开发上线，并协同解决跨系统问题
工作职责
负责调度服务的云上部署、配置管理、版本升级和高可用建设，持续优化 DAG 解析、任务调度及执行效率
建设统一任务与工作流模型，打通平台任务、DAG 和底层引擎实例的映射，支持工作流版本管理、发布、回滚及开发生产环境隔离
对接计算引擎及云服务，开发和扩展执行插件，统一任务提交、取消、状态查询及日志访问，适配批处理、查询和流作业的执行流程
建设调度与依赖管理能力，支持定时和事件触发、业务日期、参数传递，以及跨周期、跨工作流和外部任务依赖，满足不同数据生产场景的编排需求
完善失败重试、批量补数据、断点续跑及异常恢复能力，建设幂等提交、状态核对、并发和优先级控制机制，协调日常生产与补数据任务的执行
建设统一运行监控、告警与操作审计，关联工作流、任务及引擎实例的日志和状态，对接数据质量检查与血缘运行事件，沉淀任务模板和运维工具
AI 洞察
优缺点分析
优点
- 接触快手核心数据基础设施，技术栈前沿（Airflow/K8s/Spark），能显著提升分布式系统设计与调优能力
- 适合热衷于大数据底层技术、具备扎实后端功底且追求技术深度的工程师
缺点 / 挑战
- 需处理高并发、高可用的复杂调度场景，对故障排查能力和系统稳定性要求极高，工作压力较大
角色解读
- 可向大数据架构师、数据平台技术专家方向发展，或转向更广泛的云原生基础设施领域
- 负责设计和开发公有云上的统一任务调度平台，确保大规模数据任务的高效稳定运行
- 精通Python后端开发，深入理解Airflow调度原理，熟悉Spark/Flink等计算引擎的生命周期与管理
申请策略
- 准备关于DAG解析优化、任务调度积压处理的实际案例，展示解决复杂问题的能力
- 突出Airflow二次开发、Spark/Flink集成经验，强调在高可用、性能优化方面的具体成果
- 深入学习Kubernetes在数据任务中的应用，掌握Prometheus/Grafana等监控体系搭建
面试指南
- 使用STAR法则（情境、任务、行动、结果）阐述技术难题的解决过程，重点突出量化指标（如效率提升百分比、故障率降低等）
- 请描述你优化Airflow调度性能的具体案例和手段
- 如何处理Spark/Flink任务在K8s环境下的资源竞争与异常恢复？
- 在设计任务依赖管理时，如何保证幂等性和数据一致性？
- 面对大规模任务积压，你的排查思路和解决方案是什么？
- 复习Airflow源码中Scheduler和Executor的核心逻辑，梳理Spark/Flink在YARN/K8s上的运行机制，准备1-2个深度技术项目案例
职位点评
薪资福利85
成长发展90
工作生活40
使命价值70
薪资福利
85较高
作为已上市的互联网巨头，快手提供的薪酬福利通常高于市场平均水平，且具有较好的稳定性。
薪资信号偏高 (3.0千–5.0万/月)
成长发展
90较高
岗位涉及前沿的大数据调度技术与云原生架构，技术挑战大，成长空间广阔。
技术前沿前沿/新兴技术
技术栈Airflow、Spark、Flink、Kubernetes、Python、DAG
业务类型cost_center
工作生活
40较低
互联网大厂核心研发岗位通常工作强度较大，JD未提及弹性工作或WLB相关福利，推测为常规高强度工作模式。
工作模式未明确
办公地点市区核心地段
加班情况JD含高强度暗示词
使命价值
70中等
通过保障数据生产稳定性，间接支持快手AI及各项业务的高效运转，具有一定的行业价值。
行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
快手 的其他在招职位
相似职位推荐
高级技术支持工程师（大数据应用）
中国铝业集团有限公司 · 成都市
AI 估算 · 2.5–4.0万1 小时前发布
大数据架构师.
任仕达 · 上海市
AI 估算 · 3.3–5.8万6 天前发布
微信基础-大数据工程师-AI方向
腾讯 · 广州市
AI 估算 · 3.0–5.0万6 天前发布
大数据算法开发岗
蜂巢能源 · 保定市
AI 估算 · 1.5–2.5万6 天前发布
微信基础-大数据工程师-AI方向
微信 · 广州市
AI 估算 · 2.5–4.5万6 天前发布
车联网大数据开发
毕马威 · 合肥市
AI 估算 · 3.0–5.0万6 天前发布
Data platform Developer (Big Data & Java Backend)
星展银行 · 广州市
AI 估算 · 2.0–3.5万7 天前发布
大数据计算平台 资深工程师（计算中间件）
地平线 · 南京市
AI 估算 · 3.5–6.0万8 天前发布
Watch Jobs