Horizon Robotics logo
地平线
大数据计算平台 资深工程师(计算中间件)

大数据计算平台 资深工程师(计算中间件)

发布于 大约 14 小时前

普通员工/个人贡献者

北京市 / 南京市
高级经验
全职员工
仅现场办公
学历未注明
平台工程
Kyuubi
可观测性
高可用
Linkis
多云多集群

AI 估算 · 30k–50k

资深大数据工程岗位技术门槛高,一线城市AI公司薪资竞争力强,综合市场水平估算。

职位详情

关于这个职位

该职位负责大数据计算平台的核心中间件建设,包括引入和改造 Linkis、Kyuubi 等组件,构建统一计算入口和智能路由,提升查询性能与资源利用率

你将参与高可用、容灾与多云多集群架构设计,并建设全链路可观测与成本归因体系
适合有丰富大数据平台经验的资深工程师,能够深入引擎内核并推动平台演进

最低要求

Linkis / Kyuubi 生产落地或二次开发经验

深入理解 Spark / Flink / Trino 至少一种引擎的内核与作业提交机制,有源码级排查经验
有多云或跨机房平台建设经历
具备高可用、容灾、灰度发布的体系化设计与落地经验

工作职责

推进 Linkis、Kyuubi 等基础组件的引入与改造,构建统一计算入口,实现上层业务与底层计算引擎、集群资源、任务执行链路的解耦,支撑新引擎插件化接入

建设作业到引擎的智能路由能力,沉淀 SQL 指纹、执行画像与调优参数,实现用户提交时无需指定引擎
完成核心服务高可用改造,落地多云多集群接入、多种粒度的灰度能力与容灾方案
建设全链路可观测与成本归因体系,持续优化引擎复用率与查询性能

AI 洞察

优缺点分析

优点

  • 大数据平台是核心技术基础设施,业务影响力和技术深度兼备
  • 公司已上市,平台稳定,资源投入有保障
  • 接触多云、高可用、可观测等前沿技术,职业发展空间大
  • 薪资水平在行业内具有竞争力,整体回报可观
  • 平台建设复杂度高,需具备扎实的分布式系统和引擎内核知识
  • 基础设施岗位可能涉及线上稳定性和应急响应,偶尔需处理突发的集群问题
  • 技术迭代快,需要持续学习新引擎和新架构模式

缺点 / 挑战

  • 适合对大数据底层技术有深厚兴趣、追求技术深度和长期发展的资深工程师,能承受一定的平台运维压力

角色解读

  • 从资深工程师向技术专家或架构师发展,主导大数据平台整体架构演进
  • 横向扩展至更多引擎和异构计算领域,成为计算中间件方向的核心技术带头人
  • 未来可转向技术管理岗位,带领团队负责基础设施平台建设
  • 负责大数据计算平台中间件建设,引入并改造 Linkis、Kyuubi 等组件,构建统一计算入口,解耦上层业务与底层引擎
  • 建设智能路由能力,通过 SQL 指纹和执行画像优化引擎选择,实现用户透明访问
  • 推进高可用、容灾和灰度发布体系,支持多云多集群场景下的稳定运行
  • 构建全链路可观测性和成本归因体系,持续优化引擎复用率和查询性能
  • 熟悉 Linkis 或 Kyuubi 的生产落地与二次开发,了解其架构和扩展机制
  • 深入理解 Spark、Flink 或 Trino 至少一种引擎的内核与作业提交机制,具备源码级排查能力
  • 有多云或跨机房平台建设经验,熟悉高可用、容灾、灰度设计
  • 具备优秀的系统设计能力和 Linux/分布式系统基础

申请策略

  • 提前了解地平线在AI基础设施方面的布局,明确你的经验如何支撑其业务方向
  • 在简历中量化你带来的性能提升、稳定性改进或成本降低效果
  • 重点突出 Linkis 或 Kyuubi 的二次开发或生产落地项目,描述具体改造点和效果
  • 列出 Spark/Flink/Trino 的源码级排查案例,展现问题定位和优化能力
  • 强调多云/跨机房部署经验,以及高可用、容灾、灰度方案的设计与落地
  • 系统梳理 Spark/Flink 的作业提交和调度机制,理解其内核设计
  • 学习 Trino 的分布式查询引擎原理,分析其与 Spark、Flink 的差异
  • 了解云原生和容器化技术(如 Kubernetes)与大数据平台的结合

面试指南

  • 对于系统设计题,采用「需求分析-架构设计-核心机制-落地验证」的框架,先明确目标,再画出分层架构,最后说明关键细节
  • 对于技术深度题,从「问题现象-根因分析-解决方案-效果衡量」四步阐述,展示你对引擎内核的理解
  • 对于经验类问题,使用STAR法则(情境-任务-行动-结果)组织回答,突出你的个人贡献和量化成果
  • 请介绍你在 Linkis 或 Kyuubi 二次开发中的具体工作,遇到的最大挑战是什么?
  • 如何设计一个统一计算入口,实现用户无感知的引擎路由?
  • 在多云场景下,如何保障集群的高可用和容灾?
  • 如何排查一个 Spark 作业提交失败的问题?请描述你的思路
  • 如何建设全链路可观测体系?你如何设计指标和日志拉取?

职位点评

77
综合评分

上市AI公司核心平台组,大数据中间件方向,技术前沿,薪资优厚,WLB未明确。

从薪资福利、成长空间、工作节奏和岗位方向综合评估,方便横向比较。

更适合这类人
适合追求技术深度与成长空间的资深大数据工程师,对薪酬有较高期待,但对工作节奏有一定容忍度。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展85
工作生活60
使命价值80

薪资福利

80较高

该职位为上市大型企业资深岗位,虽然JD未明示薪资,但结合行业水平和公司规模,薪酬大概率具备较强竞争力,福利体系完善。

薪资信号未披露(AI估算:30K-50K/月)

成长发展

85较高

职位涉及计算中间件、多云、高可用等前沿技术,技术挑战大,个人成长空间显著。但JD未提及明确的晋升通道。

技术前沿主流现代技术
技术栈Linkis、Kyuubi、Spark、Flink、Trino、SQL、多云、容灾、可观测
业务类型cost_center

工作生活

60中等

JD未提及远程办公、弹性工时等WLB相关信息,办公地点为北京/南京,通勤便利程度未知,整体节奏待确认。

工作模式未明确
办公地点未明确
加班情况未提及(无法判断)

使命价值

80较高

公司处于AI高景气赛道,基础设施平台为公司核心提供支撑,社会价值和技术创新意义较强。

行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs