Hypergryph logo
鹰角网络
大数据引擎研发工程师(湖仓方向)

大数据引擎研发工程师(湖仓方向)

发布于 2 小时前

普通员工/个人贡献者

AI 估算 · 2.5–4.0万 · AI 参考估算
中级经验
本科
全职员工仅现场办公大数据
大数据
Starrocks
分布式系统
湖仓一体

值不值得投

72综合评分

综合评分 72

技术深度高、成长空间大的大数据底层研发岗,适合热爱钻研技术的工程师

从薪资福利、成长发展、工作生活和使命价值四个维度综合评估,方便横向比较。

薪资怎么样

3.3万

比大数据中位数低

发布情况

新岗位 · 今天发布

公司情况

这家公司招聘很活跃

约 310 个在招

市场机会

选择适中

上海 · 大数据 · 14 个在招

职位详情

关于这个职位

负责鹰角网络云原生数据湖与湖仓架构的设计、建设与演进,深入参与Trino、StarRocks等查询存储引擎的源码级开发与性能优化

同时承担大数据平台的稳定性建设、故障排查及K8s环境下的自动化运维工作,推动开源技术落地

最低要求

本科及以上学历,具备3年及以上大数据计算引擎、数据库内核或分布式系统研发经验

具备扎实的数据结构、算法、操作系统和计算机网络基础,熟练掌握Java、Scala、C++中至少一种编程语言,具备良好的代码质量意识
熟悉Apache Iceberg、Apache Hudi、Apache Paimon中至少一种数据湖技术,理解其数据组织、元数据管理、事务一致性及读写机制
熟悉Trino、StarRocks等系统中至少一种的核心原理,具备查询优化、执行引擎或存储引擎相关研发经验
具备分布式系统故障排查与性能优化能力,能够结合日志、监控指标及性能分析工具定位并解决问题
了解容器化和Kubernetes基本原理,能够与SRE团队协作完成服务部署、故障排查与稳定性优化
具备良好的沟通协作能力、责任心和问题闭环能力

工作职责

参与云原生数据湖与湖仓架构的设计、建设和持续演进,完善数据组织、元数据管理及读写链路,提升系统性能、可靠性与可扩展性

围绕Trino、StarRocks等查询与存储引擎开展源码级开发、功能扩展和性能优化,推动相关功能在生产环境落地
参与大数据平台的稳定性建设,开展故障定位、容量评估与性能调优,完善监控告警和自动化运维能力
与SRE团队协作,完善大数据组件在Kubernetes环境中的部署、升级、回滚及CI/CD流程,提升平台可观测性与交付效率
跟踪相关开源社区的技术演进,结合业务需求参与问题反馈、缺陷修复和功能贡献

优先资格

具备数据湖或湖仓平台的规模化生产落地经验

具备相关开源项目的代码贡献或社区协作经验
具备Kubernetes环境下大数据组件部署、运维或自动化交付经验

AI 洞察

优缺点分析

优点

  • 接触前沿的大数据底层核心技术(如查询引擎内核),技术壁垒高,个人成长空间大
  • 在游戏行业头部企业,业务场景丰富且数据规模大
  • 热衷于钻研底层技术、喜欢解决复杂工程难题、追求技术深度的后端研发工程师

缺点 / 挑战

  • 需要处理复杂的分布式系统故障和性能瓶颈,对底层原理掌握要求极高,工作压力较大

角色解读

  • 可向大数据架构师、数据平台负责人或资深数据库内核专家方向发展,成为领域技术专家
  • 负责构建和维护公司级的云原生数据湖与湖仓平台,确保海量游戏数据的稳定流转与分析
  • 精通Java/C++等语言,深入理解Trino/StarRocks等查询引擎内核及Iceberg/Hudi等数据湖标准

申请策略

  • 准备关于数据湖选型对比、查询优化器工作原理等深度技术问题的回答,展示开源社区参与度更佳
  • 突出在大数据计算引擎、数据库内核或分布式系统方面的具体项目经验,量化性能优化成果
  • 深入学习Trino或StarRocks的源码实现,掌握Kubernetes在大数据场景下的最佳实践

面试指南

  • 采用STAR法则(情境、任务、行动、结果)描述项目经历
  • 针对技术问题,从原理层面出发,结合具体场景给出解决方案
  • 请介绍你熟悉的某个查询引擎(如Trino/StarRocks)的核心架构与执行流程
  • 如何优化一个慢SQL查询?请举例说明你的排查思路
  • 在Kubernetes环境下部署大数据组件会遇到哪些挑战?如何解决?
  • Iceberg和Hudi在事务一致性方面有什么区别?
  • 复习分布式系统理论基础,梳理自己参与过的性能优化案例,了解当前大数据领域的最新技术趋势

职位点评

薪资福利75
成长发展90
工作生活50
使命价值60

薪资福利

75中等

作为中型互联网企业的核心研发岗,薪资竞争力较强,但福利细节未明确披露,整体薪酬回报符合市场预期。

薪资信号未披露(AI估算:2.5千–4.0万/月)

成长发展

90较高

岗位聚焦于大数据底层引擎研发,技术栈前沿且深入,对个人技术能力的提升和职业护城河的建立极有帮助。

技术前沿前沿/新兴技术
技术栈Trino、StarRocks、Iceberg、Hudi、Paimon、Kubernetes
业务类型cost_center

工作生活

50较低

JD未提及弹性工作制或加班政策,作为核心研发岗且涉及稳定性建设,可能面临一定的线上压力和工作强度。

工作模式未明确
办公地点市区核心地段
加班情况未提及(无法判断)

使命价值

60中等

通过构建高效的数据基础设施支持游戏业务发展,具有一定的社会价值,但主要服务于商业目的,使命感信号不明显。

行业发展稳定成熟行业
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs