Spark引擎研发工程师
🤖 AI 估测：¥25K-45K
发布时间：18 天前
ℹ️关于这个职位
这是一个专注于Spark计算引擎研发的工程师岗位
你将负责对Spark及其生态项目（如Kyuubi、Celeborn）进行源码级的二次开发，包括功能增强、性能优化和问题修复
同时，你将深度参与网易内部离线计算平台和商业化大数据产品NDH的研发，并有机会与开源社区协作，探索和落地大数据领域的前沿技术
✓工作职责
负责Spark计算引擎及生态项目（如Kyuubi、Celeborn）的源码二次开发，实现新增功能、性能优化和缺陷修复
深度参与网易集团内部离线计算平台与商业化大数据产品NDH的研发工作，保持离线计算引擎的核心竞争力
积极探索前沿技术，与开源社区紧密协作，落地和推广大数据领域最新技术
⭐最低要求
计算机相关专业，本科及以上学历，熟悉计算机组成原理、数据库原理、计算机网络
精通Java/Scala语言，具备良好的编码习惯和工程素养，理解系统架构设计
熟悉Debug、Profiling、Benchmark工具链，掌握性能分析和调优方法
熟悉Spark至少一项子模块，包括不限于Shuffle、调度、SQL优化器、Connect、DataSource、Native Engine，深入理解Spark内核
具备钻研精神和复杂问题解决能力，以及良好的表达沟通和团队协作能力
👍优先资格
对AI技术及AI商业应用领域发展趋势有持续关注和独立思考者优先，有AI工具实践经验者优先