Watch Jobs
浏览职位数据统计洞察报告探索企业定价
我的收藏免费试用登录注册

Watch Jobs

我们专注于实时追踪各企业最新职位动态,帮助您节省求职时间,快速找到理想工作机会。

探索

  • 浏览职位
  • 数据统计
  • 洞察报告
  • 数据方法论
  • 探索企业

订阅

  • 免费试用
  • 价格方案
  • 常见问题
  • 隐私政策

关注我们

微信公众号小红书淘宝店铺

© 2026 Watch Jobs. 保留所有权利

Created by jianglicat - 讲礼猫
Watch Jobs
浏览职位数据统计洞察报告探索企业定价
我的收藏免费试用登录注册

职位搜索/百度/数据pipeline开发工具研发实习生(J97899)
Baidu logo
B
百度 (Baidu)

职位信息

北京市 / 上海市
初级经验
实习生
仅现场办公
学历未注明
实习/见习

标签

大数据性能优化Spark SQLStructured StreamingDagDataframe
💡

核心评价

技术含金量高的大厂实习,技能成长空间大,薪资有竞争力,但需现场办公且WLB未知。

数据pipeline开发工具研发实习生(J97899)

🤖 AI 估测:¥8K-12K

发布时间:21 天前

立即应聘

ℹ️关于这个职位

这是一个面向实习生的数据Pipeline开发工具研发岗位
你将参与百度云数据处理Pipeline引擎的核心研发,涉及分布式DAG执行引擎、批流统一架构、数据加工算子框架等关键组件的设计与实现
工作聚焦于大规模数据处理系统的性能优化与稳定性保障,是深入大数据技术栈的绝佳机会

✓工作职责

参与百度云数据处理 Pipeline 引擎的核心研发工作
参与设计与实现分布式 DAG 执行引擎,包括任务调度、依赖管理与失败恢复机制
参与批处理与流处理统一架构(Batch & Streaming Unified)的设计与优化
参与数据加工算子框架的研发,包括 Filter / Join / Aggregate / Transform 等通用算子能力建设
参与任务执行过程中的状态管理、容错机制与资源调度优化
参与数据血缘追踪、Schema 演进与数据质量校验能力的设计与实现
参与企业级复杂场景下大规模 Pipeline 性能优化与稳定性保障工作

⭐最低要求

熟悉 Java / Scala 中至少一种语言,具备扎实的数据结构与算法基础
熟悉 Apache Spark 的基本使用与开发模式,能够独立编写 Spark SQL / DataFrame / Dataset 任务
理解 Spark 执行模型(Driver / Executor / Task / Stage)及 DAG 生成过程
熟悉 Spark Shuffle 机制
理解 Spark 内存管理模型(Execution Memory / Storage Memory)及常见 OOM 原因

👍优先资格

理解 Spark Catalyst Optimizer 与 Tungsten 执行引擎原理者优先,能够通过执行计划(Explain)分析任务瓶颈,包括数据倾斜处理(如 Salting / 预聚合 / Map 端 Join)、合理设置并行度(Partition 数优化)、合理使用 Broadcast Join等等
有 Structured Streaming 使用经验者优先,理解 Watermark、State Store 与 Exactly-once 语义
有在大规模数据(TB 级以上)场景下进行稳定性与性能优化经验者优先
Watch Jobs

我们专注于实时追踪各企业最新职位动态,帮助您节省求职时间,快速找到理想工作机会。

探索

  • 浏览职位
  • 数据统计
  • 洞察报告
  • 数据方法论
  • 探索企业

订阅

  • 免费试用
  • 价格方案
  • 常见问题
  • 隐私政策

关注我们

微信公众号小红书淘宝店铺

© 2026 Watch Jobs. 保留所有权利

Created by jianglicat - 讲礼猫

百度 的其他在招职位

  • Agent产品经理(J99599)

    百度

    北京市 · 仅现场办公

  • 开发测试工程师(实习生)(J99576)

    百度

    北京市 · 仅现场办公

  • Agent产品经理(J99563)

    百度

    北京市 · 仅现场办公

  • 平台产品经理(J99562)

    百度

    北京市 · 仅现场办公

  • Agent工程架构师(J99561)

    百度

    北京市 · 仅现场办公

相似职位推荐

  • 模型算法工程师

    中国平安

    深圳市 · 仅现场办公

  • 算法工程师

    中国平安

    深圳市 · 仅现场办公

  • 算法资深工程师(AI安全算法)

    中国平安

    深圳市 · 仅现场办公

  • CA-高级Java开发工程师

    中国平安

    深圳市 · 仅现场办公

  • 测试开发

    叠纸游戏

    上海市 · 仅现场办公