推进下一代大数据资源调度架构升级,基于Yarn/Ray等构建二层调度,支撑大数据离线、实时、近线资源弹性伸缩的动态调度能力,提升混部集群的整体资源利用率,解决租户之间资源协调,分时复用,竞争隔离等问题,协同K8S基座完成统一资源调度建设
推进大数据平台智能化开发和运维方向的建设,包括智能化数据开发:基于大模型、NL2SQL等技术,提升数据探查、数据开发、数据分析和数据治理效率
增强型数据管治,以及智能诊断自愈:构建智能诊断和自适应能力,提升超大规模集群运维效率,实现分钟级自愈,提升大数据平台运行效率
推进京东大数据平台计算平台的建设,不断提升数万台规模大数据集群计算系统的效率和稳定性,推进大数据分布式引擎的能力升级,实现数据大规模离线、实时、近线生态的融合,承载离线/实时计算、OLAP、图数据库及隐私计算等多种计算场景
推进京东大数据平台的底层框架的架构设计和优化,不断提升数万台规模大数据集群的稳定性和存算效率,包括但不限于HDFS、Hive&Spark、CK&Doris及自研存算引擎,负责大数据计算引擎核心功能架构以及代码模版编写、技术难点的公关等,如Data Fabric、数据湖、安全计算等
负责建设和完善大数据平台工程体系框架,推动流程机制的完善,提升团队工程能力和研发效能