哔哩哔哩
AI数据基建工程师
AI数据基建工程师
发布于 大约 20 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
本科
分布式计算
性能优化
数据湖
特征工程
多模态
向量检索
Lance
Daft
AI 估算 · 25k–45k
AI数据基建工程师，热门方向，技能要求高，市场竞争力强，上海互联网大厂薪资水平较高。
职位详情
关于这个职位
该职位负责构建B站下一代AI多模态数据湖，基于Lance和Ray等前沿技术栈，解决海量非结构化数据的存储、检索与处理瓶颈
工作涉及分布式系统、性能优化和与算法团队紧密协作，适合对AI基础设施有浓厚兴趣的工程师
最低要求
计算机科学、软件工程或相关专业本科及以上学历，3年以上大数据基础架构或AI系统工程开发经验
精通Python编程，具备优秀的代码工程能力
熟悉Linux开发环境及对象存储（如OSS、S3）的高性能对接
深入理解Ray分布式计算框架，熟悉Ray Core（Actor, Task, Object Store）及Ray Data的运行机制，有大规模集群下的任务调度与资源隔离优化经验
熟悉Lance / LanceDB数据格式及其底层原理（如Manifest元数据管理、零拷贝读取、向量检索），有基于Lance构建多模态数据湖或向量检索系统的实战经验
了解现代多模态数据处理引擎（如Daft、Spark等），对AI场景下的数据流水线（Data Pipeline）性能优化有深刻认知
工作职责
工作职责:
负责下一代AI多模态数据湖的架构设计与开发，基于Lance格式构建高性能、支持零拷贝与版本控制的统一存储底座，解决海量非结构化数据（图像、音视频、点云等）的存储与检索瓶颈
基于Ray分布式计算框架，设计并开发大规模数据预处理、ETL及特征工程流水线，实现CPU/GPU异构资源的高效调度与弹性伸缩，支撑PB级数据的并行处理
深度优化Lance数据集的读写性能与索引机制（如标量索引、向量索引IVF_PQ等），结合Ray实现分布式的数据维护任务（如小文件合并compact、索引重建reindex），显著降低训练与推理场景下的IO放大与延迟
推动Daft + Ray + Lance等现代数据技术栈的落地，打通从原始多模态数据采集、Embedding向量化、索引构建到Agent记忆湖（Memory Lake）的全链路
与算法及模型团队紧密配合，提供高效的数据版本回溯、Schema演进（Zero-Cost Data Evolution）及高性能随机访问能力，提升GPU集群在模型训练与微调时的利用率
AI 洞察
优缺点分析
优点
- 接触前沿AI基础设施技术栈（Lance、Ray等），技术积累价值高
- 与算法团队紧密协作，了解AI模型训练全链路，拓宽技术视野
- 上海互联网大厂，薪资福利有竞争力，职业发展空间大
- 需要同时掌握多项新技术（Lance、Ray、Daft等），学习曲线陡峭
- 海量数据性能优化难度大，需要深入底层原理和调试能力
- 跨团队沟通协调要求高，需平衡不同部门的需求与优先级
- 适合对AI底层基础设施充满热情、喜欢解决分布式系统难题、具备强学习能力和技术深度的工程师
缺点 / 挑战
- 哔哩哔哩平台数据规模大，挑战性高，能快速提升分布式系统能力
角色解读
- 成长为AI基础设施专家，负责更大规模的数据平台设计与优化
- 向技术负责人或架构师方向发展，主导AI数据基础设施的演进
- 可转向算法工程或数据科学团队，深入AI模型训练与推理的全流程
- 设计并开发基于Lance格式的AI多模态数据湖，解决海量非结构化数据的存储与检索问题
- 基于Ray分布式计算框架构建大规模数据预处理与特征工程流水线，实现CPU/GPU异构资源调度
- 优化数据集的读写性能与索引机制，负责分布式数据维护任务如小文件合并与索引重建
- 与算法团队紧密配合，提供高效的数据版本回溯与Schema演进能力，提升GPU集群利用率
- 精通Python编程，具备优秀的代码工程能力和Linux开发经验
- 深入理解Ray分布式计算框架，熟悉Ray Core和Ray Data的运行机制
- 熟悉Lance/LanceDB数据格式及其底层原理，有向量检索系统实战经验
- 了解多模态数据处理引擎（Daft、Spark等）和AI数据流水线性能优化
申请策略
- 关注B站AI技术博客或开源项目，了解其技术栈和业务方向
- 面试前准备1-2个系统设计题，如设计一个多模态数据湖或大规模ETL流水线
- 突出使用Ray、Spark等分布式计算框架的实战经验，尤其是任务调度与资源优化案例
- 展示数据湖或向量检索系统的项目经历，强调性能优化成果（如IO降低、吞吐提升）
- 强调Python工程能力，如大型项目中的代码规范、模块化设计或性能调优
- 快速学习Lance格式及其与Ray的集成，阅读官方文档或源码
- 深入了解Ray Core和Ray Data的调度机制，尝试在本地搭建简单流水线
- 熟悉多模态数据处理流程（如图像、音视频处理），了解Embedding生成方式
面试指南
- 对于技术原理问题，先阐述核心概念，再结合实际项目说明应用
- 对于设计问题，先明确需求约束，再分层模块化设计，最后讨论难点和优化点
- 对于性能优化问题，先定位瓶颈，再提出具体方案，并量化效果
- 请介绍一下Lance数据格式的优缺点及其在AI场景中的应用
- 如何在Ray中实现分布式任务调度？如果资源不足如何优化？
- 设计一个多模态数据湖的存储方案，考虑版本控制和随机访问
- 如何优化数据集的读写性能？请结合索引机制和分布式维护举例
- 描述一个你做过的大规模ETL或特征工程的分布式实现
匹配度报告
74
综合匹配度
技术前沿、挑战大、成长快，薪资有竞争力但WLB一般。
适合人群
适合追求技术深度和前沿领域，愿意接受挑战并投入学习，对工作生活平衡要求不高的求职者。
最强匹配
成长发展匹配
最弱匹配
工作生活匹配
薪资福利80
成长发展95
工作生活50
使命价值70
薪资福利匹配
80较高
薪资未在JD中明确，但B站作为上市大厂，薪资水平通常处于行业领先位置，且岗位技能要求高，预计有较强薪酬竞争力。
薪资信号未披露（AI估算：25K-45K/月）
成长发展匹配
95较高
岗位使用最前沿的AI数据技术（Lance、Ray、Daft），能深度参与系统架构设计，技术成长空间极大。
技术前沿前沿/新兴技术
技术栈Python、Ray、Lance、Daft、分布式计算、数据湖、多模态、向量检索
业务类型ambiguous
工作生活匹配
50较低
JD未提及远程或弹性工作，推测为现场办公，且互联网大厂可能存在一定加班压力，整体工作生活平衡一般。
工作模式仅现场办公
办公地点未明确
加班情况未提及（无法判断）
使命价值匹配
70中等
AI基础设施属于高速增长赛道，但岗位偏向技术实现，社会影响力一般，创新程度高。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs