昆仑万维
视频数据工程师
视频数据工程师
发布于 2 小时前普通员工/个人贡献者
全职员工仅现场办公数据工程
数据工程
Data-Juicer
Ffmpeg
Pb级存储
分布式计算
数据可视化
数据治理
数据管道
视频数据处理
值不值得投
76综合评分
综合评分 76
聚焦AI数据基建的核心技术岗，技术栈前沿、发展空间大，但需做好应对高强度工程挑战的准备。
从薪资福利、成长发展、工作生活和使命价值四个维度综合评估，方便横向比较。
薪资怎么样
4.5万
比数据工程中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
19 个在招
市场机会
选择面较广
北京 · 数据工程 · 约 160 个在招
职位详情
关于这个职位
负责训练数据的预处理与自动化数据处理框架搭建，优化框架性能并建立数据集版本化治理规范
同时设计自动化数据洞察流程与可视化看板，支撑多模态/视频数据的PB级处理与高效流转
最低要求
海内外名校全日制本科及以上学历,计算机、数学、电子信息等相关专业
Ray框架深度掌握:Ray Core运行机制,Ray Data streaming execution / operator fusion / backpressure;
data-juicer二次开发:算子抽象与Ray后端调度链路,有改过算子或框架的实际案例;
多模态/视频数据处理:ffmpeg/PyAV/decord/torchcodec,关键帧提取、镜头切分;
数据治理:PB级数据组织与治理,熟悉Lance/Parquet/WebDataset等格式,用过数据版本化工具
工作职责
训练数据预处理与自动化数据处理框架搭建;
框架性能优化;
数据集管理规范建立、版本化治理;
自动化数据洞察流程与可视化看板
优先资格
有PB级数据管线的生产运维经验;
有Ray或类似分布式框架的开源贡献;
搭过数据看板(Superset/Metabase/Grafana/自研);
做过Schema演进或数据血缘追踪
AI 洞察
优缺点分析
优点
- 聚焦AI大模型核心数据基建，技术栈前沿且稀缺
- 接触PB级真实生产数据，能积累高并发分布式系统实战经验
- 上市公司平台稳定，资源投入充足
- 对Ray底层机制与框架改造要求极高，学习曲线陡峭
- PB级数据治理与性能调优容错率低，需应对复杂线上故障
- 跨部门协同多，需平衡数据质量与交付效率
缺点 / 挑战
- 适合具备扎实分布式系统基础、对AI数据基建有浓厚兴趣、追求技术深度与规模化工程挑战的中高级开发者
角色解读
- 可向首席数据架构师或AI基础设施负责人发展
- 也可横向拓展至大模型数据平台研发或MLOps工程方向，成为复合型数据技术专家
- 搭建并维护大规模视频/多模态训练数据的自动化处理流水线
- 深度优化Ray等分布式计算框架的性能
- 制定并执行PB级数据集的版本管理与治理规范
- 开发数据监控看板以支持业务洞察
- 精通Ray分布式框架底层机制与二次开发
- 熟练掌握FFmpeg/PyAV等音视频处理工具链
- 具备PB级数据存储格式（Parquet/Lance等）与版本化管理经验
- 熟悉数据血缘追踪与可视化看板搭建
申请策略
- 提前了解昆仑万维在AIGC领域的业务布局
- 准备1-2个解决分布式计算瓶颈或数据质量问题的STAR案例
- 关注候选人是否具备开源社区活跃度
- 突出Ray/Data-Juicer二次开发的具体案例与性能提升指标
- 量化PB级数据管线处理规模与稳定性
- 展示音视频处理与数据治理的完整闭环经验
- 深入研读Ray官方源码与论文，掌握流式执行与背压机制
- 补充数据湖仓一体架构知识
面试指南
- 采用“背景-行动-结果”结构，重点突出量化指标（如吞吐量提升X%、延迟降低Y%）
- 结合分布式系统原理（如背压、算子融合）解释技术选型依据
- 展现从数据采集、清洗、治理到监控的全链路思维
- 请详细描述你优化Ray框架性能的具体思路与踩坑经验
- 面对PB级视频数据，如何设计高效的存储格式与版本管理方案？
- 如果数据流水线出现严重延迟或数据倾斜，你的排查路径是什么？
- 如何评估和保障多模态训练数据的质量与一致性？
- 复习Ray核心组件与调度机制，梳理个人参与过的框架改造或性能调优项目
职位点评
薪资福利80
成长发展85
工作生活60
使命价值75
薪资福利
80较高
薪资对标北京一线大厂同类岗位，结合上市公司背景与稀缺技能要求，薪酬竞争力较强。
薪资信号偏高 (3.0千–6.0万/月)
成长发展
85较高
岗位直接对接AI大模型数据基建核心环节，技术栈前沿且强调框架二次开发与开源贡献，成长空间广阔。
技术前沿前沿/新兴技术
技术栈Ray、Data-Juicer、FFmpeg、PyAV、Lance、Parquet
业务类型profit_center
工作生活
60中等
JD未明确提及弹性工时或远程政策，通常此类高强度数据基建岗位需保证在线响应，WLB取决于团队文化。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
致力于构建高质量AI训练数据底座，推动大模型技术发展，具有明确的行业价值与技术使命感。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs