多模态理解算法工程师【2027届】

优缺点分析

角色解读

• 技术纵深发展：从单一理解能力到多模态统一模型，成为领域专家
• 横向拓展：可转向生成模型、Agent、推荐系统等关联方向，打通业务链路
• 管理路线：积累项目经验后，可带领小团队负责核心算法方向
• 负责建设B站视频/音频理解能力，包括video caption、tagging、PE模型的训练与推理优化，支撑内容理解核心链路
• 参与基础模型与框架的搭建，根据不同模型研发周期持续调优精度和效率，推动模型在业务中落地
• 与数据、评测、Agent等团队协作，将理解能力应用于大规模数据筛选、自动标注和内容分发
• 扎实的深度学习基础，熟悉Omni、VLM等大模型的预训练、后训练和推理优化
• 能处理大规模视频/音频数据，掌握相关数据处理工具和流程
• 理解高质量caption、tag对生成模型的重要性，具备独立负责一个理解能力模块的能力
• 加分项：大规模caption pipeline、active learning、多模型ensemble、视频检索、推荐系统等经验

申请策略

• 关注B站AI团队的技术博客或开源项目，面试时体现了解
• 准备一个完整的项目故事，从问题定义到模型效果，展示逻辑和工程能力
• 突出自己在VLM、Omni等模型上的预训练/后训练项目经验，哪怕只是课程设计或比赛
• 强调处理大规模视频/音频数据的经历，包括数据清洗、pipeline搭建等
• 展示对caption、tag与生成模型关系的理解，如相关论文阅读笔记或小实验
• 如有推荐系统、检索等经验，单独列出作为加分项
• 快速熟悉B站业务，了解视频理解在内容分发中的具体作用
• 动手复现一个VLM或多模态模型，熟悉训练和推理优化技巧

面试指南

• 用STAR法则组织项目经历，强调你的贡献和量化结果
• 先讲清问题背景和业务目标，再拆解技术方案，最后对比不同方案的优劣
• 遇到开放问题，可先给出通用思路，再结合具体场景细化，展示逻辑性
• 请介绍一个你参与过的多模态模型项目，你具体负责什么？
• 如何设计一个高质量的视频caption pipeline？
• VLM模型在推理时如何优化延迟和精度？
• 你如何理解caption质量对生成模型的影响？
• 大规模视频数据如何处理和筛选？