【B-UP】音视频理解工程师（实习）

优缺点分析

角色解读

• 深入掌握视频大模型技术后，可向算法研究员或资深算法工程师发展，主导更复杂的模型设计与优化
• 积累项目经验后，可参与或负责完整的视频AI产品功能开发，连接技术与业务场景
• 未来有机会转向技术管理，带领团队进行技术规划和攻坚
• 研究并实践视频多模态大模型的全套训练流程，从数据处理到模型微调、优化
• 跟踪、复现前沿开源模型，并对论文进行调研与创新尝试
• 通过模型训练与优化，提升视频理解、描述生成等具体任务的性能与效率
• 掌握多模态大模型（特别是视频VLM）的核心概念与主流架构
• 具备模型训练全流程经验，包括数据准备、预训练、微调(SFT)及强化学习(RL)
• 熟悉DeepSpeed、Megatron等主流大模型训练框架的使用
• 具备快速学习、追踪前沿技术的能力，并能进行论文复现

申请策略

• 在投递前，深入了解哔哩哔哩在视频AI领域的技术博客、开源项目或近期发表的论文，以便在面试中展示你的了解和思考
• 准备好一个能体现你“自我驱动力”和“学习能力”的具体案例，例如如何独立解决一个技术难题或学习一个新框架
• 重点突出与多模态、视频理解相关的项目或研究经历，包括模型训练、数据处理的实践细节
• 列出熟悉的大模型训练框架（如DeepSpeed、Megatron）及在项目中使用的具体经验
• 展示对相关领域（如VLM、视频生成）的论文阅读和理解能力，如有复现代码可作为加分项
• 强调学习能力和自驱力，例如通过自学掌握新技术并应用于项目的例子
• 系统复习并实践多模态大模型的核心算法（如CLIP、BLIP-2等）和训练范式
• 动手使用DeepSpeed、Megatron等框架，尝试在开源数据集上进行小规模的模型训练实验

面试指南

• 使用STAR原则（情境-任务-行动-结果）结构化地回答项目经历问题，突出你的技术深度和解决问题的能力
• 结合JD中的工作职责来阐述你对训练流程的理解，并展示你阅读过的相关论文或实践经历
• 对于框架类问题，从解决的实际问题、核心特性和你的使用体验三个层面回答
• 对于开放性问题，可以结合你阅读的论文和实践思考，提出有依据的见解，而不是泛泛而谈
• 请介绍一个你参与过的最复杂的多模态或视频理解项目，你具体负责了哪个环节？遇到了什么挑战，如何解决的？
• 你如何理解视频多模态大模型的训练流程（如pretraining, SFT, RL）？它们各自的作用是什么？
• 请描述一下你使用过的某个大模型训练框架（如DeepSpeed），它在你的项目中解决了什么问题？
• 针对视频理解任务，你认为当前模型面临的主要技术瓶颈是什么？