【B-UP】大模型算法工程师（视频理解）（校招）

优缺点分析

角色解读

• 从算法工程师逐步成长为技术专家，深耕多模态视频理解领域
• 可转向AI研究员方向，进行前沿技术创新与论文发表
• 表现优异者可晋升为团队技术负责人，带领项目攻关
• 探索和实现视频多模态大模型的前沿算法，包括数据构建、模型训练和评测
• 深度参与从预训练到强化学习的全流程训练，如pretraining、SFT、RL等
• 跟踪并复现主流开源视频多模态模型，进行论文复现与创新优化
• 优化视频内容理解、密集视频描述、视频生成等任务中的用户意图理解
• 扎实的多模态大模型知识，熟悉VLM、video VLM及长视频理解
• 掌握VLM训练流程（预训练、中训练、后训练），有数据处理和模型训练实践经验
• 熟练使用DeepSpeed、Megatron等大模型训练框架
• 较强的学习能力和自驱力，能快速跟进技术前沿

申请策略

• 提前了解B站视频内容生态，思考如何将多模态技术应用于弹幕理解、视频检索等场景
• 关注B站技术博客和开源项目，面试中展现对公司技术的理解
• 突出多模态或视频理解相关项目经验，如VLM、视频问答等
• 详述在模型训练框架（DeepSpeed等）上的使用经验及调优成果
• 如果有开源贡献或论文发表，务必重点展示
• 体现对前沿技术的关注，如列出阅读过的相关论文或复现工作
• 补强大模型训练框架的使用，如动手搭建一个简单的VLM训练流水线
• 熟悉主流的开源视频多模态模型（如Video-LLaVA、InternVideo等）的原理和代码

面试指南

• 回答时先阐述基本概念和流程，再结合自身经验举例，突出实践细节
• 对于开放性问题，建议从数据、模型、训练三个维度展开，展示系统性思考
• 针对改进类问题，可以引用前沿论文中的方法，并给出自己的见解
• 请简述VLM的预训练和微调流程，并说明数据如何处理
• 如何解决长视频理解中的时序建模问题？
• 你如何评价一个开源视频多模态模型的性能？有哪些改进思路？
• RL在VLM训练中起到什么作用？请举例说明
• 你过去有使用DeepSpeed或Megatron的经验吗？如何优化分布式训练效率？