【B-UP】大模型算法工程师（视频理解）（实习）

优缺点分析

角色解读

• 实习表现优秀可转正，成为B站正式算法工程师
• 在视频多模态前沿方向积累经验，未来可向高级算法工程师或研究员发展
• 可向技术专家或团队负责人方向成长，也可进入学术界继续深造
• 负责视频多模态大模型的数据建设、模型训练与评测框架搭建
• 深入实践VLM的完整训练流程，包括预训练、微调、强化学习等
• 跟踪并复现主流开源视频多模态模型，进行前沿论文调研与创新
• 协助优化视频理解、视频描述及生成中的用户意图理解等任务
• 扎实的多模态大模型知识，熟悉VLM、video VLM及主流开源模型
• 有VLM预训练、后训练等流程的实践经验，掌握数据处理与评测
• 熟悉DeepSpeed、Megatron等大模型训练框架
• 较强的学习能力和自驱力，能快速跟进技术前沿

申请策略

• 关注B站算法团队的公开技术分享，了解其研究方向
• 在简历中体现对B站视频业务的理解，如视频内容理解的应用场景
• 突出多模态相关项目或论文经历，特别是VLM、视频理解方向
• 展示使用DeepSpeed、Megatron等框架进行模型训练的具体案例
• 强调数据处理、评测框架搭建等动手能力
• 附上GitHub或技术博客链接，体现对技术前沿的关注
• 继续深入学习VLM训练流程，尤其是SFT和RL阶段
• 动手复现一个开源的video VLM模型，并尝试改进

面试指南

• 对项目类问题，采用STAR法则，重点突出你的贡献、技术难点和解决思路
• 对趋势类问题，先总结现状，再提出个人见解，最好引用具体论文或技术
• 对设计类问题，从数据、模型、评估三个角度系统阐述，体现全面性
• 请详细介绍你参与过的VLM或video VLM项目，包括数据构建、训练流程和最终效果
• 谈谈对视频多模态大模型未来发展趋势的看法，以及你关注的前沿论文
• 如何设计一个高效的数据处理 pipeline 来支持大规模视频训练？
• 你如何评价不同训练框架（如DeepSpeed vs Megatron）的优缺点？
• 如果让你优化一个视频 caption 模型，你会从哪些方面入手？