多模态基础模型实习生

优缺点分析

角色解读

• 实习期间可积累前沿的大模型训练和部署经验，有机会发表学术论文
• 可向多模态研究员或算法工程师方向发展，未来成为大模型领域专家
• 表现优秀者可转正为正式员工，加入小红书AI团队，参与核心产品落地
• 参与大规模视觉语言模型（VLM）的预训练、微调（SFT）和强化学习（RL），优化模型在多模态理解与推理任务上的表现
• 构建高质量多模态数据的自动化清洗、标注与构造方案，提升模型训练数据质量
• 探索Scaling Law、长视频理解、多模态Agent等前沿技术，保持团队技术领先性
• 将VLM基础能力应用于小红书社区场景，如图文理解、视频理解等，解决实际业务问题
• 扎实的编程基础，精通Python和PyTorch框架，熟悉分布式训练（DeepSpeed/Megatron-LM）
• 深入理解主流VLM架构（如LLaVA、Qwen-VL、InternVL）及Transformer机制
• 具备多模态或NLP/CV领域的研究经验，了解强化学习（RLHF等）
• 有数据处理经验，能够设计和优化大规模数据清洗流程

申请策略

• 关注小红书技术博客或开源项目，了解团队研究方向，在面试中展示匹配度
• 提前准备好一个关于多模态模型的研究或项目案例，能清晰阐述创新点和贡献
• 突出大规模模型训练或分布式训练经验，如使用DeepSpeed/Megatron-LM
• 列举参与过的多模态或NLP/CV项目，尤其是VLM相关（如LLaVA、BLIP）
• 如有顶会论文（CVPR、NeurIPS等）或开源贡献，需重点标注
• 强调数据处理能力，如数据清洗、构造等经验
• 深入理解VLM主流架构和训练范式，可阅读LLaVA、Qwen-VL等论文并复现代码
• 掌握分布式训练工具DeepSpeed和Megatron-LM的基本使用

面试指南

• 对于项目介绍，采用STAR法则：情景（Situation）、任务（Task）、行动（Action）、结果（Result）
• 对于技术原理问题，先简述核心概念，然后结合具体模型或公式说明，最后提一下优缺点和最新进展
• 对于开放性问题（如数据清洗），先给出目标，再分步骤提出方案，并提及评估标准
• 请介绍一下你参与过的多模态或NLP项目，你在其中承担了什么角色？
• 解释一下VLM中的视觉编码器和语言模型是如何交互的？
• 你在分布式训练中遇到过哪些问题？如何解决通信瓶颈或显存不足？
• 如何设计一个数据清洗流程来提升多模态模型性能？
• 你对RLHF的理解是什么？在多模态场景下如何应用？