【REDstar】多模态基础模型算法工程师

优缺点分析

角色解读

• 从算法研究员成长为多模态领域的专家，主导下一代视觉-语言模型架构创新
• 向技术Leader方向发展，带领团队攻克多模态推理、Agent等前沿课题
• 横向拓展至AI产品化或业务方向，成为连接技术与业务的核心人才
• 负责多模态大模型（VLM）的后训练优化，包括SFT（监督微调）和强化学习（RL），提升模型的指令遵循与推理能力
• 研发长视频理解与多模态Agent技术，使模型能处理复杂视频序列并驱动工具链调用
• 与搜索、广告、推荐等业务团队协作，将多模态模型落地到实际场景，赋能内容理解和智能创作
• 扎实的机器学习与深度学习基础，熟悉Transformer、Attention等模型架构
• 精通PyTorch，熟练掌握Megatron-LM、DeepSpeed等分布式训练框架，具备大规模模型训练经验
• 对多模态数据（图像、视频、文本）的处理与增强有深入理解，能构建高质量数据集
• 熟悉多模态评测体系，能针对业务设计Benchmark并分析模型表现

申请策略

• 面试前深入了解小红书的业务场景（如笔记推荐、视频搜索、电商直播），思考多模态模型如何赋能
• 准备一个展示自己技术深度的项目案例，能清晰阐述问题、方案、实验细节和结果
• 突出多模态相关项目或研究经历，尤其是VLM训练、SFT/RL调优、长视频理解等方向
• 强调分布式训练经验，如使用DeepSpeed/Megatron-LM进行大规模模型预训练或微调
• 展示数据构建与评测能力，例如设计多模态Benchmark或提出Data Mixing策略
• 如有顶会论文或开源贡献，务必显著标注，这是重要加分项
• 补充强化学习（PPO、GRPO等）和RLHF的理论与实践，可复现一个简单的VLM RL训练流程
• 熟悉主流的开源多模态模型（如LLaVA、Qwen-VL、InternVL）的代码和训练策略

面试指南

• 对于技术问题，采用‘背景-方法-实验-结果’的STAR框架，先说明问题背景，然后提出你的方案，描述实验设计与结果
• 对于开放性问题（如业务理解），先总结业务痛点，再结合你的技术知识提出可行方案，体现技术对业务的价值
• 请详细说明你在多模态大模型训练中使用的SFT或RL方法，遇到了哪些挑战，如何解决？
• 如何设计一个针对短视频理解的多模态Benchmark？评价指标有哪些？
• 解释PPO算法在多模态RL训练中的原理，并说明在实际应用中应该如何调整？
• 如何解决多模态大模型中的幻觉问题？请给出具体的技术方案
• 你对小红书的业务场景有什么理解？多模态模型如何提升搜索或推荐效果？
• 复习多模态大模型的经典论文（如LLaVA、BLIP-2、Qwen-VL），理解其训练流程和核心创新点