多模态基础模型算法工程师/研究员

优缺点分析

角色解读

• 技术方向：深耕多模态基础模型，成为VLM领域的顶级专家，主导下一代模型架构设计
• 业务方向：深入电商、搜索、广告等核心业务，转型为技术+业务复合型人才，影响产品方向
• 管理方向：带领团队负责多模态模型的全链路研发，晋升为技术总监或首席科学家
• 负责多模态大模型（VLM）的后训练与对齐，包括SFT和强化学习，提升模型推理与指令遵循能力
• 研发长视频理解与多模态Agent技术，探索模型在搜索、广告、电商等业务场景的落地
• 优化分布式训练框架，处理百亿/千亿参数模型的高效训练
• 构建垂直领域评测基准，通过数据混合与算法迭代驱动模型性能提升
• 精通主流VLM架构（如LLaVA、Qwen-VL、InternVL），具备底层理解
• 熟练使用PyTorch及分布式训练框架（Megatron-LM、DeepSpeed），能处理大规模模型训练
• 擅长多模态数据构建、清洗与自动混合策略
• 具备较强的问题分析与诊断能力，能够从评测结果反向优化算法

申请策略

• 在简历中体现对小红书业务的理解，展示技术如何与具体场景结合
• 提前了解小红书的技术文化，可在面试中探讨多模态模型的落地难点与创新方向
• 突出参与过的主流VLM项目或论文，尤其是SFT/RL、视频理解、多模态对齐相关经历
• 展示大规模模型训练经验，如使用Megatron-LM或DeepSpeed训练百亿级模型的成果
• 强调数据构建与评测方面的贡献，如自建数据集、设计Benchmark等
• 附上开源项目贡献链接或GitHub主页，体现工程与协作能力
• 短期可强化RL在VLM中的应用（如GRPO、DPO），并熟悉最新推理范式（如Long-thought）
• 补充视频理解与时空注意力机制的相关知识，可阅读InternVideo等开源工作

面试指南

• STAR法则：描述项目背景、任务目标、具体行动与成果，突出技术难点与个人贡献
• 问题拆解法：对开放性问题先分解为多个子问题，逐一分析并提出方案，同时考虑权衡
• 对比分析法：在回答技术选择时，比较不同方案的优劣，并给出选择理由
• 请详细介绍一下你参与过的VLM项目，包括模型架构、训练策略以及最终效果
• 如何设计一个强化学习流程来提升VLM在复杂视觉推理任务上的表现？
• 在处理长视频理解时，你会如何平衡计算效率与模型性能？
• 如果模型在某个垂直业务场景中出现幻觉问题，你会如何定位并解决？
• 你如何看待当前多模态模型的发展瓶颈？未来有哪些可能的突破方向？