【2027校招】Dots-视觉语言大模型算法工程师

优缺点分析

角色解读

• 技术专家路线：深耕多模态大模型领域，成为核心算法贡献者，推动小红书AI技术的创新与落地
• 技术管理路线：在积累足够技术深度和项目经验后，可带领小团队进行特定方向的研究或工程化工作
• 行业影响力路线：通过发表顶会论文、开源重要模型组件等方式，在学术界和工业界建立个人影响力
• 负责视觉语言大模型的预训练阶段工作，优化视觉编码器（Vision Encoder）以提升模型的基础感知能力
• 参与大语言模型部分的预训练和后训练，探索训练策略和数据组织方式以增强模型的通用能力
• 研究并实现生成与理解能力统一的创新模型架构，旨在同时优化两种能力，是技术探索的核心部分
• 扎实的视觉领域知识，对多模态模型（尤其是视觉语言模型）的原理和最新进展有深入理解和实践
• 精通Python和PyTorch深度学习框架，具备高效的代码实现、阅读和调试能力，善于利用AI工具辅助开发
• 良好的科学研究素养，能够清晰定义技术问题、设计实验方案，并对细节保持高度敏锐

申请策略

• 研究小红书的现有AI应用（如图文推荐、内容理解、生成式创意工具等），思考VLM技术如何能为其赋能
• 关注小红书技术团队发布的论文、博客或开源项目，了解他们的技术风格和关注方向
• 突出与计算机视觉、多模态、深度学习相关的项目或研究经历，特别是涉及模型训练、优化或部署的实践经验
• 强调Python和PyTorch的熟练使用，可以列举参与的开源项目、GitHub贡献或Kaggle竞赛成绩
• 展示对视觉语言模型（如CLIP, LLaVA等）的理解，哪怕是课程论文或个人调研，也能体现技术热情
• 描述解决问题时体现的科学方法、逻辑分析和对细节的关注，例如通过调试发现并修复模型bug的过程
• 系统复习并跟进视觉语言大模型领域的最新论文（如CVPR, NeurIPS, ICML等会议），理解主流方法
• 动手实践，尝试复现经典多模态模型（如CLIP, BLIP）的训练流程，加深对框架和训练技巧的理解

面试指南

• 对于技术原理问题（如架构理解）：采用“整体架构-关键模块-核心创新点”的结构进行阐述，并结合自己的理解或实践举例
• 对于方法设计问题（如数据构建、训练流程）：从“问题定义-备选方案-方案对比-选择依据”的角度展开，体现系统性思考
• 对于项目经历问题（STAR原则）：清晰描述Situation（背景）、Task（任务）、Action（你采取的具体行动，尤其是技术细节）、Result（结果与收获）
• 请描述一下你对视觉语言大模型（如CLIP, LLaVA）架构的理解，它们是如何工作的？
• 如何提升一个视觉编码器（Vision Encoder）的感知能力？你在实践中会尝试哪些方法或数据构建策略？
• 合成数据在大模型训练中有哪些应用？你会如何设计一个VLM的后训练（Post-train）流程？
• 请解释一下“生成理解统一”的概念，你认为有哪些可能的技术路线？
• 请介绍一个你做过的最复杂的深度学习项目，你在其中负责什么？遇到了哪些挑战，如何解决的？