【Dots】多模态大模型算法工程师

优缺点分析

角色解读

• 技术方向：多模态算法专家 → 首席科学家，深耕理解-生成统一领域
• 管理方向：技术负责人 → 团队Leader，带领研发小组探索前沿课题
• 跨领域扩展：可横向迁移至计算机视觉、自然语言处理或语音等单一模态方向，成为通才型AI专家
• 研发多模态理解模型，实现对图片、视频、语音的全面感知，包括文字、实体、动作、空间关系、情感等
• 探索视觉与语音联合感知，增强对视频内容的理解
• 研发高质量的图像和音频生成模型，支持强可控编辑，并探索Diffusion等生成架构的创新
• 扎实的PyTorch/Python编程能力，能熟练阅读和编写代码
• 深入的多模态研发经验，对多模态理解或生成有独到见解和实践
• 科学的研究习惯，能够清晰定义问题并注重细节

申请策略

• 准备一个你自己对多模态未来方向的思考，展示研究热情和独到见解
• 了解小红书的业务场景（社区内容、电商、社交），思考多模态技术如何赋能产品
• 突出多模态相关项目经验，详细说明你在模型架构、数据处理、效果优化方面的具体贡献
• 展示对多模态本质的理解，例如对模态对齐、融合策略的思考
• 如果有公开的论文、竞赛获奖或开源项目，务必列出，尤其与视觉、语音、生成相关的
• 深入复习PyTorch底层机制和分布式训练技巧，保持代码能力熟练
• 阅读多模态顶会论文（如CVPR、ICCV、ACL、ICLR）中关于理解-生成统一的最新工作
• 动手复现经典的多模态模型（如CLIP、DALL-E、Flamingo等），理解其设计思路

面试指南

• STAR法则：描述情境、任务、行动、结果，突出你的贡献和思考
• 对比分析：提出不同方法的优缺点，展示技术广度和批判性思维
• 假设驱动：针对开放性问题，给出清晰假设和验证思路，体现科研思维
• 请介绍一个你参与的多模态项目，包括任务定义、模型设计、遇到的挑战和解决方案
• 多模态融合有哪些常见方法？你认为哪种更好，为什么？
• 如何解决多模态数据缺失或对齐问题？
• 对扩散模型在图像生成中的理解，如何提升生成质量？
• 你对多模态理解与生成统一怎么看？你觉得目前最大的难点是什么？