【LongCat大模型人才校招】基础模型 - 多模态

优缺点分析

角色解读

• 成长为多模态基础模型领域的技术专家，主导下一代模型架构设计
• 向技术Leader发展，带领团队负责核心方向的研究与工程落地
• 未来可横向扩展至具身智能、通用人工智能等更前沿领域
• 参与下一代原生多模态基础模型的研发，探索统一的多模态表征体系，包括离散视觉token、连续表征及其混合
• 设计多模态与文本的深度融合策略，优化数据配比和架构，提升模型的理解与生成能力
• 大规模构建高质量多模态训练数据，覆盖图片、视频、文档、GUI等多种形态，并训练视觉tokenizer
• 利用端到端强化学习激发模型自我评估和迭代修正能力，探索模型在物理世界中的推理与行动
• 精通Python，熟练使用PyTorch、Megatron、DeepSpeed等深度学习训练框架
• 具有大规模多模态预训练经验，或对视觉表征、多模融合、生成范式有深入理解
• 具备独立研究能力，有顶会论文发表经验者优先
• 熟悉视觉tokenizer、具身智能或强化学习等相关方向

申请策略

• 关注美团基础研发平台的技术博客和开源项目，了解团队技术文化
• 准备一个你参与的多模态相关项目或研究，能清晰阐述动机、方法和结论
• 突出多模态相关的研究经验或实习经历，尤其是大规模预训练、视觉tokenizer、多模融合等方面
• 强调顶会论文发表或投稿经历（CVPR、NeurIPS等），并说明个人贡献
• 展示扎实的工程能力，如PyTorch、Megatron使用经验，以及大规模数据处理能力
• 深入学习PyTorch和分布式训练框架（Megatron、DeepSpeed），动手实现简单多模态模型
• 阅读LongCat-Next技术报告及近年多模态基座论文，理解主流架构和前沿方向

面试指南

• 先阐述你对概念的理解，然后结合具体例子或文献，最后给出自己的见解或改进想法
• 采用“问题-分析-解决方案”的结构，展示系统思考和解决问题的能力
• 对于开放性问题，强调你的研究方法和判断力，不必给出唯一答案
• 请谈谈你对原生多模态模型的理解，与传统的CLIP/LLaVA等有何不同？
• 你如何设计一个高效的视觉tokenizer？离散与连续表征各自的优缺点是什么？
• 在大规模多模态预训练中，如何处理图文数据配比和训练稳定性问题？
• 你是否有使用Megatron或DeepSpeed训练千亿参数模型的经验？如何优化显存和通信？
• 如果让你独立推进一个不清晰的方向，你会如何开展研究？