LongCat - 多模态算法研究员

优缺点分析

角色解读

• 在多模态 AI 前沿领域深耕，成为算法专家或首席科学家
• 横向扩展到其他多模态场景（如机器人、自动驾驶），或向技术管理岗位发展
• 依托美团业务场景，将研究成果落地为产品，获得业务与技术双重成长
• 探索下一代原生多模态基础模型，统一建模文本、图像、视频与交互过程
• 研究多模态与文本模态的深度融合策略，包括 early fusion 架构设计和数据配比优化
• 大规模挖掘、清洗和构建高质量多模态训练数据，支撑各类生产力场景
• 设计视觉表征体系（如离散视觉 tokenizer），并探索多模态生成与交互任务
• 熟悉 Python 和深度学习框架（PyTorch/Megatron/DeepSpeed），有大模型预训练经验
• 具备大规模多模态数据处理或视觉表征设计的深入经验
• 对多模态融合策略、生成范式有深入理解，能从0到1探索新方向

申请策略

• 关注美团的“零售+科技”战略，思考多模态技术如何提升本地生活服务体验
• 在面试中准备一个完整的多模态项目案例，从数据到模型到效果评估
• 突出大规模预训练或数据 pipeline 开发经验，特别是多模态相关
• 强调视觉表征设计或多模态融合方面的研究成果（论文或开源项目）
• 展示使用 PyTorch/Megatron/DeepSpeed 进行分布式训练的经验
• 补充多模态数据清洗和质量管理的最佳实践
• 深入理解视觉 tokenizer 和生成范式（如 VQVAE、Diffusion）
• 熟悉强化学习在生成模型中的应用（如 RLHF、GRPO）

面试指南

• 用 STAR 法则分项目背景、任务、行动、结果，突出关键贡献
• 比较不同技术方案的 trade-off，体现系统思考和工程化能力
• 结合最新论文和业界实践，展示技术洞察力
• 请描述你的一个多模态预训练项目，包括数据处理、模型架构和训练策略
• 如何设计一个统一的多模态表征？离散 vs 连续表征的优缺点？
• 在 multi-modal fusion 中，early fusion 和 late fusion 各有什么优劣？
• 如何构建高质量的多模态训练数据？数据清洗的难点和解决方案？
• 你如何看待基于强化学习优化多模态生成模型？有什么实际案例？