【LongCat实习】大模型预训练数据科学与模型潜力前沿研究

优缺点分析

角色解读

• 从数据科学角度深入大模型核心，成为预训练数据专家
• 积累大规模多模态训练经验，向全栈大模型研究员发展
• 表现优秀可转正或推荐至团队核心研发岗位
• 研发数据质量评估、去重与清洗算法，提升预训练数据质量
• 探究数据分布与模型能力的因果关系，建立归因机制
• 探索自动化数据筛选与动态配比策略，研究Scaling Law
• 构建基座模型能力与潜力评估体系，驱动数据策略优化
• 熟悉大模型预训练流程，对数据质量有深刻理解
• 具备较强的编程能力（Python、C++）和深度学习框架使用经验（PyTorch等）
• 有机器学习或NLP研究背景，在顶会发表过论文优先
• 对因果推断、数据挖掘有一定了解，能够自主探索和快速迭代

申请策略

• 在求职信中明确表达对数据科学的热情和对美团技术方向的认同
• 关注团队发布的LongCat-Next技术报告，面试时展现对团队工作的了解
• 突出大模型相关项目经历，尤其是数据质量、预训练或Scaling Law相关研究
• 强调顶会论文或开源贡献，展示研究能力
• 体现数据分析、因果推断或数据筛选的实践经验
• 列出熟练的编程语言和深度学习框架（PyTorch等）
• 补充因果推断和数据分布分析的相关知识，阅读经典论文
• 动手复现一些数据质量评估或数据筛选的基线方法

面试指南

• 对于数据质量相关问题，可以先定义指标，再结合具体方法（如基于模型的质量评分、n-gram去重等），最后用实验结果佐证
• 对于因果推断问题，可以采用对比实验、消融分析等方法，强调控制变量和归因逻辑
• 对于开放设计问题，需要结构化回答：明确目标、提出方案、分析优缺点、给出验证方式
• 请解释什么是数据质量中的多样性，如何评估？
• 你如何理解Scaling Law？请举例说明数据配比如何影响模型性能
• 描述一个你曾做过的与数据清洗或数据增强相关的项目
• 如果给你一个100B token的语料库，你会如何设计数据筛选流程？
• 你如何看待多模态预训练中数据对齐的问题？