【2026校招】Dots-大模型预训练数据算法研究员

优缺点分析

角色解读

• 在预训练数据算法领域深耕，成为数据智能方向的专家
• 向大模型全栈或算法架构师发展，参与更核心的模型设计与优化
• 积累顶级会议论文经验，可转型学术界或技术领军角色
• 负责海量文本数据的高效筛选与质量评估，设计自动化流水线提升数据质量
• 研究智能数据配比与动态增强策略，优化预训练阶段的数据构成
• 构建严谨可复现的算法评测体系，验证预训练效果并迭代优化训练算法
• 探索端到端的高性能数据管线，提升大规模预训练的效率与稳定性
• 扎实的机器学习与深度学习理论基础，熟悉Transformer架构和LLM原理
• 熟练掌握Python和PyTorch，具备优秀的工程实现能力
• 有大规模预训练或LLM项目实战经验，了解数据筛选、配比等技巧
• 良好的沟通协作能力，自驱力强，乐于探索前沿技术

申请策略

• 了解小红书的业务方向和大模型应用场景，在面试中体现匹配度
• 准备好一个完整的技术项目讲解，展示从问题到解决方案的思维过程
• 突出相关项目经验：如LLM微调、数据增强、预训练实验等，附上具体成果和量化指标
• 展示技术深度：熟悉PyTorch、Transformer细节，有代码实现可复现
• 强调学术成果：顶会论文或竞赛获奖是重要加分项
• 体现工程能力：如搭建过数据管线、优化过训练效率等项目
• 复习LLM基础知识：Transformer、预训练目标、数据配方等
• 动手复现一些基线模型或数据筛选算法，加深理解

面试指南

• 先阐述理论基础，再结合自己的实践经验，最后给出具体改进方向
• 选用STAR法则（情境、任务、行动、结果）描述项目经历，强调个人贡献和量化成果
• 对开放性问题，展示系统性思考：从问题背景、现有方案、到创新点
• 请解释大规模预训练数据筛选的常见方法及其优缺点
• 如何设计一个数据质量评估指标？请举例说明
• 你对当前LLM训练数据配比策略有什么看法？有没有改进思路？
• 请描述一个你参与过的预训练或LLM相关项目，遇到过什么挑战？如何解决？
• 在数据管线设计中，如何保证数据处理的效率和可扩展性？