【REDstar】Dots-大模型预训练数据算法研究员

优缺点分析

角色解读

• 从算法研究实习生晋升为正式研究员，深入参与核心模型研发
• 向大模型预训练专家方向深耕，成为数据智能或算法优化领域的骨干
• 未来可转向AI研究科学家或技术Leader，引领前沿技术探索
• 负责海量文本数据的高效筛选与质量评估，构建高质量预训练数据集
• 探索智能数据配比与动态增强策略，提升模型训练效果
• 设计可复现的算法评测体系，验证预训练算法性能
• 优化训练算法并搭建端到端自动化数据流水线
• 扎实的机器学习与深度学习基础，熟悉LLM相关技术
• 精通Python及PyTorch框架，具备优秀的工程实现能力
• 有大规模数据处理或预训练实际经验者优先
• 良好的沟通协作能力与自驱力

申请策略

• 了解小红书在AI领域的布局，尤其是社区内容与模型结合的业务方向
• 准备一个与数据智能相关的技术分享或案例分析，展示你的思考深度
• 突出相关项目经验，如LLM预训练、数据清洗、数据增强等
• 强调编程能力和PyTorch使用熟练度，附上GitHub链接或代码样本
• 如果有顶级会议论文或开源贡献，务必重点展示
• 体现数据敏感性和分析能力，例如在大规模数据处理上的实践
• 提前熟悉大模型常见数据预处理工具（如datasets、tokenizers）
• 掌握训练加速技术（如分布式训练、混合精度）

面试指南

• 采用STAR法则：先简要说明背景，再讲清思路/方案，突出关键决策与难点
• 对于开放性问题，结合具体实验或文献支撑观点，体现系统性思考
• 请谈谈你对大模型预训练数据质量的理解，如何评估数据质量？
• 你如何设计数据配比策略来提升模型在下游任务上的表现？
• 描述一个你使用PyTorch进行大规模数据处理的工程实践
• 你在LLM项目中遇到的最大技术挑战是什么？如何解决的？
• 复习大模型基础知识，包括Transformer架构、预训练目标、数据预处理流程
• 准备1-2个自己深度参与的项目，从数据、模型、评估全链路梳理