Dots-预训练数据算法研究员

优缺点分析

角色解读

• 从预训练数据算法入手，逐步深入理解大模型全链路，成为数据算法专家
• 可转向预训练算法优化、模型微调等方向，发展为高级算法工程师
• 积累经验后有机会晋升为团队技术负责人或研究员，参与核心模型研发
• 负责海量预训练数据的高效筛选与质量评估，确保数据质量
• 设计智能数据配比与动态增强策略，优化数据多样性
• 构建可复现的算法评测体系，验证数据与模型效果
• 参与端到端自动化数据流水线开发，提升预训练效率
• 扎实的编程能力，精通 Python 和 PyTorch，熟悉深度学习框架
• 深入理解机器学习与深度学习理论，有 LLM 或大规模预训练经验者优先
• 具备数据工程能力，能设计高效的数据处理与评估管线
• 良好的沟通协作与自驱力，能独立解决技术难题

申请策略

• 投递前了解小红书的业务方向（社区、电商等），思考数据如何赋能业务
• 准备一个与预训练数据相关的项目案例，展示从数据处理到模型效果的全流程
• 突出 LLM 相关项目经历，如参与过预训练或微调任务
• 强调数据处理和 Pipeline 构建经验，如自动化数据清洗、质量评估等
• 展示编程和算法竞赛成绩，或开源贡献（特别是 PyTorch 相关）
• 如果有顶会论文，务必放在显眼位置
• 学习并实践 PyTorch 的高级用法，熟悉分布式训练
• 掌握数据预处理常用工具（如 Hadoop、Spark）及数据增强方法

面试指南

• 用实例说话：结合具体项目，说明数据筛选方法、效果及改进
• 展示系统性思维：从数据采集、清洗、配比到评估，完整链路思考
• 突出工程能力：强调代码实现、性能优化及自动化工具使用
• 如何评估大规模预训练数据的质量？有什么具体指标？
• 描述你参与过的 LLM 或深度学习项目，遇到过哪些数据挑战？
• 解释数据配比（Data Mixing）对预训练模型效果的影响
• 如何设计一个高效的数据 Pipeline 来处理 TB 级文本数据？
• 你了解哪些预训练算法优化技术（如数据效率、训练动态）？