【提前批-大模型】LLM预训练数据算法研究员

优缺点分析

角色解读

• 从数据算法研究员逐步成长为数据策略专家，主导整个数据管线
• 横向扩展至大模型训练整体优化，成为多模态或通用大模型的核心成员
• 未来可晋升为技术负责人，带领团队推动下一代数据方案
• 设计和实现大规模数据处理算法，包括代码数据和通用文本的清洗、增强与合成
• 利用大语言模型本身来优化数据筛选策略，提升预训练语料质量
• 搭建高并发、稳定的数据处理流水线，保障训练数据的持续供给
• 精通Apache Spark、Ray等分布式框架，能够处理TB级数据
• 深入理解大模型训练全流程，包括预训练、中段训练、后训练
• 对数据质量有极致追求，能处理各种边界异常样本

申请策略

• 了解米哈游在游戏+AI方向的布局，面试中展现对业务场景的思考
• 突出分布式数据处理项目经验，尤其是Spark/Ray的实际应用
• 强调对LLM训练链路的理解，如预训练、微调经历
• 展示数据清洗、质量评估方面的具体成果（如提升数据指标）
• 提前熟悉vLLM、SGLang等推理框架，增加加分项
• 动手复现一篇数据筛选相关的论文（如DataComp等）

面试指南

• 用STAR法则描述项目：情境、任务、行动、结果
• 结构化回答：先总述方法论，再分点说明具体策略，最后给出效果或反思
• 请详细描述你用Spark处理大规模文本数据的具体流程和优化点
• 如何评估预训练数据质量？你有哪些筛选策略？
• 大模型预训练中，数据配比对模型效果有什么影响？
• 解释一下你理解的大模型训练完整链路，各阶段数据作用有何不同？
• 复习Spark/Ray核心原理，准备一个性能优化案例
• 阅读米哈游或相关团队发表的数据相关论文或技术博客