大模型算法工程师-预训练-2028届实习

优缺点分析

角色解读

• 从预训练实习生起步，逐步深入大模型底层能力建设，成长为预训练算法工程师
• 在数据工程、训练策略、模型评测等方向深耕，成为领域专家
• 有机会参与前沿研究并发表高质量论文，或转向模型架构设计、后训练等方向
• 参与大语言模型的预训练和 mid-training 工作，包括数据构建、训练策略制定和模型能力分析
• 设计和优化高质量预训练数据体系，涵盖数据清洗、去重、配比、质量评估和数据飞轮建设
• 围绕代码、数学、推理、长上下文、agent 等关键能力方向，推进模型能力提升
• 建立训练过程中的评测与诊断方法，定位模型能力短板并推动数据和训练方案优化
• 扎实的机器学习和深度学习基础，具备良好的实验分析和代码实现能力
• 对大模型预训练、数据工程、训练稳定性、scaling law、模型评测等方向有深入理解或实践经验
• 熟悉分布式训练框架，如 Megatron、DeepSpeed、PyTorch，以及大规模数据处理技术
• 具备优秀的问题拆解能力，能从实验现象中提取关键变量并持续迭代优化

申请策略

• 关注 MiniMax 的技术博客和开源项目，了解其技术方向和产品布局
• 在面试中展示对预训练数据体系、训练稳定性和模型评测的深入思考
• 突出机器学习、深度学习相关项目经验，尤其是大模型预训练、数据工程或模型评测相关经历
• 强调分布式训练框架（如 Megatron、DeepSpeed）的使用经验，以及大规模数据处理能力
• 展示开源项目、论文或竞赛成果，体现技术深度和创新能力
• 提前熟悉 PyTorch、Megatron、DeepSpeed 等框架，了解分布式训练的基本原理
• 学习大模型预训练相关论文，如 scaling law、数据配比、长上下文扩展等

面试指南

• 结合具体项目或论文，阐述你对预训练数据、训练策略和模型评测的理解，突出实验设计和问题解决能力
• 从问题定义、数据准备、模型设计、实验验证、结果分析等角度，系统性地回答技术问题
• 请谈谈你对大模型预训练数据体系的理解，包括数据清洗、去重、配比等
• 你如何设计一个实验来评估预训练模型的能力？
• 如果训练过程中出现 loss 不下降，你会如何排查和解决？
• 请介绍一个你参与过的与大模型或深度学习相关的项目，并说明你的贡献
• 复习大模型预训练相关基础知识，如 transformer 架构、训练稳定性、scaling law 等
• 准备 1-2 个与预训练或数据工程相关的项目案例，详细说明你的角色和贡献