【快Star】推荐大模型训练引擎研发工程师

优缺点分析

角色解读

• 技术纵深：在分布式训练、大模型Infra领域深耕，成为训练系统专家或架构师
• 横向拓展：接触推荐系统全链路，可向推荐算法、AI平台等方向扩展
• 管理路径：积累团队协作经验后，可晋升为技术负责人或团队主管
• 深度参与自研生成式推荐大模型OneRec的训练全链路开发，涵盖广告、电商、直播、搜索等核心业务模型的训练优化
• 设计和优化分布式训练框架，解决超长序列、超大规模MoE等场景下的训练效率瓶颈
• 与算法团队紧密协作，通过算子优化、通信计算重叠、低精度训练等手段提升训练性能
• 精通C++编程，具备扎实的编程风格和代码管理能力
• 熟练使用至少一种主流深度学习框架（PyTorch/TensorFlow/PaddlePaddle/MindSpore），并有框架二次开发经验
• 熟悉分布式训练原理，有大规模分布式训练系统优化经验者优先
• 具备数学和逻辑分析能力，能够理解复杂算法并转化为高效工程实现

申请策略

• 在简历中突出与推荐大模型训练相关的项目，如果有开源贡献更好
• 了解快手的推荐业务和技术栈，面试时展示对其技术挑战的理解
• 突出C++编程能力：展示大型项目或开源贡献，强调代码质量和优化经验
• 强化分布式训练经验：如大模型训练、算子优化、通信优化等相关项目
• 体现框架二次开发能力：如对PyTorch源码的修改或自定义算子开发
• 若有推荐系统或大模型算法背景，需重点提及
• 系统学习分布式训练原理，尤其是数据并行、模型并行、流水线并行等
• 深入研究一个深度学习框架的源码（如PyTorch的Distributed模块）

面试指南

• 对于优化类问题，采用'问题→方案→效果'结构：先说明瓶颈，再提出具体技术手段（如算子融合、梯度压缩等），最后展示量化收益
• 对于原理类问题，先清晰阐述基本概念，再结合自身经验举例说明
• 请详细介绍你参与过的一个分布式训练优化项目，包括遇到的问题和解决方案
• 如何优化PyTorch的DataLoader以提升训练吞吐？
• 解释MoE（混合专家）模型的训练挑战及常用优化策略
• 什么是通信计算overlap？如何实现？
• 在大规模分布式训练中，如何平衡计算和通信开销？
• 复习分布式训练经典论文（如Megatron-LM、DeepSpeed、ZeRO系列）