【快Star】基础大模型训练引擎研发工程师

优缺点分析

角色解读

• 从基础训练引擎研发向分布式系统专家或AI Infra架构师方向发展
• 深入大模型训练和推理全链路，成为AI基础设施领域的技术骨干
• 未来可转向更前沿的模型架构设计或AI平台研发，晋升为技术Leader
• 参与快手自研大语言模型和多模态模型的训练引擎研发，优化训练效率
• 设计和实现分布式训练框架，采用混合并行、通信优化等技术解决超大模型训练瓶颈
• 开发高性能RL框架，优化rollout和调度链路
• 通过算子优化、编译优化、模型量化等手段降低推理成本
• 精通Python和C++，具备良好的编程习惯和代码管理能力
• 扎实的数学基础（线性代数、概率论等）和逻辑分析能力
• 熟悉分布式训练框架如PyTorch、Megatron、vLLM或SGLang者优先
• 对大模型训练流程和并行策略有深入理解

申请策略

• 面试时结合快手业务场景（广告、电商、搜索）思考大模型优化方向，展现业务理解
• 准备一个亲自参与的大模型优化案例，用STAR法则详细阐述
• 突出分布式训练、大模型相关项目或实习经历，详细说明优化成果
• 展示Python/C++编程能力，可附上GitHub链接
• 如有开源框架贡献或相关论文，务必突出
• 提前熟悉PyTorch分布式训练原理，动手实践Megatron或DeepSpeed
• 补充并行计算、通信优化、GPU编程等知识
• 阅读快手技术博客或开源项目，了解其技术栈

面试指南

• STAR法则：描述背景、任务、行动、结果，突出技术细节和量化成果
• 从问题定义出发，分析根本原因，提出方案并对比优劣
• 结合实际代码或框架实现细节，展示深度理解
• 请介绍你在实习或项目中如何优化分布式训练效率？
• 解释混合并行（数据并行、张量并行、流水线并行）的原理及适用场景
• 如何解决大模型训练中的显存不足问题？
• 谈谈你对RLHF中的训练效率优化的理解
• 给定一个分布式训练任务，如何定位性能瓶颈？