【快Star】视频大模型高性能与分布式计算工程师

优缺点分析

角色解读

• 成为分布式系统与高性能计算领域的顶尖专家，主导公司 AI 基础设施架构
• 向技术管理方向发展，带队攻克下一代大模型训练系统难题
• 在 AI 系统领域持续深耕，有机会成为学术界与工业界公认的权威
• 负责视频大模型在万卡集群上的分布式并行策略设计与调优，提升训练效率（MFU）
• 解决多模态数据（视频+图像）和模型不均衡问题，设计定制化负载均衡算法
• 优化通信与计算重叠架构，设计 AllGather/AllToAll 掩盖方案及算子调度
• 精通 C/C++ 和 Python，深入理解 MPI/NCCL、RDMA、NVLink 等高速互联协议
• 熟悉主流大模型训练框架（Megatron-LM、DeepSpeed）的并行切分机制
• 具备系统性能分析能力，有在 MLSys/OSDI/SOSP 等顶会发表论文的经验

申请策略

• 关注快手「快Star」项目文化，体现对视频大模型业务的热情
• 在面试中准备一个自己主导的分布式系统优化案例，展示系统性思维
• 突出分布式系统实战经验，特别是千卡/万卡集群训练 MFU 提升案例
• 强调顶会论文（MLSys/OSDI/SOSP 等）以及一作论文的贡献
• 展示竞赛（ACM-ICPC/NOI/IOI）金牌等硬核荣誉
• 深入掌握 NCCL/MPI 底层通信机制，尝试编写简单的通信 benchmark
• 熟悉 Megatron-LM 和 DeepSpeed 源码，理解张量并行/流水线并行等策略

面试指南

• 使用 STAR 法则：情境-任务-行动-结果，重点突出系统分析和量化结果
• 从理论到实践：先解释原理，再结合自己项目中的具体参数和代价
• 展示技术深度：谈及方案时说明 trade-off 和替代方案
• 请解释在大规模分布式训练中，通信瓶颈通常出现在哪里？如何优化？
• 描述一次你成功提升 MFU 的经历，具体用了哪些并行策略和优化手段？
• NCCL 中 AllReduce 和 AllGather 的实现差异是什么？如何选择？
• 如何处理多模态数据不均衡导致的训练效率问题？
• 谈谈你对 Megatron-LM 中张量并行与流水线并行混合使用的理解