大模型高性能与分布式计算工程师-【可灵】

优缺点分析

角色解读

• 技术专家路线：深耕分布式计算和性能优化，成为大模型基础设施领域的权威专家
• 架构师路线：主导大规模训练集群的架构设计，负责异构计算资源调度
• 管理路线：带领团队构建大模型底层平台，成长为技术管理人才
• 设计并优化大模型训练与推理方案，提升视频生成和多模态模型的迭代效率
• 与算法团队紧密合作，共同设计模型与硬件的协同优化策略，最大化GPU/NPU等算力利用率
• 深入底层分布式系统，研究并解决大规模训练中的通信、算子性能等瓶颈问题
• 扎实的编程基础和系统能力，熟悉C++/Python，理解深度学习框架的内部实现
• 熟悉PyTorch/TensorFlow等主流框架，了解分布式训练原理（如NCCL、RDMA）
• 具备性能分析能力，能进行算子优化、显存优化等高阶调优工作
• 良好的沟通协作能力，能够与算法工程师高效配合

申请策略

• 了解快手可灵项目的业务方向，在面试中展示对视频生成模型技术挑战的理解
• 准备一些实际案例，说明如何解决分布式训练中的通信瓶颈或性能问题
• 突出分布式训练、大规模模型优化或高性能计算相关项目经验，例如参与过千卡级集群训练或推理加速
• 展示对深度学习框架源码级别的理解和贡献，比如PyTorch或TensorFlow的bug修复或算子优化
• 强调GPU/NPU编程经验（CUDA、RDMA等）以及性能调优的实际结果（如加速比、吞吐提升）
• 如果有参与开源项目的经历（如vLLM、Megatron），务必重点提及
• 提前熟悉NCCL、NVIDIA等分布式通信库，掌握集合通信的底层原理
• 学习GPU编程（CUDA）或NPU开发，了解算子融合与显存优化技巧

面试指南

• 对于分布式问题，采用STAR法则：描述场景、任务、行动和结果，重点突出量化成果
• 对于底层原理问题，先解释核心概念，再结合源码细节，最后联系实际业务场景
• 对于性能优化问题，可用「瓶颈分析-优化方案-效果验证」的框架回答
• 请介绍你参与过的大规模模型训练项目，如何做分布式并行策略？
• PyTorch中DataParallel和DistributedDataParallel的区别及底层实现？
• 如何优化GPU上的算子？你做过哪些性能调优，效果如何？
• 谈谈对vLLM或Megatron等开源项目的理解，它们的核心设计思想是什么？
• 当训练集群出现通信瓶颈时，你会如何定位和优化？