大模型AI Infra底软/硬件加速工程师-【可灵AI专项】

优缺点分析

角色解读

• 技术深耕：从GPU编程到AI编译器、硬件协同设计，成为高性能计算领域的专家
• 架构演进：逐步参与分布式训练系统的架构设计与优化，主导集群级别性能优化项目
• 团队领导：积累足够经验后，可带领底层优化团队，或转向AI基础设施架构师角色
• 负责视频生成大模型（如可灵AI）在最新GPU硬件上的训练和推理性能分析与优化，通过CUDA编程和系统调优实现极限性能
• 分析和提升大规模分布式训练系统的集群效率，定位并解决训练任务的故障根因，保障系统稳定性
• 与算法团队协作，将最新模型结构适配到硬件平台，探索并实施前沿的加速技术（如算子融合、编译器优化）
• 精通Python和C++，熟练使用PyTorch或vLLM/SGlang等大模型推理框架
• 深入理解Transformer和扩散模型结构，熟悉常用性能优化方法（如算子融合、量化、并行策略）
• 深刻理解GPU硬件体系结构，能熟练编写高性能CUDA kernel，具备底层性能调优能力

申请策略

• 在简历和面试中多用量化数据（如“将训练速度提升30%”）来体现成果
• 关注快手可灵AI的技术博客和开源项目，提前了解他们的技术栈和优化方向
• 突出CUDA kernel编写经验，展示具体优化案例（如算子加速比、吞吐提升）
• 强调分布式训练框架（Megatron/FSDP）的使用或开发经历，说明在集群规模、性能调优上的成果
• 列出参与的AI项目（尤其是视频生成或多模态模型相关），体现对大模型算法结构的理解
• 如有不足，可快速刷题实践CUDA编程，掌握Cutlass/Cute等库的使用
• 熟悉PyTorch源码中与性能相关的模块（如autograd、cuda graph），并动手搭建简单分布式训练环境

面试指南

• 对于性能优化问题，采用“问题分析—优化方案—实验验证—结果量化”的结构，突出思路和效果
• 对于系统设计问题，先阐述核心概念和原理，再结合实际场景讨论权衡和选择
• 请描述一次你优化CUDA kernel的经历，使用了哪些技术，最终效果如何？
• 解释Transformer模型中的self-attention如何实现高效计算？你知道哪些优化方法？
• Megatron的tensor parallelism和pipeline parallelism有什么区别？如何选择？
• 在多机多卡训练中，如何诊断和解决通信瓶颈？
• 如果在训练过程中出现loss异常或性能下降，你会如何排查？
• 复习GPU硬件架构（如SM、warp、memory hierarchy）和CUDA编程模型，确保能手写简单的kernel