【快Star】大模型高性能推理算子工程师

优缺点分析

角色解读

• 技术深耕：成为大模型推理优化领域的专家，掌握GPU底层编程与前沿加速技术
• 横向扩展：向多模态、视频生成等更广的AI应用方向拓展，或转向AI系统架构设计
• 管理路径：未来可带领团队负责推理引擎研发，晋升为技术Leader或架构师
• 与顶尖算法工程师协作，设计并实现大模型推理的优化方案，涵盖视频生成与多模态模型
• 调研最新论文，落地低bit量化、计算通信融合、稀疏注意力等高性能算子
• 使用vLLM、TensorRT-LLM等框架优化推理性能，并针对分布式场景设计高效通信方案
• 精通Python及Linux开发，熟悉常见算法与数据结构
• 熟练使用NSYS、NCU等GPU性能分析工具，有vLLM、TensorRT-LLM等框架实战经验
• 深入理解分布式推理通信机制（如DeepEP、Triton-distributed），能设计最优方案
• 加分项：Hopper/Blackwell算子开发、Cute/Triton DSL、低bit量化Kernel、顶会论文

申请策略

• 关注快手技术博客和开源项目，了解其推理优化方向，面试中可展示相关思考
• 突出GPU算子开发经历，尤其是Hopper/Blackwell架构或Cute/Triton使用案例
• 详细描述使用vLLM、TensorRT-LLM等框架进行推理优化的项目，量化性能提升数据
• 展示分布式通信优化经验（如DeepEP、NCCL）或相关论文/开源贡献
• 若缺乏算子开发经验，可学习Triton或CUDA编写简单Kernel，并熟练使用NSYS分析性能
• 阅读近期大模型推理优化论文（如FlashAttention、Sparse Attention变体），并尝试复现

面试指南

• 对于原理类问题：先清晰阐述核心概念，再联系实际应用场景，举例说明
• 对于优化类问题：从瓶颈分析（Profiling）入手，提出方案，并考虑权衡（如精度 vs 速度）
• 对于经验类问题：采用STAR法则，说明背景、任务、行动和量化结果
• 请解释FlashAttention的原理及其在推理中的优势
• 如何优化一个Transformer模型在推理时的内存占用和延迟？
• 谈谈你使用vLLM或TensorRT-LLM的经验，遇到性能瓶颈如何定位？
• 在分布式推理场景中，通信延迟如何影响效果？请设计一个优化方案
• 如何实现一个低bit量化Kernel？需要注意哪些数值问题？