Software Engineer, AI and DL Kernel Libraries

优缺点分析

角色解读

• 技术深耕：成为GPU计算和AI系统领域的专家，晋升为首席工程师
• 架构演进：转向系统架构设计，主导下一代AI推理平台
• 开源领袖：通过开源贡献建立行业影响力，成为技术社区核心维护者
• 设计和优化GPU加速的深度学习内核库，如cuDNN、FlashInfer，提升LLM推理性能
• 参与LLM推理引擎（如vLLM）的开发，优化运行时系统和软件抽象
• 与硬件和编译器团队协作，分析性能瓶颈并提出软硬件接口改进方案
• 贡献开源社区，推动生态集成
• 精通C/C++和Python，具备高性能软件开发能力
• 扎实的CUDA编程和GPU优化经验，熟悉深度学习框架（PyTorch、TensorFlow等）
• 理解线性代数、性能分析和代码优化技术
• 对AI推理系统和LLM架构有深入认识

申请策略

• 研究英伟达的技术博客和开源的FlashInfer项目，展示你对他们的技术栈有深入了解
• 在面试中强调你对性能优化的热情，用具体案例说明你如何分析并解决性能瓶颈
• 突出CUDA内核开发或高性能计算项目经验，展示具体性能提升数据
• 强调深度学习框架（PyTorch/TensorFlow）的使用或二次开发经历
• 如有开源贡献（特别是AI推理相关），详细描述角色和影响
• 列出编译器或LLM推理系统的相关工作经验
• 深入学习CUDA编程模型和GPU架构，如通过《CUDA Programming》书籍
• 动手实践vLLM、TensorRT-LLM等推理引擎，理解其源码和优化策略

面试指南

• 对于性能优化问题，先明确目标和约束，然后通过profiling识别瓶颈，再提出优化方案（如内存合并、warp调度等），最后用数据验证
• 对于系统设计问题，先理解需求和使用场景，然后抽象出核心组件，考虑可扩展性和易用性，最后给出接口示例
• 如何优化一个CUDA attention kernel？请描述你从分析到实现的过程
• 解释FlashAttention的原理以及它如何减少内存访问
• 你在项目中遇到过的性能瓶颈是什么？你是如何定位和解决的？
• 了解LLM推理中的batching策略吗？Compare continuous batching and static batching.
• 如何设计一个可扩展的深度学习库接口？举例说明
• 准备一个完整的CUDA kernel优化案例，从naive实现到最终优化，包含性能对比