Deep Learning Performance Architect, CUTLASS DSL

优缺点分析

角色解读

• 成为GPU编译器领域的专家，主导下一代AI编译器架构设计
• 向技术领导力方向发展，带领编译器或性能优化团队
• 横向拓展至芯片架构协同设计，参与NVIDIA未来GPU架构规划
• 设计和开发Python原生的GPU内核开发语言CUTLASS DSL，定义语法和语义
• 构建MLIR方言和lowering passes，将高级语言描述高效编译为GPU可执行代码
• 优化编译器性能，加速内核编译过程，同时保证生成代码与手写C++相当
• 与架构、研究和产品团队协作，将最新硬件特性集成到编译工具链中
• 扎实的Python和C++编程能力，能写出高效、可维护的代码
• 深入理解编译器技术，特别是MLIR/LLVM框架，包括IR设计、Pass优化和代码生成
• 具备DSL或代码生成系统的实践经验，理解语言设计与实现的挑战
• 优秀的沟通协作能力，能在跨国团队和开源社区中有效工作

申请策略

• 在求职信中具体说明你对CUTLASS DSL或相关项目的了解，展示热情
• 准备一个技术分享主题，如“如何设计一个GPU内核DSL”，在面试中主动展示思考
• 突出编译器或DSL相关项目经验，例如自己实现的编译器、参与过的MLIR/LLVM贡献
• 强调CUDA/GPU性能优化案例，量化性能提升（如提速百分比）
• 展示Python和C++的深度，可附上GitHub链接
• 提及开源贡献和论文发表，尤其是编译、PL或高性能计算领域
• 熟悉MLIR教程和Toy语言示例，加深对Dialect和Pass的理解
• 阅读CUTLASS源码和CuTe库，理解现有的高性能抽象

面试指南

• 对于设计和项目类问题，采用STAR法则：情境、任务、行动、结果，突出你的贡献和思考
• 对于编译器原理问题，先给出定义，再结合实际例子，最后讨论权衡（trade-off）
• 对于性能优化问题，先分析瓶颈可能来源（计算、访存、指令发射），再提出分析方法（profiling、微基准测试），最后给出优化措施
• 请描述你设计或参与过的编译器或DSL项目，面临的主要挑战是什么？
• MLIR的Dialect和Pass是如何工作的？你能举例说明如何优化一个Pass？
• 如何理解GPU的Tile和MMA操作？在编译器层面如何抽象它们？
• 如果你需要将一段Python DSL代码编译为CUDA内核，你会如何设计lowering流程？
• 当CUTLASS DSL生成的代码性能不如手写C++时，你如何定位和优化？