硬件加速模型编译优化工程师-Data

优缺点分析

角色解读

• 技术深耕：成为AI芯片编译器或推理优化领域专家
• 架构方向：晋升为系统架构师，主导推理系统的整体设计
• 横向扩展：转向AI芯片设计或全栈AI系统优化
• 评估和优化大模型在自研AI芯片上的性能，进行软硬件协同设计
• 开发和改进编译框架，包括算子编译和图编译，提升硬件利用率
• 构建分布式推理系统，对推理框架进行极致调优，提高吞吐和性价比
• 探索模型量化、稀疏化、蒸馏等部署优化技术并落地
• 深入理解AI加速器体系结构（GPU/NPU等）和并行计算
• 精通C/C++和Python，熟悉深度学习框架如PyTorch/TensorFlow
• 熟悉编译器优化技术，有MLIR/TVM等编译框架经验优先
• 了解大模型推理框架如vLLM、SGLang，以及分布式系统知识

申请策略

• 准备一个你主导的性能优化案例，从问题分析到解决方案到效果量化
• 了解字节跳动自研芯片（如火山引擎）的公开信息，展示兴趣
• 突出编译器优化、AI芯片评测或算子开发的项目经验，用数据证明性能提升
• 强调对TensorFlow/PyTorch框架的深入理解，以及分布式训练/推理经验
• 如有MLIR/TVM/vLLM相关开源贡献，务必展示
• 系统学习编译原理和LLVM/MLIR架构，动手编写简单的Pass
• 熟悉主流AI芯片（如NVIDIA GPU、华为昇腾）的架构和编程模型

面试指南

• 对于性能优化问题，采用“问题定位-瓶颈分析-方案设计-实验验证”的框架
• 对于架构设计问题，从系统整体出发，权衡计算、内存、通信
• 请解释TVM的Relay IR和AutoTVM的工作原理
• 如何优化一个Transformer模型在特定芯片上的推理延迟？
• 描述你如何调试一个内存带宽瓶颈的算子
• LLM推理中KV cache优化有哪些常用方法？
• 你对量化感知训练（QAT）和训练后量化（PTQ）有何经验？
• 复习CUDA编程经验，熟悉GPU内存层级和并行模式