硬件加速模型编译优化工程师-Data

优缺点分析

角色解读

• 从模型编译优化专家成长为AI芯片全栈架构师，主导芯片-算法协同设计
• 向AI基础设施方向拓展，负责大规模推理集群的架构与优化
• 在字节跳动内部，有机会深耕AI前沿技术，参与下一代自研芯片的研发
• 评估大模型在自研芯片上的性能，进行软硬件协同优化
• 开发AI模型的编译框架，优化算子和图编译，提升硬件利用率和性能
• 构建分布式推理系统，进行推理框架调优，实现高吞吐和低成本部署
• 探索模型量化、稀疏化、蒸馏等部署技术，推动落地应用
• 深入理解AI加速硬件架构和并行计算，如GPU、NPU等
• 精通C/C++和Python，熟悉主流深度学习框架如PyTorch、TensorFlow
• 掌握编译优化技术，有MLIR、TVM等开发经验者优先
• 具备分布式推理系统调优经验，熟悉vLLM、SGLang等推理框架

申请策略

• 提前了解字节跳动自研芯片（如火山引擎相关）的技术方向，在面试中展现兴趣
• 准备一个完整的模型优化案例，从性能分析到编译优化到部署收益
• 突出编译器开发或AI芯片优化项目经历，如MLIR/TVM使用、算子kernel调优等
• 展示分布式推理或模型部署实战经验，如vLLM/SGLang调优、量化工具开发
• 强调对LLM等大模型的深入理解，包括模型结构、推理特性等
• 如果有芯片相关论文或专利，务必列出
• 补充学习MLIR、TVM等编译框架的源码和原理
• 动手实践对LLM的量化、推理加速，熟悉常用工具链

面试指南

• 对于编译优化问题，先明确目标（性能、功耗等），再分析硬件瓶颈（计算、访存），最后结合算子融合、内存布局、并行策略等给出方案
• 对于推理系统问题，从模型特性（计算密集、访存密集）出发，考虑数据并行、张量并行、流水线并行等策略，并注意通信开销
• 对于模型量化问题，介绍量化原理（对称/非对称、逐层/逐通道），比较不同精度（INT8/FP8）的优劣，并提及校准数据集和蒸馏技巧
• 请解释TVM中的调度（schedule）和自动调优（auto-tuning）原理
• 如何优化一个Transformer模型的推理性能？请从软硬件协同角度说明
• MLIR的多级方言（dialect）是如何帮助编译优化的？举例说明
• 在分布式推理中，如何平衡吞吐和延迟？你有哪些调优经验？
• 你对LLM的量化方法（如GPTQ、AWQ）了解多少？如何部署量化模型？