推理执行引擎研发工程师-Data AML

优缺点分析

角色解读

• 在GPU优化和大模型推理方向深入成为技术专家，解决业界级性能挑战
• 可向推理架构师方向发展，主导推理系统的整体设计和优化
• 横向拓展至分布式系统、AI基础设施等更广泛的底层技术领域
• 负责大模型推理引擎的底层架构迭代，通过算子融合、编译优化等手段优化GPU访存和计算流水线
• 适配多种GPU/NPU硬件，主导分布式并行方案（TP、PP、MoE等）的设计与落地
• 跟进vLLM、TensorRT-LLM等前沿推理框架，进行技术对标和创新，提升推理系统性能与成本优势
• 精通C/C++、Python和CUDA编程，深刻理解GPU硬件架构和内存模型
• 掌握深度学习算子底层开发，能独立完成手写算子、访存优化和精度对齐
• 熟悉推理编译全链路优化技术，包括计算图优化、算子融合、量化编译等
• 熟练使用Nsight、Profiler等性能分析工具，具备系统级优化能力

申请策略

• 面试前准备一个完整的GPU优化项目案例，从问题定位到方案落地，展示系统化思维
• 关注字节跳动在AI基础设施方面的技术博客和开源项目，提前了解团队技术方向
• 突出GPU性能优化项目经验，具体描述使用CUDA优化算子、提升吞吐或降低延迟的量化成果
• 强调对深度学习算子底层实现的掌握，以及编译优化、分布式并行等实践经验
• 展示对vLLM、TensorRT-LLM等框架的二次开发或性能优化工作
• 系统学习CUDA编程模型和GPU硬件架构，动手实现算子优化案例
• 熟悉编译优化技术，可以阅读LLVM或TVM相关源码
• 掌握分布式并行原理，实践TP/PP方案，了解常用通信库如NCCL

面试指南

• 对每个技术问题，先阐述核心概念和原理，再结合实际项目案例说明具体优化方法和效果
• 对于系统设计类问题，提出多种方案并对比优劣，展示权衡思维
• 遇到不了解的问题，坦诚说明，但可以尝试从基本原理出发推导
• 请详细解释CUDA的内存层次结构，并说明如何优化访存
• 举例说明你在算子融合或编译优化方面的实践经验
• 张量并行与流水线并行的区别是什么？如何解决负载不均衡问题？
• 如何定位和优化大模型推理中的GPU性能瓶颈？
• 你对vLLM或TensorRT-LLM了解多少？它们各自的优缺点是什么？