推理执行引擎研发工程师-Data AML

优缺点分析

角色解读

• 技术深度方向：成为GPU高性能计算专家，主导大模型推理架构的设计与演进
• 技术广度方向：扩展到分布式系统、AI基础设施等领域，成为全栈AI系统架构师
• 管理与技术双线：带领团队进行技术攻关，逐步转型为技术经理或架构师
• 负责大模型推理引擎的底层架构迭代，优化GPU全链路性能，包括算子融合、编译优化等
• 适配多种GPU/NPU硬件，搭建高性能推理底座，主导分布式并行策略（如TP、PP）的设计与落地
• 跟踪前沿技术，对标vLLM、TensorRT-LLM等框架，持续迭代推理系统的性能与成本
• 精通C/C++、Python和CUDA编程，深入理解GPU硬件架构与内存模型
• 熟悉深度学习算子底层实现，能够手写优化算子并完成精度对齐
• 掌握推理编译全链路技术，包括计算图优化、算子融合、量化编译等
• 熟练使用GPU性能分析工具（如Nsight），具备系统化优化能力

申请策略

• 了解字节跳动AML团队在推理引擎方面的技术方向和开源贡献，在面试中展示技术热情
• 准备一个完整的性能优化案例，从问题定位到方案落地，展示系统化思维能力
• 突出CUDA编程和GPU性能优化项目经验，如手写算子、优化吞吐/延迟的具体数据
• 展示分布式并行方案落地经验（TP、PP等），并说明解决的关键问题
• 提及对主流推理框架（vLLM、TensorRT-LLM）的二次开发或性能优化贡献
• 深入学习CUDA编程模型及GPU硬件架构，掌握Nsight等分析工具的使用
• 阅读vLLM、TensorRT-LLM源码，理解其核心设计并尝试修改

面试指南

• 对于性能优化问题，采用“分析瓶颈→提出方案→量化效果”的结构，从计算、访存、通信三个维度思考
• 对于并行策略问题，先解释原理（如TP切分权重，PP切分层），再结合具体场景分析负载均衡和通信开销
• 如何优化一个Transformer层在GPU上的推理性能？请从计算和访存角度分析
• 解释张量并行和流水线并行的原理及适用场景，你如何解决负载不均衡问题？
• 描述一个你使用Nsight发现并解决GPU性能瓶颈的具体案例
• vLLM的调度架构和内存管理有什么特点？如何进一步优化？
• 复习CUDA编程模型（grid-block-thread）、共享内存、原子操作等关键概念
• 深入理解Transformer/LLM推理流程，包括KV Cache、Prefill-Decode阶段