多模态大模型推理框架优化工程师-Data AML（北京/上海/杭州/深圳）

优缺点分析

角色解读

• 在AI Infra领域深耕，成为GPU计算和推理框架的专家，主导关键优化方向
• 向架构师方向发展，设计大规模异构计算集群的推理系统
• 横向拓展至训练优化、模型压缩或硬件适配等相邻领域
• 负责多模态大模型推理链路的端到端性能优化，包括GPU利用率、吞吐量、延迟和显存效率等核心指标的提升
• 设计和优化多卡推理通信策略（如TP/PP/EP），降低通信开销并实现计算与通信的overlap
• 深入理解GPU硬件架构，针对新硬件特性进行推理策略适配和性能调优
• 支持多种模型架构（VLM、视频生成、MoE）的推理加速，并跟踪前沿技术进行预研和落地
• 精通C++或Python，具备扎实的系统编程和性能优化基础
• 熟悉GPU体系结构（SM调度、显存层次、Roofline Model等），能够分析计算和访存瓶颈
• 深入理解Transformer推理流程，包括KV Cache、Attention计算和Tensor Parallelism通信拓扑
• 熟练使用性能分析工具（如NVIDIA Nsight、Profiler）定位性能瓶颈

申请策略

• 强调自己从系统全局角度思考优化策略的能力，而非仅关注单点
• 了解字节跳动在AI Infra方向的最新布局，表达对Seed项目等前沿工作的热情
• 重点突出GPU性能优化项目经验，包括具体优化指标（吞吐、延迟）和改进效果
• 详细描述多卡通信优化或推理框架设计经历，说明使用的技术栈和瓶颈分析思路
• 展示对Transformer/KV Cache/Tensor Parallelism等核心概念的深入理解
• 如有开源贡献或技术博客，附上链接以证明技术深度
• 系统学习CUDA编程和GPU微架构（如Hopper、Ampere架构差异）
• 动手实践推理框架（如vLLM、TensorRT-LLM）的性能调优

面试指南

• 对于性能优化问题，采用“瓶颈定位→方案设计→实验验证→效果量化”的闭环思路
• 对于架构设计问题，先说明核心原理，再对比不同方案的优劣，结合具体场景给出建议
• 如何优化Transformer推理中的KV Cache内存占用？
• 请解释Tensor Parallelism和Pipeline Parallelism的区别及适用场景
• 给定一个GPU kernel，如何分析其是计算瓶颈还是访存瓶颈？
• 描述一次你成功提升GPU推理吞吐量的具体案例和步骤
• 在多卡推理中，如何降低all-reduce通信开销？
• 复习GPU体系结构和CUDA编程基础知识，熟悉Roofline Model和性能分析工具