AI Framework and Performance Experts(vLLM)

优缺点分析

角色解读

• 成为 AI 基础设施领域的顶级专家，主导下一代推理引擎架构设计
• 向 AI 系统软件总监或首席工程师方向发展，带领团队攻克行业难题
• 在开源社区建立极高影响力，成为 LLM 推理领域的权威意见领袖
• 构建和优化针对AMD GPU的大规模语言模型（LLM）推理运行时系统
• 实现并优化张量并行、流水线并行及专家并行（MoE）等分布式推理策略
• 通过调整内核、编译器和内存管理，提升推理服务的吞吐量、降低延迟并提高资源利用率
• 将优化成果和特性贡献给vLLM、SGLang等主流开源推理框架
• 精通 Python 和 C/C++，具备大规模系统调试和性能调优能力
• 深入理解 LLM 推理机制，熟悉 vLLM、SGLang 等框架源码
• 掌握 GPU 架构原理及 ROCm/HIP 生态，能进行底层算子优化
• 具备分布式系统开发经验，熟悉 RDMA、NCCL/RCCL 等通信库

申请策略

• 准备展示你对 LLM 推理瓶颈的深度分析能力，而不仅仅是调用 API
• 强调你的开源协作能力和跨团队（内核、编译器、网络）沟通技巧
• 突出在 vLLM、SGLang 等开源项目的具体贡献代码或 PR 链接
• 详细列举在 GPU 推理性能优化方面的量化成果（如吞吐量提升百分比、延迟降低数据）
• 强调分布式训练/推理系统的架构设计经验和多节点通信优化案例
• 深入研究 MoE（混合专家）模型的并行策略及其在推理中的应用
• 加强对于 FlashAttention、KV-Cache 优化等前沿推理加速技术的理解
• 熟悉 ROCm 工具链及 AMD GPU 架构特性，弥补与 NVIDIA CUDA 生态的差异认知

面试指南

• STAR法则：情境-任务-行动-结果，重点突出‘行动’中的技术深度
• 分层解析：从应用层、框架层、内核层、硬件层逐层剖析问题根源
• 数据支撑：用具体的性能指标（TFLOPS, ms/token, memory bandwidth utilization）证明优化效果
• 请详细描述你优化过的一个 LLM 推理场景，遇到了什么性能瓶颈？你是如何定位并解决的？
• 解释一下 Tensor Parallelism 和 Pipeline Parallelism 在推理阶段的区别和挑战
• 如何在 vLLM 中实现高效的 KV-Cache 管理？对比 PagedAttention 的原理
• 当面对新的 GPU 架构时，你如何评估和调整推理框架以适配新硬件？
• 请谈谈你在开源项目中与社区维护者协作的经历，如何处理代码审查中的分歧？