AI推理加速方向工程师（J100434）

优缺点分析

角色解读

• 从推理引擎优化专家成长为全栈训推架构师，主导大模型基础设施的设计与迭代
• 向AI芯片底层方向深造，成为自研芯片与框架协同优化的核心技术骨干
• 管理方向可晋升为团队技术负责人或架构师，带领团队攻克算力瓶颈
• 优化大模型推理引擎，在MoE架构下调整服务调度、并行策略和KVCache管理，提升吞吐和降低延迟
• 参与自研高性能KVCache池化系统的开发，统一管理Prefill和Decode阶段内存，突破显存墙限制
• 研发全模态训练框架，设计自适应切分和通算编排策略，提升LLM、VLM等模型训练效率
• 深入底层硬件，优化自研芯片的算子性能，并完成主流大模型框架的适配与迁移
• 精通vLLM、SGLang、Megatron或DeepSpeed等主流训推框架，有实战经验或深入学习经历
• 深入掌握CUDA编程和高性能算子开发，能针对硬件特性做极致优化
• 具备系统性能分析能力，能从服务调度、内存管理等多个维度进行调优
• 熟练使用AI工具链提升开发效率，具备Vibe Coding素养和论文写作能力

申请策略

• 在简历或作品集中展示个人对性能优化的热情，例如列出做过的性能调优案例和对应的benchmark结果
• 关注百度智能云的技术博客和开源项目，面试时体现对团队工作的了解
• 突出在vLLM、SGLang等框架的实践经历或贡献，量化优化效果（如吞吐提升X%，延迟降低Y%）
• 展示CUDA或高性能算子开发的项目，包括算子设计、并行策略、内存优化等细节
• 如有大模型训推相关论文，需明确列出成果和创新点
• 强调使用AI工具链提升开发效率的经验，体现Vibe Coding素养
• 深入研读vLLM或SGLang源码，尝试提交bug fix或小feature到社区
• 系统学习CUDA优化技巧，包括warp调度、共享内存使用、算子融合等

面试指南

• 对于架构对比类问题：先说明各自核心设计理念，再对比关键实现差异，最后结合场景给出选择建议
• 对于优化类问题：遵循分析瓶颈→提出方案→实验验证→量化结果的思路，强调对细节的打磨
• 对于开放性问题：结合自身项目经验，从全栈视角展开，体现系统思维能力
• 请解释vLLM中PagedAttention的原理，以及它如何管理KV Cache？
• 如何优化一个基于MoE的大模型推理延迟？请从调度和并行策略角度阐述
• 描述一次你通过CUDA算子优化大幅提升性能的经历，用了哪些技巧？
• SGLang和vLLM在架构设计上有哪些关键差异？各自适用场景是什么？
• 你如何看待自研芯片在大模型推理中的机遇和挑战？