北京-AI infra 推理工程师（基座研发方向）(J101235)

优缺点分析

角色解读

• 技术深耕：成为AI Infra领域专家，从推理引擎到全栈优化持续深入
• 架构师方向：主导推理系统整体架构设计与演进，影响技术路线
• 跨领域扩展：可向训练系统、模型部署、硬件协同设计等方向拓展
• 负责文心大模型推理基础设施的架构设计与实现，包括推理引擎、高性能计算库和通信库
• 深度参与推理全链路的性能优化，如GPU内核调优、算子融合、量化与稀疏化等
• 跟踪AI Infra前沿技术，进行前瞻性研究与工程验证，推动创新落地
• 与算法团队协同，优化模型结构与推理系统的配合，提升推理效率
• 精通C++/Python及CUDA编程，熟悉CUTLASS、Triton等底层优化工具
• 深入理解并行计算、分布式系统，掌握大模型推理核心优化技术
• 有vLLM/SGLang/TensorRTLLM等推理引擎使用或开发经验
• 具备独立分析和解决复杂系统问题的能力，结果导向，自驱力强

申请策略

• 在简历和面试中展示对推理优化的热情和独立思考能力，可附上技术博客或项目链接
• 了解百度文心大模型最新进展，准备一些关于推理优化的想法或建议
• 突出CUDA编程项目经验，特别是GPU优化、算子开发相关成果
• 强调参与过大模型推理系统或相关开源项目的经历，如vLLM、TensorRTLLM等
• 量化性能提升成果，如延迟降低X%、吞吐提高Y%，用数据说话
• 如有顶会论文或开源贡献，务必在显眼位置列出
• 系统学习CUDA编程及GPU架构，动手实现一些经典算子优化
• 熟悉主流推理框架源码（vLLM、SGLang），理解其核心调度和内存管理机制

面试指南

• 对于优化类问题，可从瓶颈分析开始，再提出多种方案并对比优劣，最后给出推荐
• 对于框架对比，可从架构设计、适用场景、性能、易用性等维度展开，结合具体数据
• 对于排查问题，可按照“定位瓶颈->假设验证->实施优化”的步骤，并强调系统性思维
• 如何优化大模型推理中的attention计算？请介绍几种常见方法
• 对比vLLM和TensorRTLLM的架构差异和各自优势
• 在CUDA编程中，如何实现高效的kernel融合？请举例说明
• 解释大模型推理中的显存管理策略，如PagedAttention
• 当推理吞吐量不足时，你会从哪些方面进行排查和优化？