深圳-AI infra 推理工程师（基座研发方向）(J101222)

优缺点分析

角色解读

• 从推理工程师成长为AI Infra专家，主导大规模分布式推理系统的设计与优化
• 向技术Leader方向发展，带领团队攻坚推理性能瓶颈，推动业界技术标准
• 可横向扩展至训练系统、编译器优化或AI芯片生态等相邻领域
• 搭建并优化百度文心大模型的推理基础设施，包括推理引擎、高性能计算库等核心组件
• 深入GPU底层进行极致性能调优，涉及CUDA编程、算子优化、内存管理等方面
• 跟踪AI Infra前沿技术，开展前瞻性研究与工程验证，推动关键技术突破
• 与算法团队协同设计模型结构与推理优化，实现端到端加速
• 扎实的C++/Python编程能力，精通CUDA、CUTLASS、Triton等GPU编程工具
• 深入理解并行计算、分布式系统和大模型推理优化技术（如注意力优化、批调度、分离部署等）
• 有主流推理引擎（vLLM、SGLang、TensorRT-LLM）使用或开发经验优先
• 强烈的自驱力和技术好奇心，能独立攻坚复杂系统问题

申请策略

• 在简历和面试中展现对AI Infra技术的真实热情，比如个人博客或GitHub项目
• 了解百度文心大模型的技术动态，面试时能针对性地提出优化想法
• 重点突出CUDA编程项目经验，包括具体优化指标（如吞吐提升、延迟降低）
• 展示大模型推理或高性能计算相关经历，尤其是使用vLLM等引擎的实战
• 如有开源贡献或顶会论文，务必列出，这是显著加分项
• 强调独立解决复杂系统问题的案例，体现自驱力和结果导向
• 提前学习Triton、CUTLASS等编程模型，并动手实现一些算子
• 熟悉主流推理引擎（vLLM、TensorRT-LLM）的架构和源码，理解其优化策略

面试指南

• 对于技术原理题，先清晰解释核心概念，再结合具体应用场景阐述优化点，最后可举实例
• 对于系统设计题，从需求分析、架构分层、关键模块（如调度、显存管理）和权衡等方面展开，体现系统性思考
• 对于项目经验题，采用STAR原则（情境、任务、行动、结果），突出个人贡献和技术难点
• 请解释FlashAttention的原理及其在推理中的优化效果
• 如何优化Transformer推理中的KV Cache？有哪些池化或传输优化策略？
• 描述一个你使用CUDA进行性能优化的实际案例，如何分析和解决问题？
• vLLM的调度策略是怎样的？与其他推理引擎相比有何优劣？
• 如何设计一个支持高并发的大模型推理服务？从系统架构角度阐述