上海-AI infra 推理工程师（基座研发方向）(J101224)

优缺点分析

角色解读

• 技术深耕：成为大模型推理领域的专家，主导核心组件研发，推动业界技术标准
• 架构方向：晋升为AI Infra架构师，负责整体技术规划与系统设计
• 管理路径：带领团队优化推理系统，管理技术团队，向技术总监发展
• 搭建和演进文心大模型推理基建体系，包括推理引擎、高性能计算库和通信库的设计与开发
• 参与大模型推理全链路，重点进行GPU下的极致性能优化，如计算通信优化、编译优化等
• 与算法团队协同设计模型结构与推理优化，推动RL Infra等协同创新
• 跟踪AI Infra前沿技术，进行前瞻性研究与工程验证，推动关键技术突破
• 精通C++/Python，熟练掌握CUDA、CUTLASS、CuTe、Triton等GPU编程工具
• 深入理解并行计算、分布式系统和存储，掌握大模型推理核心优化技术（注意力优化、批调度、Cache池化等）
• 具备高性能计算或推理引擎（vLLM、SGLang、TensorRTLLM）经验，熟悉低比特量化、投机解码等
• 自驱力强，对前沿技术保持好奇心，有开源贡献或顶会论文者更佳

申请策略

• 展示对百度文心大模型技术栈的了解，面试时提出有价值的优化思路
• 强调结果导向和解决复杂问题的能力，准备一些系统调优的案例
• 突出GPU编程项目经验，如CUDA优化、算子开发、推理引擎使用（vLLM等）
• 强调分布式系统或高性能计算相关项目，特别是大模型推理或训练经验
• 展示开源贡献、顶会论文或技术博客，体现技术深度和影响力
• 用量化成果说明性能提升（如延迟降低、吞吐提升百分比）
• 系统学习CUDA编程和GPU架构，动手实现一些算子优化（如FlashAttention）
• 熟悉主流推理引擎源码（vLLM、TensorRTLLM），理解其核心设计

面试指南

• 分点回答：先总述问题核心，再分技术细节，最后总结效果
• 结合项目经验：用实际案例说明你如何优化，突出量化成果
• 展示系统性思维：从系统层面分析权衡，考虑扩展性、稳定性等
• 请解释FlashAttention的原理及其对推理性能的影响
• 如何优化大模型推理时的显存占用和延迟？请给出具体措施
• 描述vLLM的PagedAttention机制，相比传统方式有何优势？
• 如果要在GPU上实现一个高效的Gemm算子，你会考虑哪些优化策略？
• 如何设计一个分布式推理调度系统以支持高并发？