AI Inference Engineer

优缺点分析

角色解读

• 从AI推理工程师成长为系统架构师，负责大规模推理系统设计与优化
• 向AI基础设施方向拓展，成为GPU计算平台或分布式训练/推理专家
• 在AMD内部可横向迁移至芯片设计、编译器优化等硬件相关岗位
• 设计并实现高性能的大模型推理系统，优化计算性能与算力利用率
• 对模型进行性能分析与调优，识别并解决推理瓶颈，提升推理速度
• 跟踪AI推理技术前沿，探索并引入创新方案，推动团队技术迭代
• 深入掌握大模型算法原理（GPT、LLaMA、DeepSeek等）及推理引擎（vLLM、SGLang）
• 精通Python/C/C++，熟练使用PyTorch等深度学习框架
• 具备CUDA/Triton算子优化经验，了解分布式推理框架（pd分离、Expert Parallel）

申请策略

• 研究AMD在AI领域的战略布局（如MI系列GPU、ROCm），在面试中展示对公司技术的理解
• 准备一个完整的推理优化案例分析，从问题诊断到方案实施，体现解决问题的思路
• 突出大模型推理优化项目经历，具体说明使用过的推理引擎和优化技术（如FlashAttention、Continuous Batching）
• 展示CUDA/Triton算子优化案例，量化性能提升效果（如延迟降低X%、吞吐提升Y%）
• 提及分布式推理相关经验，如Expert Parallel或模型分片部署
• 系统学习vLLM、SGLang等推理引擎源码，理解其核心调度和显存管理机制
• 补充AMD ROCm生态知识，了解HIP编程模型，便于在AMD GPU上优化
• 练习LeetCode中等难度算法题，强化C++系统编程能力

面试指南

• 从原理到实践：先清晰解释概念，再结合自身项目经验说明如何应用
• 用STAR法则描述项目：背景、任务、行动、结果，突出量化指标
• 对比不同方案时，先分析优缺点，再给出选择理由
• 请解释FlashAttention的原理及其对推理性能的影响
• 如何优化大模型推理的显存占用和延迟？请举例说明
• 分布式推理中Expert Parallel与Tensor Parallel的区别是什么？分别适用什么场景？
• 描述一个你用CUDA或Triton优化算子的项目，具体做了哪些优化，达到什么效果？
• 你对AMD ROCm平台了解多少？与CUDA相比有哪些异同？