Solutions Architect - CPU and LPU

优缺点分析

角色解读

• 深耕领域，成为AI系统架构与性能优化方面的顶级技术专家，影响产品技术路线图
• 横向发展，拓展至更广泛的平台（如完整的数据中心解决方案）或特定垂直行业（如自动驾驶、云服务）
• 可选择技术管理路径，领导解决方案架构师团队或转向产品管理角色
• 作为技术专家，深入理解客户的AI工作负载挑战，并设计基于NVIDIA CPU/LPU/GPU平台的异构解决方案
• 进行性能分析与优化，重点是大语言模型推理的全栈效率，涵盖从编译器到服务框架的多个层次
• 构建技术原型和参考架构，向客户和内部团队展示技术方案的可行性与优势
• 精通计算机体系结构，尤其是现代CPU和加速器（GPU/LPU）的工作原理和异构计算模型
• 具备深入的Linux系统知识、软件性能分析和调优能力，能定位和解决复杂的性能瓶颈
• 熟悉主流AI推理框架（如TensorRT-LLM, vLLM）并有实际的大模型优化部署经验

申请策略

• 在申请或面试中，尝试展示你对“全栈AI效率”的理解，说明你如何从模型、框架到硬件多个层面思考优化问题
• 准备一个过去应对复杂技术挑战并最终说服客户或团队的案例，突出你的问题解决和沟通策略
• 重点突出在AI系统、异构计算、性能优化方面的具体项目成果，最好能量化（如延迟降低百分比、吞吐提升倍数）
• 详细描述使用相关技术栈（如PyTorch, TensorRT, Kubernetes等）和框架解决实际问题的经验
• 强调与客户或跨部门团队合作，推动技术方案落地的经历，体现沟通和影响能力
• 深入研究NVIDIA的Grace CPU和LPU（推测为下一代推理专用芯片）相关公开技术文档、白皮书和发布会信息
• 系统学习大语言模型服务与推理优化的最新技术，如Continuous Batching、Speculative Decoding等，并动手实践

面试指南

• 使用STAR法则（情境、任务、行动、结果）清晰地结构化你的故事，重点突出你的技术决策和影响
• 采用分层分析法：从应用层、框架层、运行时层、操作系统层到硬件层，逐级排查潜在瓶颈，展示系统化思维
• 使用比喻和简化的类比来解释复杂技术，确保信息传达清晰，同时准备好应对后续的深度技术追问
• 请描述一个你优化过的AI推理系统性能的案例，遇到的瓶颈是什么，最终如何解决？
• 如果客户抱怨他们的LLM服务延迟过高，但GPU利用率也很低，你会如何系统地分析和定位问题？
• 如何向非技术背景的客户高管解释CPU与GPU在AI推理中的协同工作原理及其带来的效益？
• 重温操作系统、计算机组成原理的核心知识，特别是内存层次结构、并行计算和I/O模型
• 回顾你过去使用过或了解的AI推理框架（如TensorRT-LLM, vLLM），准备解释其关键组件和工作流程