大模型推理部署工程师-福州

优缺点分析

角色解读

• 从推理部署工程师向AI系统架构师发展，主导大模型端侧和边缘侧技术方案
• 向技术专家或团队负责人方向成长，积累AI编译器和高性能计算经验
• 随着端侧大模型普及，成为稀缺的系统性能优化人才，可拓展到更多AI芯片和应用场景
• 负责LLM/VLM推理工具链的优化，包括计算图优化、执行链路改进和内存管理
• 解决大模型部署中的动态Shape、多卡通信效率等关键性能瓶颈
• 设计面向CPU/NPU/GPU异构架构的高性能推理部署方案
• 参与模型量化、运行时调度和端到端性能优化，推动产品落地
• 扎实的C/C++编程能力，深入理解数据结构和算法
• 熟悉模型转换、量化、图优化和运行时执行等部署全流程
• 对并行计算、分布式系统和异构计算有系统认知
• 具备复杂系统问题拆解和跨团队协作能力

申请策略

• 提前了解瑞芯微在AI芯片和NPU技术栈的布局，在面试中体现对端侧推理的兴趣
• 准备一个完整的性能优化故事，从问题定位到方案落地，展现系统性思维
• 突出端到端模型部署项目经验，包括量化和图优化具体成果
• 强调C/C++性能调优案例，如延迟或吞吐量提升数据
• 展示并行计算或分布式系统相关项目，如多卡训练/推理
• 如果有端侧或推理系统落地案例，务必详细写明
• 补充学习TensorRT、ONNX Runtime等推理引擎的架构和优化方法
• 熟悉PyTorch模型导出、量化工具（如GPTQ、AWQ）的使用

面试指南

• 采用STAR法则，先说明背景，再明确具体任务，突出你采取的技术手段和量化结果
• 对于技术原理题，从底层机制出发，结合实践经验展开，不必局限于背答案
• 请描述一次大模型推理性能优化的案例，如何定位瓶颈并解决？
• 解释动态Shape对推理性能的影响及你如何应对？
• 多卡通信在推理中如何优化？你了解哪些通信库（如NCCL）？
• 为什么量化可以加速推理？你有使用过哪些量化方法？
• 如何在内存受限的端侧设备上部署大型模型？
• 复习模型部署全流程的关键环节，包括转换、量化、优化器等