AI 开发工程师-大模型/端侧推理

优缺点分析

角色解读

• 可以成长为AI推理优化专家，深入底层硬件和算法优化
• 有机会向技术管理方向发展，带领团队负责AI工程化项目
• 随着端侧AI的普及，该领域经验将极具价值，可拓展至更多业务场景
• 负责大模型和多模态模型的工程化落地，包括模型转换、部署和推理链路开发
• 深入优化推理性能，针对KV Cache、注意力机制等核心环节进行调优
• 使用主流推理框架（如llama.cpp、ONNX Runtime）进行模型封装和量化，解决内存和时延瓶颈
• 搭建评测基准，对比不同硬件和引擎的表现，并协同多团队推进端侧AI方案落地
• 扎实的Transformer架构知识，熟悉大模型推理流程（Prefill/Decode）
• 熟练使用Python，具备C/C++开发能力更佳
• 熟悉PyTorch、ONNX、GGUF等模型格式，并有推理框架实战经验
• 了解模型量化、压缩和计算图优化技术，具备端侧部署经验者优先

申请策略

• 关注联想在端侧AI方面的业务布局，在面试中展现对产品的理解
• 准备一个完整的项目案例，从问题定义到优化效果，展示解决问题的能力
• 突出大模型推理优化项目经验，如量化、部署、性能调优的具体案例
• 强调对Transformer架构和推理流程的深入理解，可附上技术博客或开源贡献
• 展示使用llama.cpp、ONNX Runtime等框架的实战经验，以及C/C++开发能力
• 提前熟悉端侧推理框架，如llama.cpp、MNN、NCNN等
• 补充学习模型量化（INT4/INT8）和计算图优化的相关知识
• 了解CPU/XPU/NPU异构计算的基本原理

面试指南

• 对于技术原理问题，建议从基础概念出发，逐步深入，并结合实际项目经验
• 对于优化类问题，采用'问题-分析-方案-验证'的结构，突出量化指标和迭代过程
• 对于开放性问题，展现系统思考能力，并联系联想的产品或业务场景
• 请详细解释Transformer模型中的KV Cache机制及其优化方法
• 如何对一个大模型进行INT8量化？量化后精度损失如何评估和恢复？
• 在llama.cpp中，如何针对特定硬件进行性能调优？
• 描述一次你解决推理性能瓶颈的经历，具体步骤和结果如何？
• 端侧部署大模型面临哪些挑战？如何平衡模型大小和推理速度？