C++开发实习生（大模型推理）

优缺点分析

角色解读

• 实习期间可深入掌握AI推理优化核心技术，成为高性能计算领域的专业人才
• 表现优秀可转正，未来向资深推理工程师或架构师方向发展
• 可进一步涉足AI芯片底层优化或分布式系统设计，拓宽技术视野
• 参与分布式推理系统的设计与开发，为LLM和多模态模型提供高性能推理方案
• 针对大语言模型和视觉生成模型进行端到端性能优化，包括降低推理延迟、提升吞吐量
• 优化推理框架在寒武纪异构硬件上的扩展性和易用性，并开发自动化性能分析工具
• 精通Linux环境下的C++和Python编程，具备CUDA或BANGC等异构编程经验
• 熟悉大模型推理框架（如vLLM、TensorRT-LLM）或视觉生成系统（如Diffusers、ComfyUI）
• 深入理解量化、KV Cache、多机多卡并行等LLM加速技术

申请策略

• 在简历中体现对分布式系统和异构计算的理解，面试会深入考察
• 准备一个你优化过性能的案例，展示问题分析和解决能力
• 突出C++/Python编程能力，尤其是Linux环境下的项目经验
• 强调CUDA或其他异构编程经验，有相关优化项目更佳
• 列出对LLM推理框架（如vLLM）的了解或使用经历，展示技术兴趣
• 提前熟悉vLLM、TensorRT-LLM源码或动手部署过LLM推理服务
• 补充GPU编程和性能调优知识，学习NVIDIA Nsight等工具

面试指南

• 对于技术对比类问题，采用“原理-差异-适用场景”的框架，先说明各框架核心设计，再对比关键点
• 对于优化类问题，使用“问题定位-方案设计-效果验证”的结构，结合具体项目经验
• 对于基础知识类问题，先给出准确定义，再展开细节和实际应用
• 请介绍一下LLM推理中的KV Cache是什么？如何优化？
• 你用过哪些推理框架？请比较vLLM和TensorRT-LLM的差异
• 如何优化一个C++函数在GPU上的性能？请举例说明
• 多机多卡并行训练或推理中有哪些常见的通信瓶颈？
• 你对量化技术了解多少？INT8和FP8在推理中的优缺点？