C++开发实习生（大模型推理）

优缺点分析

角色解读

• 成为AI推理性能优化专家，深入底层系统优化
• 向系统架构师发展，主导大规模分布式推理系统设计
• 实习表现优秀可转正，进入寒武纪核心研发团队
• 参与分布式推理系统建设，为LLM和多模态模型提供高性能解决方案
• 针对大语言模型和视觉生成模型进行端到端推理性能优化，降低延迟并提升吞吐量
• 深度优化推理框架，提升其在异构硬件上的扩展性和易用性
• 开发自动化性能分析工具，快速定位推理瓶颈并生成优化建议
• 扎实的C++/Python编程能力，熟悉Linux开发环境
• CUDA/BANGC等异构编程经验，具备GPU优化基础
• 了解LLM或视觉生成模型原理，熟悉vLLM、Diffusers等框架
• 深入理解量化、kvcache、多机多卡并行等加速技术

申请策略

• 在简历和面试中强调对AI推理性能的热情和具体实践
• 关注寒武纪的技术博客或开源项目，展现对公司的了解
• 突出C++/Python项目经验，尤其是性能敏感型系统开发
• 强调CUDA或BANGC编程经历，如GPU kernel优化
• 量化展示在大模型推理或视觉生成方面的实践，如使用vLLM
• 如有开源贡献或相关竞赛奖项，务必体现
• 提前学习vLLM、SGLang等推理框架的源码和设计思路
• 练习CUDA优化技巧，如共享内存、warp shuffle等

面试指南

• 技术问题采用“原理+实践”结构：先解释核心概念，再结合项目经验举例
• 优化类问题使用“识别瓶颈→提出方案→验证效果”的逻辑
• 比较类问题采用“相同点+差异点+适用场景”的框架
• 请解释CUDA编程中block和grid的划分原则
• 如何优化一个矩阵乘法的CUDA kernel？
• Compare vLLM and TensorRT-LLM in terms of architecture and performance. (英文可能)
• 说说你对量化技术的理解，以及它如何影响推理性能
• How would you debug a performance bottleneck in a distributed inference system? (英文可能)