分布式基础软件开发实习生-27届

优缺点分析

角色解读

• 实习转正后可以成为分布式系统工程师，深入参与AI芯片的软件栈开发
• 未来可向高性能计算专家或AI基础设施架构师方向发展，掌握核心硬技能
• 积累底层系统经验，也可转向AI框架开发或芯片设计验证等方向
• 设计和开发高性能通信加速库，如针对分布式训练场景的硬件加速库，提升通信效率
• 进行软硬件协同优化，分析瓶颈并实现优化方案，解决分布式训练/推理中的性能问题
• 参与底层系统软件研发，涉及C/C++编程、性能分析工具使用和并行计算技术
• 扎实的C/C++编程基础，能够编写高效、稳定的底层代码
• 熟悉Python/Shell等脚本语言，用于自动化测试和工具开发
• 了解计算机体系结构、GPU架构，具备性能分析和调优的思维
• 对分布式计算、网络编程（RDMA等）有基本认识，了解NCCL等通信库

申请策略

• 在面试中展现对技术细节的追问能力，表现出对底层原理的好奇心
• 关注寒武纪的产品和技术博客，了解其芯片架构和软件栈方向
• 突出C/C++项目经验，尤其是涉及性能优化或并行计算的项目
• 展示对计算机体系结构的理解，如CPU/GPU内存模型、缓存优化等
• 如果有分布式训练或高性能计算相关经历（如使用MPI、CUDA），务必重点描述
• 提前复习计算机体系结构、并行计算和网络编程基础
• 动手实践一些小的并行计算项目（如用OpenMP或CUDA做简单加速）
• 了解RDMA和NCCL的基本概念，阅读相关文档

面试指南

• 体系结构问题：先说明基本原理，然后结合具体场景（如内存层次、并行度）分析优化方向
• 性能优化问题：遵循“测量-分析-优化-验证”的流程，举例说明使用profiler（如perf）定位瓶颈
• 通信优化问题：从计算通信重叠、梯度压缩、拓扑感知等角度展开，结合NCCL等工具
• 请解释一下CPU和GPU在体系结构上的主要区别，以及如何针对它们进行性能优化
• 你如何理解分布式训练中的通信瓶颈？请列举常见的优化方法
• 你能写一个简单的C/C++程序，实现一个高效的内存拷贝函数吗？并说明优化思路
• 描述一次你解决性能问题的经历，你用了哪些工具和方法？
• 复习C/C++基础，包括内存管理、指针、模板等，准备手写代码