分布式训练研发工程师-27届

优缺点分析

角色解读

• 向高性能计算/系统架构专家方向发展，成为分布式训练基础设施的核心技术骨干
• 可转岗至AI芯片软件栈、编译器、网络通信等更底层方向，或晋升为技术Leader
• 基于公司自研MLU芯片，开发高性能异构并行通信库，实现设备间高效数据传输
• 针对大规模分布式训练场景，优化多机多卡的计算、通信和整体训练性能
• 与算法和系统团队协作，定位性能瓶颈，进行底层调优
• 扎实的C/C++编程能力，熟悉Python/Shell脚本
• 理解计算机体系结构、并行计算原理，了解CUDA、NCCL、OpenMPI等并行开发技术
• 熟悉分布式训练框架（如PyTorch、Megatron-LM）的执行模式

申请策略

• 关注寒武纪技术博客或开源项目，了解MLU架构特点，在面试中展示对公司的了解和热情
• 准备好笔试环节，复习操作系统、计算机网络和数据结构基础知识
• 突出C/C++项目经验，如有高性能计算、并行编程或分布式训练相关项目最加
• 展示对CUDA、NCCL、OpenMPI等工具的使用或学习经历
• 强调系统编程、网络通信、性能优化方面的能力，以及Linux环境开发经验
• 补充学习CUDA编程和NCCL/OpenMPI的使用，动手实现简单集合通信示例
• 阅读PyTorch分布式训练源码（如DDP、NCCL后端），理解数据并行和模型并行

面试指南

• 使用STAR法则：情境、任务、行动、结果，强调量化指标
• 先阐述理论基础，再结合实践案例，最后总结优化思路和收获
• 面对未知问题，可展示逻辑推理过程，从系统层面逐层拆解
• 请介绍一次你使用C/C++进行性能优化的经历
• 解释NCCL中AllReduce的实现原理，如何优化带宽利用率？
• 分布式训练中常见的通信瓶颈有哪些？如何定位和解决？
• 你对CUDA编程模型哪些部分最熟悉？如何设计kernel来减少访存延迟？
• 谈谈你对异构计算的理解，以及MLU这类AI芯片与GPU的差异