分布式深度学习优化工程师(J10266)

优缺点分析

角色解读

• 深耕AI系统性能优化，成为AI Infra领域的资深专家
• 向分布式系统架构师方向发展，负责设计更高效的AI计算平台
• 转向AI算法与系统结合的复合型角色，推动算法-系统协同设计
• 搭建和维护用于训练大型AI模型（如LLM）的大规模GPU/CPU集群环境
• 分析和优化分布式训练过程中的计算、通信瓶颈，提升模型训练吞吐效率
• 深入研究并实现最新的性能优化算法与工具，并将其集成到生产系统中
• 深入理解计算机体系结构和并行计算原理（如GPU架构、PCIe、NVLink、RDMA）
• 精通Linux系统管理和高性能计算（HPC）环境部署与调优
• 熟悉至少一种深度学习框架（如PyTorch）的分布式训练机制和底层通信库（如NCCL）

申请策略

• 研究中科曙光在高性能计算和AI算力方面的公开技术分享或论文，理解其技术栈和挑战
• 面试时准备一个你优化过的具体案例，清晰阐述问题、分析过程、解决方案和量化结果
• 重点突出有大规模集群（特别是GPU集群）运维、部署或性能调优的实际项目经验
• 详细描述在分布式训练中解决过具体性能问题的案例（如通信优化、显存优化）
• 列出你熟悉的并行编程模型（CUDA/MPI/NCCL）和性能分析工具（Nsight, VTune等）
• 展示阅读和复现英文技术论文的能力，这是研究型岗位的重要加分项
• 系统学习GPU编程与优化，深入理解CUDA编程模型和性能分析
• 深入研究一种主流分布式通信库（如NCCL）的实现原理和优化方法

面试指南

• 使用STAR法则（情境、任务、行动、结果）结构化描述你的优化项目，突出你的分析思路和技术手段
• 从系统层次（应用、框架、运行时、驱动、硬件）入手，系统地阐述如何定位问题（如使用profiler工具），并给出具体优化手段（如调参、代码优化、算子融合）
• 结合论文和实际经验，阐述对优化原理的理解，而不仅仅是工具的使用步骤
• 请描述一次你优化大规模分布式模型训练速度的经历，遇到了什么瓶颈？如何分析并解决的？
• 在分布式训练中，如何识别和优化通信（例如AllReduce操作）成为性能瓶颈的情况？
• 你熟悉哪些深度学习性能分析工具？请举例说明如何使用它们定位性能热点
• 谈谈你对CUDA或MPI等并行编程模型的理解，以及它们在分布式训练中的作用
• 如果给你一个包含上千张GPU的集群，你会如何着手进行性能基准测试（Benchmark）？