基础设施与稳定性工程-大模型推理优化工程师-高性能网络通信

优缺点分析

角色解读

• 成为大模型基础设施领域专家，主导高性能通信架构设计
• 向技术专家或架构师方向发展，负责更大规模的分布式系统优化
• 有机会参与行业前沿技术研究，推动AI基础设施创新
• 设计并实现高性能网络通信框架，优化大模型推理中的通信瓶颈
• 与推理框架（如VLLM、sglang）联合优化，提升整体推理性能
• 深入底层，优化集合通信、点对点通信，并适配ROCEv2、Infiniband等网络协议
• 精通C++和Python，具备系统级开发与调试能力
• 熟悉NCCL、DeepEP等通信库，了解分布式并行优化
• 掌握CUDA编程，了解GPU架构，有kernel优化经验
• 熟悉主流推理框架（VLLM、sglang、TensorRT）者优先

申请策略

• 关注阿里巴巴在AI基础设施方面的技术博客和开源项目，了解团队技术方向
• 准备展示个人在性能优化方面的项目成果，突出量化指标
• 突出高性能通信框架开发经验，如NCCL、DeepEP等
• 强调CUDA kernel优化和GPU性能调优的实际案例
• 展示分布式系统优化和推理框架（如VLLM）的实践经验
• 体现解决复杂技术问题的能力和团队协作成果
• 深入学习ROCEv2、Infiniband等网络协议和机内互联技术
• 熟悉主流大模型架构和推理框架，如VLLM、sglang

面试指南

• 使用STAR法则：情境、任务、行动、结果，突出技术细节和量化成果
• 强调系统性思维，从架构设计到具体实现，展示对底层原理的理解
• 结合项目经验，说明如何权衡性能与可维护性
• 请描述你如何优化一个分布式训练中的通信瓶颈？
• 解释NCCL的工作原理，以及如何调优集合通信性能？
• 你如何设计一个高性能的GPU通信框架？
• 在CUDA kernel优化中，你遇到过哪些挑战？如何解决？
• 如何评估和优化大模型推理的端到端性能？