【B-UP】模型开发工程师AI Infra（实习）

优缺点分析

角色解读

• 从实习转为正式 AI Infra 工程师，深入大模型训练与推理系统优化
• 向资深系统工程师或架构师发展，主导千卡集群的分布式方案设计
• 可横向迁移至其他大模型基础设施岗位，如推理平台、计算集群管理
• 负责维护和优化基于 Megatron-LM、FSDP 等分布式训练框架，通过多维并行策略提升训练吞吐
• 参与 Transformer 核心算子的开发与性能优化，如 Attention、MoE、算子融合等，探索 CUDA/Triton 实现
• 优化推理引擎基于 vLLM、TensorRT-LLM，提升大模型服务的吞吐和时延
• 参与构建集群故障检测、自动恢复系统及 GPU 资源调度，保障训练稳定性
• 精通 Python 和 C/C++，具备较强系统编程能力
• 熟悉 NVIDIA GPU 架构 (Hopper/Ampere)，理解显存层次和 SM 工作原理
• 熟悉 PyTorch 及分布式训练框架 (Megatron、DeepSpeed)，有性能优化经验优先
• 了解高速网络 (InfiniBand/RoCE) 和集群互联 (NVLink/NVSwitch)

申请策略

• 了解 B 站在 AI 领域（如视频理解、推荐系统）的应用，在面试中表达业务关联性
• 准备一个性能优化案例，从问题定位、方案设计到效果提升完整阐述
• 突出 CUDA/Triton 编程经验，以及 GPU 性能优化项目（如矩阵乘法、算子融合）
• 展示分布式训练或推理的实战经历，包括并行策略（DP/TP/PP）的使用
• 如果参与过开源项目（如 PyTorch、vLLM）的贡献，务必详细说明
• 强调系统编程能力，如内存管理、多线程、网络编程等
• 系统学习 NVIDIA GPU 架构文档，理解 SM、显存、NVLink 等概念
• 动手复现 Megatron-LM 或 vLLM 的 part-level 源码，提升框架理解

面试指南

• 先拆解问题核心，比如训练吞吐或推理延迟，从计算、通信、I/O 三个维度分析瓶颈
• 结合具体技术方案，如并行策略、算子融合、通信压缩等，说明其原理和适用场景
• 若有实际经验，用 STAR 法则（Situation, Task, Action, Result）描述案例
• 解释 Megatron-LM 中的 tensor parallelism 和 pipeline parallelism 如何工作？
• 如何优化一个 Transformer 模型的训练吞吐？请具体说明可能的方法
• CUDA kernel 中 shared memory 和 global memory 的区别是什么？如何利用 shared memory 优化？
• NCCL 中的 allreduce 操作是如何实现的？如果通信出现瓶颈，你会如何排查？
• 请描述一个你之前遇到的性能优化案例，你是如何分析和解决的？