bilibili-多模态训练优化工程师

优缺点分析

角色解读

• 从训练优化工程师向分布式系统专家或AI基础设施架构师方向发展
• 可深入多模态大模型训练优化，成为稀缺的AI Infra人才
• 未来有机会领导训练平台团队，负责超大规模集群的架构设计
• 负责大规模GPU集群的训练系统建设，包括任务调度、资源管理、训练框架适配与性能优化
• 解决超大规模训练任务中的稳定性、网络通讯、NCCL通讯、断点恢复等问题，构建可观测体系
• 针对不同GPU型号进行算子适配和调优，实现慢节点自动检测与故障自愈
• 与算法、数据、平台团队协作，设计自动化运维工具，优化训练方案与GPU利用率
• 精通C++、Rust、Python等至少一门语言，具备扎实的系统设计与工程实现能力
• 熟悉Megatron、DeepSpeed、PyTorch、FSDP等训练框架的底层原理
• 有真实GPU训练任务调优经验，熟悉慢节点、机器故障、网络拥塞等问题的处理
• 了解RDMA网络、高性能存储、NCCL通讯等技术，熟悉Linux系统编程

申请策略

• 了解bilibili的业务方向（如音视频、多模态内容），在自我介绍中体现与之相关的经验
• 关注公司AI基础设施团队的招聘要求和项目动态，展示对训练成本优化的理解
• 突出参与过的GPU训练集群建设或优化项目，具体描述规模、挑战和结果
• 强调对PyTorch/Megatron/DeepSpeed等框架的源码级理解或贡献
• 展示解决慢节点、通信瓶颈、断点恢复等实际运维问题的经验
• 如有开源贡献、CUDA调优或MoE/DiT训练优化经历，务必重点提及
• 熟悉NCCL通信原理和RDMA网络，动手配置和排查通信问题
• 深入阅读Megatron或DeepSpeed的源码，理解ZeRO、TP/PP/DP/EP等并行策略

面试指南

• 使用STAR法则：情境(Situation)、任务(Task)、行动(Action)、结果(Result)，清晰展示项目经验和贡献
• 回答技术问题时，先阐述原理，再结合实践案例，最后总结优化效果或经验教训
• 对于系统设计题，可按照需求分析、架构设计、关键模块实现、风险与优化等步骤展开
• 请介绍一下你参与过的最大规模训练任务，遇到了哪些问题，如何优化？
• 谈谈你对Megatron和DeepSpeed中分布式并行策略的理解
• 如何诊断和解决训练中的慢节点问题？
• NCCL通信超时如何排查？具体有哪些步骤？
• 如果让你设计一个千卡GPU集群的训练任务调度系统，你会考虑哪些关键点？