腾讯游戏-大模型训练框架研发工程师/专家

优缺点分析

角色解读

• 在大模型训练框架领域深耕，成为分布式系统和AI基础设施的专家
• 横向扩展到算法或平台团队，成为技术架构师或技术负责人
• 在腾讯内部，可向技术总监或首席科学家方向发展
• 构建和优化大规模预训练框架，支持多模态理解和视频生成模型的高效训练
• 优化超长上下文场景下的分布式训练效率，提升算力利用率和模型吞吐性能
• 跟踪前沿研究趋势，探索混合精度训练、稀疏训练等高效预训练策略
• 与算法、数据、平台团队协作，形成全流程自动化解决方案
• 精通PyTorch、JAX、TensorFlow等深度学习框架，具备大规模分布式训练经验
• 熟悉LLM/DiT等模型的训练流程，掌握Megatron、DeepSpeed、FSDP等框架
• 具备扎实的工程实现能力，熟悉CUDA优化、参数并行、流水线并行等技术

申请策略

• 了解腾讯游戏AI方向的产品布局，体现对业务场景的理解
• 准备一个完整的分布式训练优化案例，展示技术深度和问题解决能力
• 突出大规模分布式训练项目经验，包括使用的框架、集群规模、优化效果
• 展示对LLM/DiT等模型训练流程的深入理解，以及实际调优案例
• 强调CUDA优化、并行策略等底层技术能力
• 深入学习Megatron、DeepSpeed、FSDP等框架的源码和原理
• 补充多模态和视频生成模型的相关知识，如DiT、VAE等

面试指南

• STAR原则：情境-任务-行动-结果，突出技术细节和量化结果
• 问题分析框架：先定位现象（如显存OOM、通信瓶颈），再分析原因，最后提出解决方案并验证
• 请详细描述你参与过的大规模分布式训练项目，包括架构、挑战和优化效果
• 如何优化长序列训练中的内存和计算效率？请从数据和模型角度分析
• 谈谈你对Megatron-LM中张量并行和流水线并行的理解，以及适用场景
• 在训练过程中遇到loss不收敛或训练崩溃，你会如何排查和解决？
• 复习分布式训练原理，包括数据并行、模型并行、流水线并行等
• 准备一个自己优化过的训练框架案例，能清晰讲解实现思路和效果