腾讯游戏-大模型训练框架研发工程师/专家

优缺点分析

角色解读

• 技术纵深发展：成为分布式训练或大模型框架领域的顶级专家，主导核心框架设计
• 横向扩展：向算法、平台架构等方向延伸，成为全栈型 AI 工程师
• 管理路径：带领团队负责更大规模的训练系统，或转向技术管理岗位
• 负责设计和优化大规模预训练框架，支持多模态和视频生成模型的训练，提升训练效率和模型质量
• 深入优化分布式训练技术，包括超长上下文训练、模型并行、数据并行等，提高算力利用率和吞吐性能
• 跟踪前沿研究，探索混合精度训练、稀疏训练等高效策略，并推动落地
• 与算法、数据、平台团队紧密协作，构建从数据处理到训练部署的全流程自动化方案
• 精通 PyTorch、JAX 或 TensorFlow 等深度学习框架，并具备大规模分布式训练经验
• 深入理解 LLM/DiT 等模型训练流程，熟悉 Megatron、DeepSpeed、FSDP 等框架
• 扎实的工程实现能力，精通 CUDA 优化、参数并行、流水线并行等技术
• 较强的系统设计能力和问题解决能力，能够优化训练效率

申请策略

• 在面试中展示你对训练效率优化的系统性思考，例如如何诊断与解决通信瓶颈
• 提前了解腾讯游戏在 AI 方面的布局，结合自己经验提出有针对性的想法
• 突出大规模分布式训练项目经验，尤其是使用 Megatron/DeepSpeed 等框架的实战经历
• 展示 CUDA 优化、模型并行、流水线并行等底层技术细节和性能提升数据
• 强调在 LLM/DiT 等模型训练中的具体贡献，如训练效率提升百分比
• 如有论文或开源贡献，务必列出，体现对前沿技术的跟踪能力
• 如果对 Megatron/DeepSpeed 不够熟悉，可以快速学习其核心源码和用法
• 补充 CUDA 编程和 GPU 架构知识，尤其是与分布式训练相关的优化技巧

面试指南

• STAR 法则：讲清楚情境、任务、行动和结果，突出技术细节和量化成果
• 原理+实践：先阐述底层原理，再结合实际项目经验说明如何应用
• 对比分析：遇到多个方案时，对比优缺点并给出选择理由
• 请描述你在大规模分布式训练中遇到的最大挑战，以及如何解决的？
• Megatron 和 DeepSpeed 的实现原理是什么？它们如何实现模型并行和数据并行？
• 如何优化长上下文训练中的显存和通信效率？
• 你如何评估一个训练框架的性能？会用哪些指标？
• 对混合精度训练和稀疏训练有何理解？实际应用中的注意事项？