多模态大模型训练加速工程师-Data AML(北京/上海/杭州/深圳)

优缺点分析

角色解读

• 成为大模型训练加速专家，引领行业技术发展
• 转向AI系统架构师，设计高效分布式训练平台
• 晋升为技术负责人或技术管理岗位，带领团队攻克难题
• 负责视频生成/图像生成等模型的SFT、RL等后训练加速任务，提升训练效率
• 进行异构卡适配工作，确保模型在不同硬件上高效运行
• 探索和实施Gradient Checkpoint、低精度训练等加速技巧，优化训练流程
• 深入理解计算机体系结构和分布式训练原理，熟悉视觉大模型原理
• 精通PyTorch、Megatron、DeepSpeed等训练框架，掌握ZeRO、TP等并行技术
• 了解AIGC和多模态模型，有模型训练适配和加速经验优先

申请策略

• 准备一个关于训练加速的技术分享或开源项目
• 了解字节Seedance/Seedream模型方向，体现对业务的理解
• 突出分布式训练、模型加速方面的项目经验，量化优化成果
• 展示对PyTorch、Megatron等框架的深度优化案例
• 强调对AIGC模型的理解和动手能力，注明相关开源贡献
• 学习Triton、TileLang等DSL语言，提升底层优化能力
• 了解Verl、OpenRLHF等强化学习框架，扩展技术广度

面试指南

• 从系统层面分析问题，结合硬件特性和算法特点提出方案
• 结合实际项目案例，用数据量化优化效果，强调解决问题的方法
• 对于对比类问题，从性能、易用性、扩展性等多维度分析
• 如何优化大规模分布式训练中的通信瓶颈？
• 描述Gradient Checkpoint的实现原理和应用场景
• 在视频生成模型训练中，如何处理异构卡适配？
• 对比ZeRO和TP的优缺点，并说明适用场景
• 你参与过哪些AIGC模型的加速项目？具体如何优化的？