后端开发工程师-中国交易与广告

优缺点分析

角色解读

• 成为AI基础设施专家，主导训练系统架构设计
• 向机器学习架构师或技术专家方向发展，深入模型效率前沿
• 有机会带领团队，负责核心广告业务的模型效率优化
• 负责亿级参数深度模型的训练优化与工程落地，涵盖召回、粗排、精排全链路
• 通过量化压缩、混合精度训练、特征淘汰等技术减小模型体积，提升训练效率
• 深入优化训练流程全链路性能，包括数据预处理、模型并行、CUDA算子加速等
• 与算法团队协作，推动模型快速迭代与规模化上线
• 扎实的编程能力，熟练掌握C++、Python等语言，熟悉数据结构与算法
• 深入理解PyTorch框架及分布式训练原理，有大规模训练调优经验
• 熟悉GPU/TPU硬件优化、CUDA编程及系统级性能分析
• 了解搜广推场景或大模型训练优化者优先

申请策略

• 研究字节跳动技术博客和穿山甲业务背景，展示对广告模型效率的理解
• 准备一个从问题分析到方案落地的完整案例，展示系统性思维
• 突出大规模模型训练优化项目，包括具体优化手段和收益
• 展示分布式训练框架（如PyTorch DDP/FSDP）使用经验及性能调优成果
• 强调CUDA编程、模型压缩或混合精度训练等硬核技能
• 如有搜广推或广告业务背景，务必重点提及
• 深入阅读PyTorch分布式训练源码，理解其架构
• 学习模型量化、蒸馏等压缩技术，并动手实践

面试指南

• 采用问题-分析-方案-评估的结构：先明确瓶颈（如通信、计算），再针对性优化（如梯度压缩、模型并行），最后用实验数据验证效果
• 对于原理类问题，先讲核心概念（如混合精度的FP16/FP32），再结合实践经验说明挑战（如溢出处理）和解决方案
• 如何优化大规模分布式训练的训练速度？请举例说明
• 解释混合精度训练的原理，并说明如何在PyTorch中实现
• 如何减少大模型部署时的推理延时？有哪些常用技术？
• 描述一个你遇到的训练效率问题及解决思路
• 对比PyTorch DDP和FSDP，分别在什么场景下使用？
• 复习分布式训练系统知识，包括参数服务器、数据并行、模型并行等