广告架构高级工程师-Ads ML Infra

优缺点分析

角色解读

• 技术深度方向：成为机器学习系统架构专家，主导大规模训练/推理平台建设
• 技术广度方向：结合算法与系统，转型为AI全栈工程师或技术负责人
• 管理方向：积累项目经验后，可晋升为技术团队Leader，带领团队攻克难题
• 负责大规模分布式训练和推理系统的设计与优化，支持百亿参数模型和长序列处理
• 与算法团队深度合作，进行算法与系统的联合调优，提升模型效率和性能
• 探索并实现量化、剪枝、编译优化等机器学习效率提升技术
• 支持强化学习、联邦学习等特殊机器学习范式的系统级实现
• 熟练掌握C/C++编程，并具备Linux环境下的开发经验
• 对深度学习模型训练和推理有实际经验，熟悉至少一种主流框架（如PyTorch、TensorFlow）
• 具备GPU性能分析经验，了解分布式系统架构设计
• 有强烈的责任心和学习能力，能够独立解决复杂技术问题

申请策略

• 关注字节跳动广告系统的发展方向，了解其在AI基础设施上的技术布局
• 准备时重点梳理过往项目中遇到的性能瓶颈和解决方案，面试中会深度考察系统设计能力
• 突出分布式训练或推理优化的项目经验，如参与过百亿模型训练、大规模GPU集群优化等
• 强调C/C++编程能力，并展示在Linux环境下的性能调优案例
• 列出对机器学习框架（如PyTorch、TensorFlow）的深入理解，包括底层算子实现或自定义算子开发经验
• 如果有GPU性能分析或大规模分布式系统架构设计经验，务必重点描述
• 系统学习分布式训练常用并行策略（DDP、FSDP、TP、PP等），并动手实践
• 熟悉GPU性能分析工具（如Nsight、ncu），掌握CUDA编程基础

面试指南

• 面对系统设计类问题，采用“需求分析-方案对比-选型依据-实验验证”的框架，先明确业务场景和约束，再对比多种并行策略，给出选择理由
• 对于性能优化类问题，使用“问题定位-瓶颈分析-方案实施-效果评估”的步骤，强调数据驱动的优化过程
• 对于原理类问题，先阐述基本概念，再结合自身实践经验说明应用场景和注意事项
• 如何设计一个支持百亿参数模型的大规模分布式训练系统？请谈谈并行策略的选择
• 你在实际项目中是如何对深度学习模型进行性能优化的？请举一个具体例子
• 解释一下模型量化（如INT8/FP16）的原理，并说明在推理中的优势与挑战
• 当训练loss不收敛时，你通常如何排查和解决？
• 谈一谈你对VLLM或TensorRT的理解和使用经验