多媒体算法工程师(AI Infra)-视频与边缘

优缺点分析

角色解读

• 深耕AI Infra领域，逐步成长为训练/推理优化专家，主导下一代框架设计
• 横向拓展至多模态、音视频生成等算法方向，成为算法与工程兼备的复合型人才
• 在字节跳动内部，可向技术专家（P序列）或技术管理（M序列）发展，带领团队攻克关键技术难题
• 跟踪音视频生成和多模态大模型的最新技术动态，针对不同业务场景（如视频风格迁移、智能语音交互）开发定制化算法
• 优化大规模训练框架，通过数据并行、模型并行、通信优化等手段提升训练效率和硬件利用率
• 负责推理引擎的适配和调优，使用TensorRT-LLM、vLLM等工具加速模型推理，并推动模型从研究到生产的工程化落地
• 精通Python和PyTorch，熟悉DeepSpeed、Megatron等分布式训练框架，具备大规模模型训练优化经验
• 掌握CUDA、Triton等异构编程语言，有FlashAttention、Conv2d等算子加速经验
• 熟悉主流音视频生成和多模态模型原理，具备模型量化、通算融合和推理优化能力
• 具备多线程和并行计算开发经验，熟悉TensorRT-LLM、SGLang、vLLM等推理引擎

申请策略

• 了解字节跳动的业务线（抖音、TikTok、火山引擎等），在面试中展现对音视频场景的理解
• 提前准备一个完整的模型优化案例，从问题分析到方案选型再到性能数据，展示系统化思维
• 突出分布式训练和推理优化的项目经验，如使用DeepSpeed/Megatron加速训练、通过TensorRT-LLM加速推理的具体成果
• 强调算子级优化经历，如FlashAttention、Conv2d的CUDA实现或性能提升数据
• 展示音视频生成或多模态模型相关的工程落地案例，包括模型量化、推理部署等
• 若有开源贡献（如提交PR到PyTorch、vLLM等），务必体现
• 补充AscendC或TileLang等国产异构编程语言经验
• 深入理解Transformer架构和主流多模态模型（如CLIP、Stable Diffusion）的原理

面试指南

• 针对优化类问题，采用“问题分析-方案选型-实现细节-效果量化”的STAR框架
• 对于原理性问题，先概述核心思想，再深入关键机制（如FlashAttention的tiling），最后对比优劣
• 综合性问题需要从算法、框架、底层硬件多个层面分层回答，体现系统性思维
• 请描述一次你使用DeepSpeed进行大规模训练优化的经历，遇到了哪些瓶颈，如何解决的？
• 如何优化Transformer模型的推理速度？请从模型架构、算子、框架层面展开
• FlashAttention的原理是什么？相比标准Attention在性能和显存上的优势？
• 多模态大模型（如CLIP）在图文匹配任务中，你会如何优化其训练效率？
• 请解释数据并行、模型并行、流水线并行的区别及适用场景