AI异构硬件推理优化专家-Seed

优缺点分析

角色解读

• 技术纵深发展：成为AI推理优化专家，在算子、框架、硬件适配等方向持续深耕
• 架构师方向：从单一模块扩展到整个推理系统架构设计，主导大规模分布式服务优化
• 技术管理方向：在团队中积累项目经验后，可转向技术Leader，带领小组攻克难题
• 负责豆包自研大模型在超大规模AI加速卡集群上的部署、适配和性能调优，确保线上服务稳定高效
• 优化分布式推理框架的核心模块，包括调度、显存管理、KV Cache、分布式并行等，提升吞吐和降低延迟
• 面向不同AI芯片（如GPU、昇腾等）开发高性能算子，包括Attention、GEMM、量化等，并优化通信与计算融合
• 扎实的C/C++或Python编程能力，以及Linux环境下的工程习惯
• 深入理解计算机体系结构、高性能计算或分布式系统中的一个方向
• 了解大模型推理流程，对Serving框架、调度、并发、显存管理等有浓厚兴趣

申请策略

• 在面试中展示对性能指标的敏感度（延迟、吞吐、显存），并准备一个完整的优化案例
• 了解字节跳动Seed团队的业务方向（豆包、火山引擎），思考自身经验如何与业务结合
• 突出高性能计算、分布式系统或AI芯片优化相关的项目经验，最好有量化成果（如延迟降低、吞吐提升）
• 强调编程语言（C/C++/Python）的熟练度，以及Linux系统调优经验
• 如有参加过OI/ACM、HPC竞赛或开源贡献，务必展示以体现工程能力
• 提前熟悉主流推理框架如vLLM、SGLang的源码和原理，尝试运行和调优
• 学习CUDA编程或特定AI芯片（如昇腾、寒武纪）的开发工具链，动手写简单算子

面试指南

• 对于系统设计类问题，可先概述目标，再拆解关键指标（吞吐、延迟、显存），给出权衡方案
• 对于优化案例，按“问题-分析-方案-结果”结构回答，突出量化对比和原理思考
• 对于原理性问题，先给出定义，再结合实际场景说明其重要性及常见优化手段
• 请解释大模型推理中KV Cache的工作原理及优化方法
• 在设计分布式推理系统时，如何平衡吞吐和延迟？
• 描述一个你优化过的性能瓶颈案例，使用了哪些方法？
• CUDA编程中Shared Memory和Global Memory的区别及优化策略
• 你对vLLM框架中的PagedAttention有何理解？