AI异构硬件推理优化专家-Seed

优缺点分析

角色解读

• 技术专家路线：在推理优化、高性能计算领域深耕，成为AI基础设施的权威专家
• 架构师路线：参与大规模分布式系统的设计与演进，主导推理框架的架构升级
• 跨界发展：积累异构硬件适配经验，可向芯片设计、编译器或系统软件等方向拓展
• 负责豆包Seed自研LLM模型在超大规模AI加速卡集群上的部署、适配和性能调优，确保在线业务稳定运行
• 优化分布式推理框架的核心链路，包括调度、Batching、KV Cache、显存管理和分布式并行等
• 针对不同异构硬件ISA开发高性能算子（如Attention、GEMM），并优化通信与计算融合
• 扎实的C/C++和Python编程能力，熟悉Linux开发环境
• 深入理解计算机体系结构、芯片微架构或高性能计算等至少一个方向
• 熟悉大模型推理流程及Serving技术栈，对性能调优有浓厚兴趣

申请策略

• 在简历或面试中强调对AI推理性能优化的独到见解，例如如何权衡延迟和吞吐
• 了解字节跳动Seed团队的技术方向（如MLLM、GenMedia），在面试中展示对业务场景的理解
• 重点突出高性能计算、分布式系统或AI推理相关的项目经验，特别是LLM Serving优化或算子开发
• 展示对性能指标的敏感度，如延迟、吞吐、显存优化等，最好有量化的成果数据
• 如果有CUDA、Triton、vLLM等具体工具的使用经验，务必详细说明
• 竞赛或开源贡献经历（如OI/ACM、HPC竞赛）是加分项，应单独列出
• 深入研究vLLM或SGLang的源码，理解PagedAttention、调度、显存管理等核心机制
• 学习CUDA或Triton编程，尝试开发简单的算子并对比优化效果

面试指南

• 针对性能优化问题，采用「现状分析→瓶颈定位→优化方案→效果验证」的结构化思路
• 对于设计类问题，先明确约束条件（硬件、延迟要求等），再给出架构选择，并解释权衡
• 考察开源框架理解时，结合源码细节和实际调优经验，体现深入思考
• 请详细讲解LLM推理中KV Cache的作用及优化策略
• 如何优化一个GEMM算子在特定硬件上的性能？请从计算、访存和通信角度分析
• 设计一个分布式推理Serving系统，如何处理负载均衡和显存管理？
• 你用过哪些推理框架？比较vLLM、SGLang和TGI的优缺点
• 如何调试和定位在线推理服务中的性能瓶颈？