AI异构硬件推理优化专家-Seed

优缺点分析

角色解读

• 在AI系统优化方向深耕，成为大模型推理引擎的专家，参与前沿技术研究
• 可向技术架构师方向成长，负责整套推理系统的设计
• 随着团队拓展，有向技术管理方向发展的机会，带领小团队
• 负责豆包Seed自研LLM模型在超大规模AI加速卡集群上的部署、适配与性能调优，确保大规模在线服务稳定运行
• 深入优化分布式推理框架，包括调度、Batching、KV Cache、显存管理、分布式并行、负载均衡等核心链路
• 面向不同异构硬件（如GPU、AI芯片）开发高性能算子，优化Attention、GEMM、量化等关键LLM算子
• 参与在线稳定性建设，关注延迟、吞吐、算力利用率等性能指标，保障大规模业务流量
• 扎实的C/C++或Python编程能力，具备优秀的工程习惯和调试能力
• 熟悉计算机体系结构、芯片微架构、高性能计算或分布式系统，能理解硬件特性并针对性优化
• 了解大模型推理流程，熟悉Serving、调度、并发、显存管理、KV Cache等概念
• 具备性能分析能力，能针对延迟、吞吐、带宽等指标进行系统级调优

申请策略

• 申请时附上个人技术博客或GitHub链接，展示持续学习能力
• 了解字节跳动Seed团队的最新研究方向，在面试中体现对业务的认知
• 突出高性能计算或分布式系统相关的项目经验，特别是与GPU优化、推理引擎相关的工作
• 展示C/C++编程能力，比如开源项目、竞赛奖项
• 如果有使用vLLM、SGLang等推理框架的经验，或CUDA/Triton等算子开发经验要重点描述
• 强调对性能优化的热情，用具体数据说明优化效果（如延迟降低、吞吐提升）
• 了解主流推理框架的源码，如vLLM的调度和PagedAttention机制
• 学习CUDA编程和GPU体系结构，尝试编写简单的算子

面试指南

• 从问题定义入手，分析影响因素，然后提出方案，最后用实验数据验证
• 结合具体场景，先讲通用原理，再讲针对性的优化策略
• 强调系统性思维，从应用层到硬件层逐层分析
• 如何优化大模型推理中的KV Cache显存占用？
• 解释你对vLLM中PagedAttention的理解，如何实现连续batching？
• 针对特定GPU，如何优化一个GEMM算子？
• 在分布式推理中，如何减少通信开销？
• 如何定位线上推理服务的性能瓶颈（如GPU利用率低）？