大模型推理存储系统专家-Seed

优缺点分析

角色解读

• 技术纵深：成为AI基础设施领域的存储专家，在大模型推理性能优化方向持续深耕，解决行业级难题
• 架构视野：设计跨集群、多层级的分级存储系统，积累大规模分布式系统架构经验，向系统架构师发展
• 团队领导：表现优异者可带领技术小组，负责关键技术方向的攻关，逐步转向技术管理岗位
• 设计和实现基于Kubernetes的多层级存储系统，管理GPU显存、本地内存、分布式存储和远端对象存储之间的数据流动，优化推理过程中模型参数和KV Cache的加载效率
• 优化KV Cache命中率和数据传输性能，利用NVLink、RDMA等高速互联技术减少延迟，提升推理引擎的TTFT和TBT等关键指标
• 开发高效的数据访问接口，与vLLM、SGLang等推理框架集成，管理KV Cache的生命周期，实现存储与计算的紧密协同
• 负责多机房和跨集群的存储系统部署、监控和容灾，确保稳定性和数据摆放的合理性
• 熟练掌握C++/Go/Python，具备系统级编程能力，能够编写高性能存储组件
• 深入理解Kubernetes和云原生存储技术（如PV、CSI），有机器学习系统开发经验
• 扎实的分布式系统原理，熟悉分布式缓存、文件系统或对象存储，能够设计高可用、高性能的存储架构
• 了解主流推理引擎（vLLM、SGLang）和GPU通信技术（NVLink、RDMA、NCCL），有KV Cache优化经验者优先

申请策略

• 提前了解字节跳动Seed团队的技术方向和公开分享（如技术博客、演讲），在面试中展现对团队工作的理解和热情
• 准备一个与存储或推理性能优化相关的深度技术案例，展示解决问题的能力
• 突出分布式存储系统设计经验，特别是涉及多级缓存、数据迁移、负载均衡的项目，附上性能提升数据（如延迟降低%、吞吐提升等）
• 展示Kubernetes和云原生相关实践，包括自定义CSI驱动、存储编排、Operator开发等
• 强调机器学习系统经验，如模型加载优化、推理引擎集成、KV Cache相关工作，最好有开源贡献或技术博客
• 如果参与过OSDI/SOSP/FAST等顶会论文发表，务必醒目列出
• 系统学习NVLink、RDMA、NCCL等高速网络通信技术，通过动手实验或开源项目加深理解
• 熟悉vLLM或SGLang等推理引擎的源码，特别是内存管理和KV Cache部分

面试指南

• 在面对系统优化问题时，采用“问题分析-方案设计-实验验证”的框架：先明确瓶颈指标，对比不同方案的trade-off，再通过实验数据证明效果
• 在架构设计题中，使用“需求分解-分层设计-关键细节”结构：先梳理功能和非功能需求，再划分层次（接入层、缓存层、存储层），最后讨论数据一致性、可靠性等关键点
• 请描述你设计过的多级缓存系统，如何保证数据一致性和高命中率？
• 在大模型推理场景下，KV Cache的存储和访问有哪些关键优化点？
• Kubernetes中如何实现一个自定义的CSI存储插件？请简述架构和关键设计
• 解释NVLink和RDMA在GPU间数据传输中的作用，以及在使用中可能遇到的性能瓶颈
• 如果模型加载成为推理瓶颈，你会从哪些方面进行优化？
• 复习分布式存储经典论文（如GFS、Bigtable、Alluxio），理解其设计哲学，并能结合实际场景分析