AI中间件开发专家工程师（SSD方向）(J14613)

优缺点分析

角色解读

• 可发展为AI基础设施系统架构师，主导大模型推理优化方向
• 深入底层技术后，可横向扩展至GPU计算、存储系统等领域
• 大模型加速持续火热，该方向人才稀缺，职业护城河深
• 负责KV Cache在显存、内存、SSD间的分层存储调度，设计动态换入换出与淘汰策略
• 实现MoE模型专家的按需加载与卸载，优化非活跃专家的资源管理
• 对接并集成主流推理引擎（llama.cpp/vLLM/SGLang），进行中间件适配
• 通过io_uring、零拷贝等技术优化存储I/O性能，并支持多硬件多操作系统
• 精通C/C++/Python，具备5年以上系统开发经验
• 熟悉vLLM、SGLang或LlamaCpp任一推理框架的二次开发
• 深入理解Transformer、KV Cache、MoE架构及推理原理
• 掌握Git、CMake、Docker等工程化工具，具备存储驱动或SPDK调优经验更佳

申请策略

• 了解长江存储的业务及在AI存储方向的布局，结合SSD在AI场景的机遇进行沟通
• 准备一个完整的性能调优案例，用数据证明你的能力
• 突出vLLM/SGLang/llama.cpp的二次开发经验，附上具体优化点和成果
• 展示C/C++高性能编程能力，例如io_uring、零拷贝、SPDK等存储优化项目经历
• 体现对KV Cache、MoE架构的深入理解，可给出架构解析或调优案例
• 如有CUDA或GPU显存优化经验，务必加粗展示
• 提前阅读vLLM的PagedAttention和SGLang的RadixAttention源码，理解调度机制
• 学习CUDA统一内存（Unified Memory）和iGPU/dGPU平台推理调优技术

面试指南

• 采用“背景-思路-实现-效果”结构，突出量化结果和性能提升
• 从系统设计角度出发，考虑缓存策略、并发安全、一致性等
• 结合底层硬件原理，展示软硬件协同优化思维
• 请详细解释KV Cache的工作原理，以及如何设计显存、内存、SSD的换入换出策略？
• 你在使用vLLM或SGLang时做过哪些二次开发？具体解决了什么问题？
• MoE模型的专家调度有哪些难点？如何实现按需加载与卸载？
• 如何调试io_uring性能瓶颈？零拷贝技术在KV Cache场景下的应用如何实现？
• 如果单卡显存不足以运行大模型，你会给出哪些优化方案？