面向大模型推理的通用后端运行时系统研究-阿里星/A Star

优缺点分析

角色解读

• 成长为AI基础设施领域的系统架构专家，主导下一代推理运行时设计
• 可向技术专家或技术管理方向发展，参与阿里云核心基础设施决策
• 有机会与顶级研究团队合作，发表系统顶会论文，提升行业影响力
• 负责设计并实现大模型推理的后端运行时系统，统一管理GPU资源、模型权重和推理进程状态
• 基于CRIU等机制开发GPU推理进程的快速快照与恢复，优化关键路径性能
• 设计跨进程/实例的权重共享机制，支持多模型混部、热升级和弹性伸缩
• 与推理平台团队协作，将运行时能力落地到生产环境，实现成本与弹性优化
• 精通C/C++，深入理解Linux内核（进程、内存、cgroup/namespace）
• 具备系统级开发经验，熟悉CRIU、CUDA、容器、RDMA等至少一项技术
• 了解大模型推理框架（如SGLang、vLLM）或GPU显存管理更佳
• 有相关研究经历或开源贡献者优势明显

申请策略

• 提前了解阿里巴巴百炼平台业务场景，思考运行时优化的实际痛点
• 面试中强调研究深度和工程能力，展示解决复杂系统问题的思路
• 突出系统编程项目经验，如自研内核模块、进程迁移、GPU优化等
• 强调论文发表或开源贡献，尤其是系统领域顶会或CRIU/Linux内核相关
• 展示对LLM推理系统的理解，如分析vLLM/SGLang的运行时瓶颈
• 量化成果：性能提升、资源节省等数据更有说服力
• 补强Linux内核与CRIU知识，动手实践进程快照恢复
• 学习CUDA编程和GPU显存管理，了解MPS、VMM机制

面试指南

• 从问题拆解、技术选型、实现细节、性能评估四步回答
• 结合具体项目经验，突出对底层机制的理解，避免空谈
• 如果没有直接经验，可阐述类似技术原理，展现快速学习能力
• 请详细说明你如何实现一个进程的checkpoint/restore？涉及哪些内核机制？
• 如果GPU推理进程需要热迁移，你会如何设计？
• 如何优化大模型权重的加载和共享？有什么方案？
• 你如何理解CUDA VMM和MPS？它们在多进程场景下有什么作用？
• 描述一个你深入研究过的系统问题，以及你的解决过程