Software Engineer — Distributed LLM Inference Systems

优缺点分析

角色解读

• 从初级工程师成长为分布式推理系统专家，深入掌握LLM推理优化核心技术
• 有机会参与开源社区（如vLLM、SGLang）贡献，提升行业影响力
• 在英特尔内部可向技术专家或技术管理方向发展，参与AI框架战略规划
• 设计并优化分布式大语言模型推理系统，涵盖请求调度、KV缓存管理、并行执行等核心模块
• 实现分布式推理算法，包括模型并行、数据并行以及异步通信机制
• 分析推理工作负载，定位计算、通信、内存和调度瓶颈，并推动性能改进
• 与团队协作，将研究成果落地到内部和开源项目中，提升端到端推理性能
• 精通Python和现代C++，具备扎实的编程功底
• 熟悉深度学习框架（如PyTorch）和机器学习基础
• 理解分布式系统、并行计算和性能优化技术
• 对LLM推理技术（如KV cache、连续批处理、vLLM等）有了解者优先

申请策略

• 关注英特尔AI框架团队的开源项目，了解其技术方向，并在面试中展示相关见解
• 准备英文面试，确保能流利表达技术方案和项目经验
• 突出分布式系统、深度学习相关的项目经历，尤其是涉及LLM推理或性能优化的项目
• 强调Python和C++的编程能力，以及使用PyTorch等框架的实践经验
• 展示开源贡献经历（如GitHub项目、PR提交），体现协作和社区参与度
• 提及对LLM推理技术（如vLLM、KV cache）的理解或实践，增加竞争力
• 系统学习分布式系统原理，如通信协议、并行计算和一致性模型
• 动手实践LLM推理框架，如vLLM或SGLang，理解其内部机制

面试指南

• 针对技术问题，采用'背景-方案-效果'的结构，先说明问题背景，再阐述解决方案，最后量化效果
• 对于系统设计题，强调权衡取舍，如延迟vs吞吐量、内存vs计算，并展示对分布式系统原理的理解
• 在回答项目经验时，突出个人贡献和思考过程，避免只描述结果
• 请解释LLM推理中的prefill和decode阶段，以及如何优化它们
• 描述你如何设计一个分布式推理系统，以支持高并发请求
• 如何优化KV cache管理以提升推理效率？
• 请分享一个你优化性能的案例，包括分析过程和最终效果
• 你对vLLM或SGLang等推理框架的架构有何理解？