【快Star】大模型分布式推理框架工程师

优缺点分析

角色解读

• 从分布式推理工程师成长为AI Infra架构师，主导大规模推理系统的设计与优化
• 深入大模型底层技术，未来可转向算法研究或系统架构方向
• 在快手核心业务中积累经验，成为AI基础设施领域的专家
• 与顶尖算法工程师协作，研发高性能分布式推理系统，重点优化视频生成和多模态大模型
• 对自研多模态推理引擎进行深度优化，提升分布式推理的效率和稳定性
• 跟踪业界最新技术，调研大模型推理优化方向的论文和技术方案
• 扎实的计算机体系结构知识，熟悉分布式系统原理
• 掌握分布式推理引擎开发、模型压缩（量化/稀疏）和高性能Kernel开发
• 熟悉GPU编程（CUDA）及主流推理框架（如vLLM、SGlang）

申请策略

• 了解快手在视频生成和多模态大模型方面的业务方向，在面试中体现对业务场景的理解
• 提前准备一个自己参与过的分布式优化项目，详细讲述挑战和解决方案
• 突出分布式系统开发经验，尤其是推理引擎、调度、网络、存储相关项目
• 展示GPU编程（CUDA）和高性能Kernel开发的实际成果
• 如果参与过模型压缩（量化/稀疏）或熟悉vLLM等开源项目，务必强调
• 列出相关论文、专利或开源贡献，体现学术或工程影响力
• 深入学习CUDA和GPU算子开发，尝试复现前沿推理优化论文
• 熟悉Kubernete、Ray等分布式框架，动手搭建小规模推理集群

面试指南

• 使用STAR方法：情境-任务-行动-结果，结构化描述项目经验
• 遇到技术问题时，先分析根本原因，再比较不同方案，最后给出最佳实践
• 对于系统设计问题，从需求出发，考虑扩展性、稳定性和性能三者平衡
• 请介绍一个你优化过的分布式推理系统，遇到了哪些瓶颈，如何解决的？
• 解释一下模型量化对推理性能的影响，以及如何选择量化方案？
• CUDA编程中，如何优化Kernel的吞吐量和延迟？
• 对比vLLM和Triton Inference Server的架构差异
• 如何在大规模集群上实现高效的模型并行和数据并行？