高性能GPU调度推理研发工程师

优缺点分析

角色解读

• 在GPU调度和优化领域深耕，成为集群调度或AI Infra方向的专家工程师
• 负责更大规模、更复杂的算力平台架构设计与规划
• 可能参与制定公司级别的AI算力战略和资源管理政策
• 分析GPU集群利用率数据，寻找提升资源使用效率的方法
• 设计和实现算力调度策略，确保模型训练和推理任务能获得所需的GPU资源
• 开发虚拟化混部技术，让不同业务（如训练和推理）共享GPU集群，提升整体资源利用率
• 优化大模型在GPU上的推理执行过程，设计高效的流水线以提升服务性能
• 扎实的编程功底（Java/Python）和服务端系统开发经验
• 深入理解容器技术（Docker/Containerd）和Kubernetes集群调度机制
• 熟悉主流的大模型推理或训练框架，如vLLM、SGLang、PyTorch
• 具备系统架构设计能力和性能分析优化能力

申请策略

• 深入研究快手AI业务（如视频生成、大模型）可能面临的算力挑战，在面试中展现你的业务洞察
• 准备一个关于系统性能分析与优化的案例，清晰地阐述问题、方法和量化结果
• 突出Java/Python服务端项目经验，特别是涉及资源管理、调度或性能优化的部分
• 详细描述使用或熟悉Kubernetes、Docker等容器技术的具体实践
• 列举任何与GPU计算、大模型训练/推理、或集群资源管理相关的项目或研究经历
• 深入学习vLLM、SGLang等推理框架的源码或使用原理
• 复习操作系统（进程、线程、内存管理）和计算机网络的基础知识
• 通过实践（如搭建小型K8s集群并部署AI应用）加深对容器调度的理解

面试指南

• 对于调度类问题，可以从资源抽象、调度策略（如拓扑感知）、抢占机制等角度展开
• 对于流水线设计，遵循“数据准备-模型加载-执行-后处理”的流程，并思考每一步的并行化与资源重叠可能性
• 回答混部问题时，强调隔离性（如显存隔离、算力隔离）和可观测性是关键
• 你如何理解GPU利用率？可以从哪些角度去分析和提升它？
• 请描述一下Kubernetes调度器的大致工作流程
• 如果要调度GPU任务，需要考虑哪些特殊因素？
• 如果让你设计一个推理服务的模型执行流水线，你会考虑哪些关键环节和优化点？
• 混部（例如训练和推理任务共享GPU）会遇到哪些主要问题（如资源竞争、稳定性）？你打算如何解决？