Infra推理框架研发工程师

优缺点分析

角色解读

• 纵向可向推理系统架构师方向发展，主导整个推理引擎的架构设计与技术选型
• 横向可延伸到训练框架、分布式并行、编译优化与 AI 芯片软硬件协同等方向
• 在生成式 AI 与多模态方向持续深耕，积累的算子与框架优化能力在算力平台、模型公司之间通用性强
• 研发并优化世界模型推理框架，把最新开源模型快速适配进来，做到实时流式视频生成的时延与吞吐要求
• 在 GPU 上设计、实现并调优大语言模型与多模态模型的核心算子，让推理链路跑得更快、更省显存
• 跟踪并把业界前沿优化手段（QAT/PTQ 量化、算子融合、动态形状、FlashAttention 等）集成进推理引擎
• 与算法、工程团队协作定位推理性能瓶颈，输出可复用的优化方案与工具链
• 熟练掌握 vLLM、SGLang 等主流推理框架的源码结构、调度与显存管理机制
• 扎实的 GPU 编程与高性能计算能力，理解 GPU 架构、并行计算与体系结构，能独立开发优化 CUDA/Triton 内核
• 系统掌握量化（QAT/PTQ）、稀疏、蒸馏、并行等推理加速技术的原理与工程落地方式
• 良好的数学与算法基础，熟悉线性代数、矩阵运算、数值计算以及深度学习常见算子的计算方式

申请策略

• 岗位所属方向偏研究型基础设施，建议提前了解公司在 AI 与算力方面的公开技术布局，面试中体现方向认同感
• 投递前确认团队具体归属与办公地点，并在沟通中明确岗位是偏框架工程还是偏算子内核优化
• 重点呈现推理框架相关经历，如基于 vLLM/SGLang 的部署、改造或二次开发，写清模型规模、QPS、时延等量化指标
• 突出 GPU 算子开发与优化案例，说明优化前后的性能对比（如吞吐提升、显存下降、内核加速比）
• 列出量化、算子融合、FlashAttention、并行策略等具体技术的落地经验，而非泛泛写“熟悉推理优化”
• 补充数学与算法背景，如线性代数、数值计算、深度学习算子实现相关项目或课程
• 系统阅读 vLLM、SGLang 源码，理解 PagedAttention、Continuous Batching、调度与 KV Cache 管理机制
• 补强 CUDA/Triton 编程与 GPU 性能分析工具（如 Nsight Compute）的使用，能独立完成内核调优闭环

面试指南

• 讲优化案例用「背景-瓶颈-方案-收益」四段式：先说清业务场景和指标，再说明用 profiling 定位到哪一行/哪个 kernel，最后给出量化收益与复盘
• 回答原理题时先画整体数据流（请求调度 → KV Cache → 算子执行），再逐层展开关键机制，避免只堆名词
• 面对没有实操过的技术，坦诚说明认知边界并给出自己的验证思路，比强行编造更有说服力
• 你在 vLLM 或 SGLang 上做过哪些改造？PagedAttention 与 Continuous Batching 的原理和瓶颈分别是什么？
• 请描述一次你做的 GPU 算子优化，瓶颈如何定位，最终提升了多少性能？
• PTQ 和 QAT 的区别与适用场景是什么？量化后精度掉点你会怎么处理？
• 多模态模型或视频生成模型的推理链路中，哪些环节最耗时？你会如何优化？
• 动态形状、算子融合、FlashAttention 各自解决什么问题，落地时有哪些坑？