大模型推理优化专家

优缺点分析

角色解读

• 成为视频大模型推理领域的专家，主导端到端推理引擎的架构演进
• 横向扩展到训推协同优化，与训练团队合作解决底层适配问题，提升整体效率
• 向技术管理方向发展，带领团队构建推理工程体系，推动行业技术标准
• 设计并自研视频大模型的专属推理架构，针对时空迭代和长序列生成进行优化
• 开发高性能CUDA自定义算子，实现视频模型特有的时序推理和扩散采样等核心模块
• 完成模型权重适配、格式转换及推理链路闭环，推动视频生成和理解场景的标准化部署
• 搭建单机高性能与多机分布式推理底座，支持高清长视频的大规模推理
• 精通C++和CUDA，具备独立开发高性能算子和优化GPU计算的能力
• 深入理解TensorRT、ONNX Runtime、vLLM等推理框架底层原理，能进行二次开发
• 熟悉Transformer和Diffusion模型架构，理解视频模型的时序推理与时空注意力机制
• 具备分布式推理和工程化落地经验，能搭建完整的推理工具链和规范

申请策略

• 深入了解B站视频业务的技术栈和产品方向，在面试中展示你对视频推理场景的理解
• 准备一个你主导的推理优化案例，从问题分析到方案实施再到效果量化，体现系统性思维
• 突出在推理引擎架构自研或算子开发方面的项目经验，特别是视频或大模型领域
• 强调对CUDA和主流推理框架的深入理解，附上性能优化数据或开源贡献链接
• 展示分布式推理或训推协同的落地案例，体现工程化能力
• 提及任何与视频生成、理解模型相关的开发经验，即使是研究性质的
• 系统学习TensorRT和vLLM的源码，尝试进行定制化修改和性能测试
• 熟悉视频大模型（如Sora、Stable Video Diffusion）的推理流程，动手实验时序采样和帧交互

面试指南

• 对于架构设计类问题，从需求分析、模块划分、关键权衡（如延迟vs吞吐）到工程落地展开，结合具体技术方案
• 对于优化类问题，遵循“问题定位-瓶颈分析-优化手段-效果验证”的步骤，强调数据驱动和经验总结
• 对于原理理解类问题，先概括核心机制，再对比不同框架的优缺点，最后结合实际应用场景给出选择理由
• 请描述你如何设计一个针对视频大模型的推理引擎架构，考虑哪些关键设计点？
• CUDA算子优化中，如何权衡寄存器使用和共享内存，举例说明
• TensorRT和vLLM的底层原理有什么异同？如何对它们进行定制化改造？
• 视频模型推理中，时序维度的并行化如何实现？遇到过什么挑战？
• 如何处理训推不一致问题？请结合具体模型（如扩散模型）说明