AI infra大模型推理引擎专家

优缺点分析

角色解读

• 深耕AI基础设施领域，成为大模型推理优化的行业权威专家
• 可向技术管理方向发展，带领团队构建更高效的推理平台
• 随着大模型应用普及，技能在业界具有极高迁移性和稀缺性
• 设计大模型推理引擎的整体架构，覆盖多模态、生成式推荐等复杂业务场景
• 制定模型压缩、系统调度与编译协同的优化策略，提升端到端推理效率
• 建立性能评估机制，通过数据分析定位瓶颈并推动技术方案迭代
• 总结推理优化方法论，输出可复用实践以提升团队整体技术能力
• 精通大模型推理引擎架构设计，具备系统级性能优化能力
• 熟悉模型压缩、系统调度、编译优化等技术，能进行端到端效率优化
• 具备性能瓶颈分析方法论，能够从数据中发现架构缺陷并验证优化方案
• 能将前沿研究转化为工程实践，有创新和决策能力

申请策略

• 了解京东零售的AI应用场景，特别是生成式推荐和智能客服方向
• 面试中准备具体的性能优化案例，用量化结果展示价值
• 突出大模型推理引擎或相关系统的架构设计经历，具体说明负载规模、性能提升数据
• 展示系统级优化案例，如模型压缩、算子融合、显存优化等实际效果
• 强调性能分析能力，包括使用profiling工具定位瓶颈的实践
• 体现将前沿论文转化为工程落地的能力
• 深入掌握CUDA、TensorRT等GPU优化工具，熟悉推理框架如vLLM、TensorRT-LLM
• 学习最新的模型量化、剪枝、蒸馏技术，并了解编译优化如TVM、MLIR

面试指南

• 采用STAR法则：情境、任务、行动、结果，强调量化成效
• 突出方法论：先定位瓶颈，再针对性优化，最后验证和迭代
• 表现技术深度和广度：说明系统级思考，权衡不同优化手段
• 请描述一次你主导的大模型推理引擎优化项目，具体是怎么做的？
• 在多场景下如何设计推理引擎架构以兼顾灵活性和性能？
• 模型压缩和系统调度如何协同？请举例说明
• 如何从性能数据中识别瓶颈？用到过哪些工具和方法？
• 面对一个未见过的新模型结构，你会如何设计推理优化方案？