平头哥-深度学习推理引擎研发专家-杭州

优缺点分析

角色解读

• 技术专家路线：在推理引擎、AI编译等方向深耕，成为领域内的技术权威
• 架构师路线：从单一模块设计走向系统整体架构设计，负责大型推理系统的架构演进
• 技术管理路线：带领团队负责推理引擎的研发，向技术经理或总监方向发展
• 设计和开发高性能推理引擎SDK，包括API设计、性能优化和产品化，确保引擎的易用性和稳定性
• 负责AI编译器的设计与实现，包括图融合、图优化、算子优化和自动调优，提升模型推理效率
• 设计和实现推理引擎的运行时系统，包括内存管理、资源管理等，确保系统的高效和稳定运行
• 针对大模型进行推理优化，研究和应用最新的LLM推理技术，解决大模型部署和推理的性能瓶颈
• 精通C/C++编程，具备出色的软件设计、调试、性能分析和测试能力
• 熟悉深度学习框架（如TensorFlow、PyTorch），了解其内部机制和优化方法
• 具备AI编译或推理引擎相关经验，熟悉TensorRT、MLIR等工具者优先
• 了解CPU/AI架构，具备性能建模、分析和代码优化经验

申请策略

• 在申请时，可以突出你对AI基础设施的热情和对技术挑战的渴望
• 了解阿里巴巴的工程师文化，在面试中展现你的技术深度和解决问题的能力
• 突出在AI编译、推理引擎或相关领域的项目经验，特别是性能优化方面的成果
• 强调C/C++编程能力，可以展示在大型项目中的代码贡献和性能调优案例
• 如果有TensorRT、MLIR等工具的使用经验，务必在简历中体现
• 展示对大模型推理优化的理解，如KV Cache、量化、算子融合等
• 深入学习MLIR、TVM等AI编译框架，了解其设计思想和实现细节
• 关注大模型推理的最新进展，如vLLM、TensorRT-LLM等，了解其核心优化技术

面试指南

• STAR法则：在回答项目经验时，采用情境(Situation)、任务(Task)、行动(Action)、结果(Result)的结构，突出个人贡献和量化成果
• 结构化思考：对于优化类问题，可以从系统层面（内存、计算、IO）到算法层面（算子、图优化）进行分析，展现系统性思维
• 对比分析：在介绍技术方案时，可以对比不同方案的优缺点，并说明你的选择理由，体现技术深度和决策能力
• 请详细描述你参与过的一个推理引擎或AI编译项目，你在其中承担了什么角色，解决了哪些技术难题？
• 如何优化一个Transformer模型在CPU上的推理性能？请给出你的思路和步骤
• 请解释一下图融合、算子融合的原理，并举例说明其如何提升推理性能
• 你如何理解MLIR？它在AI编译中扮演什么角色？
• 在内存受限的情况下，如何优化大模型推理的内存占用？