智能引擎-模型优化系统工程师/技术专家-杭州

优缺点分析

角色解读

• 技术专家路线：从工程师到高级工程师、技术专家，深耕推理优化领域
• 架构师路线：参与下一代推理引擎设计，成为系统架构师
• 管理路线：带领团队负责核心优化项目，晋升技术经理
• 负责深度学习模型推理性能优化，支撑千亿级请求，确保高并发低延迟
• 开发高性能推理引擎，优化GPU集群资源利用，提升吞吐和效率
• 构建GPU加速特征访存系统，改进搜推模型架构
• 推动LLM与搜索推荐融合，解决性能瓶颈
• 精通C++/Python，具备系统级开发与调试能力
• 熟悉PyTorch和GPU编程模型，有CUDA或算子优化经验
• 了解主流模型架构和推理框架，如TensorRT、vLLM等
• 扎实的计算机基础，包括操作系统、数据结构、算法

申请策略

• 了解阿里巴巴智能引擎业务，准备相关项目案例
• 展示对AI-native工程文化的认同
• 突出C++/Python开发经验和性能优化项目成果
• 强调GPU编程经验，如CUDA、算子优化、推理加速
• 展示对PyTorch、TensorRT等框架的深入理解
• 如果有LLM或搜索推荐优化经验，务必突出
• 深入学习CUDA编程和GPU架构
• 熟悉主流推理框架，如vLLM、TensorRT，尝试优化实践

面试指南

• 使用STAR法则：情境、任务、行动、结果，突出量化成果
• 结合具体技术细节，展示深度理解
• 强调系统思维和权衡取舍
• 请描述一次你优化深度学习模型推理性能的经历
• 如何设计一个高并发低延迟的推理服务？
• 解释GPU架构中的关键概念，如warp、shared memory
• 如何优化PyTorch模型在GPU上的推理速度？
• 谈谈你对LLM推理优化的理解