研究型实习生 - 大模型推理加速以及高效微调核心技术研究

优缺点分析

角色解读

• 从研究型实习生起步，可转正为正式研究员，深入大模型基础设施领域
• 积累系统优化和AI工程化经验，成为大模型推理优化专家
• 有机会在顶级会议发表论文，提升学术影响力，未来可走向技术专家或管理岗位
• 设计并实现大模型推理的多层级存储系统，优化缓存利用率，提升推理性能
• 开发负载感知的推理框架自调优能力，自动调整参数以适应不同负载
• 优化模型量化与卸载技术，扩大单机可支持的模型规模
• 构建高效微调框架，集成算法并实现动态策略调度
• 扎实的计算机科学基础，熟悉Linux环境下的C++/Go/Python/Shell编程
• 熟悉至少一种大模型推理或微调框架，如vLLM、DeepSpeed、LLaMA-Factory等
• 有顶会论文发表经验，具备独立研究和解决问题的能力
• 加分项：理解GPU架构和CUDA编程，有性能分析经验

申请策略

• 了解阿里巴巴在AI基础设施方面的布局，如通义千问等，在面试中展现对业务的关注
• 准备一个与岗位相关的技术分享，展示你的研究深度和系统设计能力
• 突出顶会论文发表经历，尤其是与机器学习系统、数据库、存储相关的论文
• 强调大模型推理或微调框架的使用经验，如vLLM、DeepSpeed等
• 展示复杂系统开发项目，体现C++/Python等编程能力
• 如有GPU性能优化经验，务必详细描述
• 深入学习大模型推理框架的源码，理解其架构和优化点
• 补充CUDA编程和GPU性能分析知识，提升硬件层面的理解

面试指南

• 采用STAR法则回答项目经验问题，突出技术难点和解决方案
• 对于系统设计问题，先明确目标，再分析约束，最后提出方案并讨论权衡
• 对于技术理解问题，结合具体案例，展示深度和广度
• 请介绍你在大模型推理或微调方面的项目经验，遇到了哪些挑战？
• 如何优化大模型推理中的KVCache？
• 你如何设计一个负载感知的推理框架自调优系统？
• 谈谈你对模型量化技术的理解，以及在实际应用中的权衡
• 你如何评估一个系统优化的效果？