研究型实习生-面向长上下文推理的跨地域 P-D分离服务优化

优缺点分析

角色解读

• 深入AI系统优化领域，成为推理服务专家
• 发展分布式系统架构设计能力
• 向算法工程师、系统架构师或技术管理方向发展
• 研究面向长文档理解、企业知识库问答等场景的长上下文大模型推理优化
• 设计跨地域Prefill-Decode分离部署方案，优化协同调度和网络传输
• 解决首token延迟、GPU利用率、服务成本等核心问题，提升用户体验
• 精通计算机网络和网络编程技术
• 熟练掌握C/C++、Python或Go等编程语言
• 熟悉RDMA、拥塞控制、集合通信等高性能智算系统技术
• 具备自驱力、创新精神和跨团队协作能力

申请策略

• 了解阿里巴巴在AI基础设施和推理优化方面的最新进展
• 准备与长上下文推理、P-D分离相关的技术问题和解决方案
• 突出网络编程和高性能计算相关项目经验
• 展示C/C++/Python/Go等语言的实际应用能力
• 强调对AI推理框架或分布式系统的学习和实践
• 学习RDMA、集合通信等高性能网络技术
• 深入研究主流推理框架如TensorRT、vLLM的优化机制
• 补充分布式系统调度和网络优化的知识

面试指南

• 采用STAR法则（情境、任务、行动、结果）描述项目经验
• 结合理论知识和实际应用解释技术方案
• 展示对行业问题的思考和解决方案
• 描述你对计算机网络和网络编程的理解，以及相关项目经验
• 如何优化长上下文大模型的推理服务性能？
• 你对Prefill-Decode分离部署有什么看法？
• 谈谈你对RDMA或拥塞控制的了解
• 复习计算机网络协议、高性能网络技术