【2027】大模型推理优化工程师-成都(J14459)

优缺点分析

角色解读

• 可向大模型推理架构师或AI芯片系统软件专家方向发展，深入底层软硬件协同优化
• 随着大模型应用的爆发，具备自研芯片适配和极致性能优化经验的工程师在行业内极具稀缺性
• 研发和优化语言大模型及多模态推理引擎，设计并实现PD分离推理调度系统
• 针对新一代自研AI芯片进行推理引擎的开发与优化，通过模型量化、算子优化和通信优化提升推理性能
• 扎实的C/C++和Python编程基础，具备优秀的代码编写和调试能力
• 熟悉GPU/AI芯片编程（如CUDA、Ascend）及主流大模型推理框架（如vLLM、sglang）
• 了解深度学习网络底层实现、并行策略（模型/流水线并行）及分布式通信机制

申请策略

• 了解中科曙光在AI芯片和大模型领域的最新产品布局，面试时展现对公司自研硬件生态的关注
• 突出在C/C++、CUDA编程及大模型推理框架（如vLLM、TensorRT-LLM）方面的项目经验或源码贡献
• 强调在模型量化、算子优化、分布式通信或系统性能调优方面的具体成果和性能提升数据
• 深入学习vLLM、sglang等主流推理框架的源码，尝试提交PR或进行二次开发
• 补充对自研AI芯片（如Ascend）编程模型的了解，熟悉分布式通信库（如RCCL、deepep）

面试指南

• STAR法则：针对性能优化问题，清晰描述背景（Baseline）、采取的具体优化手段（Action）以及最终的性能提升指标（Result）
• 底层原理剖析：在回答框架或通信问题时，不仅要说怎么做，还要深入解释底层硬件机制（如显存带宽、计算单元利用率）
• 请详细介绍你在模型量化或算子优化方面的项目经验，具体提升了多少推理性能？
• vLLM的PagedAttention机制是如何实现的？在PD分离架构中如何优化显存和调度？
• 在GPU通信或分布式推理中，如何解决通信瓶颈？了解NVLink或RCCL的底层原理吗？
• 针对自研AI芯片，你认为在推理引擎适配上最大的挑战是什么？如何克服？
• 复习CUDA编程模型、GPU硬件架构以及主流大模型推理框架的核心源码和论文
• 准备1-2个自己主导或深度参与的性能优化项目，能够清晰画出架构图并解释优化细节