大模型开发工程师(J11065)

优缺点分析

角色解读

• 技术专家路线：深耕大模型推理优化领域，成为性能优化或异构计算方面的技术专家或架构师
• 全栈AI工程路线：向前延伸至模型训练、压缩，向后扩展至平台工程、MLOps，成为端到端的AI系统工程师
• 技术管理路线：随着经验积累和项目领导力提升，有望带领团队负责更复杂的AI基础平台建设
• 负责开发和优化大模型（文本、图像、语音等多模态）的推理引擎和高性能服务，确保模型能快速、高效地运行
• 针对具体的业务场景，通过量化、蒸馏、调度优化等技术手段，解决模型落地时的性能瓶颈，努力降低推理成本
• 设计和维护面向高并发场景的大模型即服务(MaaS)平台，保证服务的稳定性和可扩展性
• 精通至少一种主流的LLM推理框架（如vLLM、SGLang、TensorRT-LLM），并有实战优化经验
• 深刻理解大模型推理优化的核心技术，包括但不限于PD分离、缓存策略、并行计算和负载均衡
• 具备扎实的CUDA/Triton等GPU编程与算子优化能力，能够针对底层硬件进行性能调优
• 了解国产算力芯片（如昇腾、海光等）的架构与生态，并有实际的模型适配或性能优化经验为佳

申请策略

• 研究云知声的产品和解决方案（尤其是其语音和多模态相关产品），思考大模型推理技术如何具体支撑其业务，面试时可展现你对业务的理解
• 准备一个关于“如何从零开始构建一个高性能大模型推理服务”的完整思路，涵盖框架选型、资源调度、服务封装和监控等方面
• 详细描述使用vLLM、TensorRT-LLM等框架进行大模型服务部署和性能调优的具体项目案例，量化性能提升结果（如QPS提升、延迟降低百分比）
• 突出任何涉及CUDA编程、自定义算子开发、模型量化（如GPTQ, AWQ）或推理引擎二次开发的经验
• 若有在昇腾、海光等国产芯片上进行模型适配或性能优化的实践，务必重点列出
• 深入学习SGLang、lmdeploy等新兴推理框架的原理与代码，了解其与vLLM的异同和优势场景
• 系统性地复习和实践大模型推理优化技术，如KV Cache管理、Continuous Batching、Tensor Parallelism、Pipeline Parallelism等
• 关注并动手实验国产AI芯片的开发工具和生态，了解其与NVIDIA CUDA生态的差异

面试指南

• 使用STAR法则（情境、任务、行动、结果）来回答项目经验问题，突出你在其中的技术决策和量化成果
• 对于技术对比和设计类问题，先梳理核心概念（如框架的调度策略、缓存机制），再从性能、易用性、生态等维度进行结构化对比分析
• 对于开放性设计问题，遵循“明确目标 -> 分析约束 -> 提出架构 -> 讨论关键模块 -> 预估风险”的步骤进行回答
• 请描述一个你优化大模型推理性能的项目，遇到了哪些主要瓶颈？你是如何分析并解决的？
• vLLM、SGLang、TensorRT-LLM这三个推理框架在架构和适用场景上有什么主要区别？你会如何为一个项目选型？
• 假设需要为一个多模态大模型（例如同时处理文本和图像输入）设计一个高并发的推理服务，你会如何考虑架构，特别是资源调度和负载均衡？
• PD分离（Prefill-Decode Separation）技术具体解决什么问题？它的实现面临哪些挑战？
• 如果你需要将一个训练好的大模型适配到昇腾（Ascend）芯片上运行，可能会遇到哪些不同于NVIDIA GPU的挑战？你会如何着手？