大模型开发工程师(J11071)

优缺点分析

角色解读

• 技术专家路径：持续深耕推理优化领域，成为大模型基础设施的技术专家或架构师
• 技术管理路径：在负责核心技术模块后，可转向技术团队管理或项目负责人角色
• 行业拓展：可将积累的优化经验迁移至自动驾驶、机器人等更多AI落地场景
• 开发和维护大模型推理引擎与服务，确保模型能被高效、稳定地部署和调用
• 针对具体业务场景，对模型推理的性能（速度、吞吐量）和成本进行深度优化
• 将大模型能力封装成可对外提供服务的MaaS平台，应对高并发挑战
• 解决大模型在不同国产AI芯片上的运行适配问题
• 深入理解LLM工作原理，精通至少一种主流推理框架（如vLLM, TensorRT-LLM）
• 具备扎实的工程化能力，熟悉CUDA编程、算子优化及性能调优手段
• 了解分布式计算与调度，掌握负载均衡、缓存等技术以提升服务并发能力
• 熟悉国产算力生态，有AI芯片适配经验者优先

申请策略

• 深入研究云知声的产品（如语音芯片、物联平台）及其对大模型能力的需求，理解该岗位如何支撑公司业务
• 准备一个关于“如何优化大模型推理性能”的技术方案或思考框架，在面试中展现系统性思维
• 突出在模型推理框架（如vLLM、TGI）上的实际开发或优化经验，最好有量化数据（如吞吐量提升百分比）
• 详细描述使用CUDA、Triton或编写高性能算子进行加速优化的项目经历
• 如有在国产芯片（如昇腾、海光）上的部署或适配经验，应作为重点亮点呈现
• 展示对模型量化（如GPTQ、AWQ）、蒸馏等压缩技术的实践理解
• 系统学习和实践主流LLM推理框架（vLLM, SGLang, TensorRT-LLM）的源码和内部原理
• 深入理解CUDA编程模型，并通过开源项目或教程练习编写和优化自定义算子

面试指南

• 对于性能优化案例，使用STAR法则：先讲清楚场景和任务目标，再详细说明你采取的技术行动和原理，最后用量化数据展示结果
• 对于框架对比，从架构设计（如调度器、内存管理）、支持的特性（如批处理策略、量化）、性能表现和易用性等多个维度进行结构化对比
• 对于系统设计问题，先梳理核心流程和指标（如吞吐量、延迟），再分模块（如请求调度、模型加载、缓存策略）进行设计，强调可扩展性和容错性
• 对于适配问题，从算子兼容性、性能差异、软件栈差异、调试工具链等方面系统性分析，并提出验证和优化的思路
• 请描述一个你优化过的模型推理性能的具体案例，你采用了哪些技术，效果如何？
• 对比vLLM、SGLang和TensorRT-LLM这些推理框架，你认为它们的主要架构差异和适用场景是什么？
• 如何设计一个服务，以支持对多模态大模型（如文生图+语音合成）的高并发低延迟调用？
• 如果要将一个在NVIDIA GPU上运行良好的模型适配到昇腾NPU上，你认为主要的挑战和步骤是什么？