大模型系统优化工程师

优缺点分析

角色解读

• 从推理框架优化专家成长为系统架构师，主导AI基础设施的设计与演进
• 向AI编译器或芯片设计方向拓展，成为软硬件协同优化领域的顶尖人才
• 积累大模型工程化经验后，可转型为AI产品经理或技术负责人，推动AI应用落地
• 负责大模型推理框架的开发和性能调优，包括算子优化、显存管理、并行策略等
• 针对国产AI芯片（如昇腾、寒武纪）进行推理框架的适配和移植，确保兼容性和性能
• 与业务团队合作，针对具体场景（如对话、生成）进行软硬件协同优化，降低推理成本
• 参与生成式AI基础组件的研发，如推理服务化、模型量化、动态批处理等
• 扎实的C++/Python编程能力，熟悉高性能计算和系统级开发
• 深入理解计算机体系结构、操作系统、并行计算等基础知识
• 对推理框架（如TensorRT、vLLM、ONNX Runtime）有了解或使用经验
• 有国产芯片适配或异构计算经验者优先，如CUDA、OpenCL、ROCm等

申请策略

• 提前了解第四范式的产品方向（如先知平台、大模型应用），在面试中展示对业务的理解
• 准备一个具体的性能优化案例，从问题分析、方案设计到效果验证，体现系统级思维能力
• 突出大模型或推理框架相关项目经验，如使用vLLM、TensorRT等工具进行性能优化的案例
• 展示系统编程能力，如C++/Python大型项目经验、内存管理、多线程优化等
• 如果有国产芯片适配、CUDA编程或分布式系统经验，需重点强调
• 如有开源项目贡献（尤其是推理框架相关）或竞赛获奖，务必列出
• 学习主流推理框架（vLLM、TGI、TensorRT-LLM）的架构和优化方法
• 熟悉国产AI芯片（昇腾、寒武纪等）的开发工具链和性能调优方法

面试指南

• 针对性能优化问题，建议按‘分析瓶颈-设计优化方案-实现并验证’的框架回答，结合具体工具（如profiling工具）和数据
• 对于适配问题，展示对异构计算的理解，讨论兼容性、算子实现、性能对比等维度的考虑
• 请描述你如何优化一个Transformer模型的推理性能？
• 当遇到显存不足时，你会采取哪些策略来降低显存占用？
• 谈谈你对国产AI芯片（如昇腾910）的了解，以及适配可能遇到的挑战
• 你是否有过CUDA编程经验？请举例说明如何优化kernel性能
• 在一个分布式推理系统中，如何实现负载均衡和容错？
• 复习计算机体系结构（缓存、内存带宽、SIMD等）和并行计算概念，准备手写一些简单kernel