端侧大模型工程师

优缺点分析

角色解读

• 从端侧模型优化工程师向AI系统架构师发展，负责整体推理系统设计
• 可深入底层芯片协同设计，成为端侧AI软硬协同专家，或转向自动驾驶、智能座舱等车机AI方向
• 在技术深度和广度上持续积累，可晋升为技术主管或技术专家，带领团队负责前沿AI部署方案
• 负责将大模型（如MLLM、LLM）部署到端侧设备（如手机、车机），并进行性能优化以降低延迟和内存占用
• 深入研究并实施模型量化（如GPTQ、AWQ）、算子优化、内核融合等技术，提升模型运行效率
• 开发和维护端侧模型自动化部署流水线，包括模型转换、量化、编译、测试与性能分析
• 扎实的C/C++或Python编程能力，能进行底层性能调优
• 熟悉主流模型压缩技术，如量化、剪枝、蒸馏，并有实际应用经验
• 熟悉至少一种推理框架（如VLLM、TensorRT-LLM、llama.cpp），了解其优化机制
• 对端侧AI硬件（高通DSP/NPU、MTK、CUDA）有较强兴趣或实际开发经验

申请策略

• 在简历中体现对端侧大模型技术的热情，可以附上个人技术博客或GitHub项目链接
• 面试前了解吉利在智能座舱和自动驾驶方面的布局，在沟通中展示你对业务场景的理解
• 突出你在模型压缩（量化、剪枝等）方面的实战项目经验，尤其是具体优化效果（如模型大小降低比例、推理加速倍数）
• 强调你对端侧推理框架（如llama.cpp、TensorRT-LLM）的熟悉程度，若有相关部署案例务必写清楚
• 展示你对C++底层性能优化的能力，如内存优化、SIMD、多线程等
• 如果有高通或MTK平台开发经验，作为加分项重点突出
• 提前学习端侧推理框架的源码，理解量化原理，并尝试复现一篇模型压缩论文
• 了解常见端侧AI芯片（如高通Hexagon）的编程接口和优化技巧，可通过高通SNPE或MTK Neuron SDK入手

面试指南

• 对于部署流程问题，可以从模型转换、量化、编译、上板、调优等步骤展开，突出对工具链的理解
• 对于算法问题，先阐述算法原理，再结合你的实践经验说明其适用场景和局限，最后提出改进思路
• 对于项目经历问题，采用STAR法则，重点描述你在优化过程中遇到的问题和解决思路，以及量化结果
• 如何对一个大模型进行端侧部署？请描述整体流程
• 请详细说明你对GPTQ或SmoothQuant量化算法的理解，并比较它们的优缺点
• 针对端侧NPU，你会如何进行算子优化？
• 如何减少模型推理时的内存占用？
• 请介绍一个你之前做过的模型优化项目，遇到了哪些挑战？