起亚
大模型端侧部署工程师
大模型端侧部署工程师
发布于 大约 17 小时前普通员工/个人贡献者
上海市
中级经验
全职员工
仅现场办公
硕士
软件工程
Npu/Gpu
Nvidia
Pytorch
Qualcomm
Tensorrt
大模型部署
模型量化
知识蒸馏
AI 估算 · 25k–45k
大模型端侧部署工程师技能稀缺，上海地区硕士2年经验，跨国巨头薪资中上，综合市场水平估算。
职位详情
关于这个职位
该职位负责将大语言模型和多模态模型部署到端侧硬件平台（如高通、英伟达），通过量化、剪枝、知识蒸馏等技术优化模型推理速度和资源占用
需要扎实的深度学习基础和硬件编程能力，与算法、硬件团队协作推进项目落地
适合对模型优化和端侧AI有浓厚兴趣的工程师
最低要求
硕士及以上学历，计算机、人工智能等相关专业
两年及以上相关工作经验
熟悉深度学习基本原理，掌握至少一种深度学习框架(如PyTorch、TensorFlow)
熟悉C/C++、Python等编程语言，具备良好的编程基础
熟悉NPU、GPU等SOC的编程，模型网络结构优化以及内存等优化
熟悉模型部署相关流程，如有TensorRT、NeuroPilot/SNPE等工具链使用经验
有大语言模型和多模态大模型工程化部署、模型优化的经验
具备较强的学习能力和动手能力，自我驱动力强
工作职责
针对不同硬件平台(Qualcomm、Nvidia等)，进行结构化剪枝、知识蒸馏、模型转换和量化压缩等工作
分析优化模型结构，将LLM、VLM，NLP等模型部署到对应平台，提升模型的推理速度与运算效率
跟进新技术动态，优化现有模型、资源占用，降低推理时延和精度损失，提升模型效果
完成项目相关技术文档的编写和整理
与算法、硬件和供应商等相关团队密切配合，共同推进项目进度
AI 洞察
优缺点分析
优点
- 大模型端侧部署是当前AI落地的核心环节，技术前景和行业需求强烈
- 能够接触最前沿的硬件芯片（高通、英伟达）和模型优化技术，技能积累快
- 跨国企业平台稳定，提供成熟的研发环境和资源支持
- 跨团队协作（算法、硬件、供应商）需要较强的沟通和问题定位能力
- 适合对模型压缩和硬件加速有浓厚兴趣，喜欢钻研底层优化技术，具备较强自驱力和动手能力的AI工程师
缺点 / 挑战
- 技术更新迭代快，需要持续跟进最新论文和工具，学习压力较大
- 端侧资源受限，优化难度高，可能面临长时间调参和性能瓶颈
角色解读
- 向端侧AI部署专家方向发展，深入掌握各类硬件平台优化技术
- 横向拓展至算法优化或系统架构岗，成为全栈AI工程师
- 在智能汽车、手机、物联网等终端AI应用领域持续深耕，前景广阔
- 针对不同硬件平台（如高通、英伟达）进行模型剪枝、蒸馏、量化和转换，将大语言模型和视觉语言模型部署到端侧
- 优化模型推理速度和内存占用，降低时延和精度损失，提升整体效果
- 编写技术文档，并与算法、硬件及供应商团队紧密协作推进项目
- 扎实的深度学习理论基础，熟练使用PyTorch或TensorFlow等框架
- 精通C/C++和Python编程，具备良好的代码优化能力
- 熟悉NPU、GPU等SOC编程，掌握TensorRT、NeuroPilot/SNPE等工具链
- 有实际的大模型工程化部署和模型优化经验
申请策略
- 在求职信或面试中，体现对端侧AI部署的热情和实际问题解决能力
- 提前了解起亚/现代在智能座舱或自动驾驶领域的大模型应用方向，展示行业理解
- 突出大模型部署项目经验，如量化、剪枝、蒸馏的具体案例和量化指标（推理速度、内存占用等）
- 强调熟悉的硬件平台和工具链（如TensorRT、SNPE），以及优化效果
- 展示C/C++编程能力，如内存管理、多线程优化相关项目
- 如有开源贡献或竞赛获奖（如MLPerf），务必提及
- 系统学习TensorRT/NeuroPilot等工具链的使用和部署流程
- 补充NPU/GPU架构知识，理解内存带宽、计算单元等对模型运行的影响
面试指南
- 先说明基本原理和步骤，再结合实际项目经验给出具体做法和结果
- 问题解决类：STAR法则（情境、任务、行动、结果），突出技术细节和量化效果
- 概念类：先解释核心概念，再阐述其在大模型部署中的意义和局限性
- 如何对一个大语言模型进行INT8量化？量化后精度损失如何恢复？
- 解释知识蒸馏的原理，并举例在部署中的实际应用
- 在NPU上部署模型时，如何优化内存访问以提高推理速度？
- 描述一个你遇到的部署挑战（如模型太大无法加载），如何解决的？
- C++中智能指针和内存泄漏的常见原因及如何避免？
职位点评
77
综合评分
前沿AI大模型端侧部署岗位，技术成长极高，薪资中上，WLB一般。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
更适合这类人
最适合追求技术成长和前沿领域、愿意投入时间学习的求职者，对工作生活平衡要求不高。
表现最好
成长发展
相对薄弱
工作生活
薪资福利80
成长发展90
工作生活60
使命价值70
薪资福利
80较高
薪资估算处于市场中上水平，跨国企业福利稳定，但JD未明确具体数值，整体补偿性较好。
薪资信号未披露（AI估算：25K-45K/月）
成长发展
90较高
大模型端侧部署属于前沿技术，技能成长空间极大，但JD未明确晋升通道，发展性非常强。
技术前沿前沿/新兴技术
技术栈大模型部署、模型量化、知识蒸馏、TensorRT、Qualcomm、Nvidia、PyTorch、C++、Python、NPU/GPU
业务类型ambiguous
工作生活
60中等
上海现场办公，未提及弹性工作或WLB，可能有一定工作强度，生活方式满足度一般。
工作模式仅现场办公
办公地点科技园/产业园
加班情况未提及（无法判断）
使命价值
70中等
汽车行业智能化转型具有社会意义，大模型部署有助于提升终端体验，但JD未强调使命感。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
起亚 的其他在招职位
相似职位推荐
Watch Jobs