荣耀
端侧大模型推理优化工程师
端侧大模型推理优化工程师
发布于 2 天前普通员工/个人贡献者
全职员工仅现场办公算法优化工程师
算法优化工程师
Llama.Cpp
Lora
Mnn
Ncnn
Ollama
Onnx
Pytorch
模型量化
值不值得投
72综合评分
综合评分 72
前沿技术、高成长性，但工作模式不明确，WLB待确认。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
4万
比算法优化工程师中位数低
发布情况
新岗位 · 2 天前发布
公司情况
这家公司招聘很活跃
75 个在招 · 其中算法优化工程师 7 个
市场机会
选择面较广
北京 · 算法优化工程师 · 约 250 个在招
职位详情
关于这个职位
作为荣耀端侧大模型推理优化工程师，你将专注于将大模型高效部署到Android端与嵌入式设备，通过模型压缩、量化、蒸馏等技术优化推理性能，并建设性能评估体系
该职位需要扎实的C++与深度学习基础，熟悉主流推理框架，并持续探索前沿技术，是技术深耕与工程落地的理想结合
最低要求
计算机相关专业硕士及以上学历，具备 3 年以上 AI 或端侧推理优化相关经验
扎实的 C++ 与深度学习基础，熟悉 PyTorch 等主流框架
了解端侧大模型推理与部署技术，熟悉 llama.cpp、ONNX、NCNN、MNN、MLC‑LLM、Ollama 等至少一类或多类推理工具链
具备模型压缩、量化与推理优化相关经验，了解 GPTQ、AWQ、低比特量化（如 BitNet）、模型蒸馏以及 LoRA / QLoRA / PEFT 等参数高效微调方法
具备端侧性能优化经验，熟悉 Android 性能分析工具或 Native 开发，了解 NPU / GPU 异构加速技术（如 QNN/Hexagon、Vulkan、NNAPI） 及边缘设备部署
关注端侧推理前沿技术方向（如 Speculative Decoding、BitNet、NPU后端适配等），有端侧模型优化实践、开源贡献或相关研究成果者优先
工作职责
负责端侧大模型推理优化与部署落地，设计并实现终端侧模型部署方案，推进模型压缩、量化、裁剪及版本管理，支撑大模型在Android端与嵌入式设备的稳定运行
持续优化端侧推理框架与系统性能，围绕时延、吞吐、功耗及内存占用，建设Benchmark与Profiling体系，并协同产品与研发开展AI模块性能治理
研究端侧大模型轻量化与推理策略，探索不同模型架构在终端设备上的性能与资源消耗最优方案，推进LoRA/QLoRA微调、模型蒸馏及端侧适配技术的工程化落地
AI 洞察
优缺点分析
优点
- 端侧大模型是AI落地的重要方向，技术前沿且需求旺盛，职业发展空间大
- 荣耀作为知名终端厂商，提供丰富的设备资源和真实业务场景，技术实践性强
- 岗位涉及多种推理框架和优化技术，能快速积累跨领域技能
- 技术迭代快，需持续学习前沿技术，保持竞争力
缺点 / 挑战
- 端侧资源受限，优化难度高，需要深入理解硬件和算法，工作挑战大
- 可能面临项目周期压力，需要快速交付并保证稳定性
- 适合对端侧AI有浓厚兴趣、具备扎实工程能力和算法功底，喜欢挑战技术难题的工程师
角色解读
- 在端侧AI领域深耕，成为推理优化专家，主导核心算法设计与落地
- 向技术管理方向发展，带领团队负责端侧AI平台建设
- 横向拓展至边缘计算、AI芯片适配等前沿领域，提升技术影响力
- 负责端侧大模型推理优化与部署，包括模型压缩、量化、裁剪及版本管理，确保模型在Android和嵌入式设备上稳定运行
- 建设Benchmark与Profiling体系，持续优化推理框架性能，降低时延、功耗和内存占用
- 研究模型轻量化与推理策略，探索不同架构在终端设备上的最优方案，并推进LoRA/QLoRA微调、蒸馏等技术的工程化落地
- 扎实的C++和深度学习基础，熟悉PyTorch等主流框架
- 熟悉至少一种端侧推理工具链，如llama.cpp、ONNX、NCNN、MNN、MLC-LLM、Ollama
- 具备模型压缩、量化（如GPTQ、AWQ、BitNet）和参数高效微调（LoRA/QLoRA/PEFT）的经验
- 了解Android性能分析工具、Native开发以及NPU/GPU异构加速技术（如QNN/Hexagon、Vulkan、NNAPI）
申请策略
- 了解荣耀的AI战略和端侧产品线，在面试中展示对业务的理解
- 准备一个端侧优化项目的详细复盘，包括问题、方案、结果和思考
- 突出端侧推理优化项目经验，如模型压缩、量化、部署的具体案例和量化成果（如性能提升、内存降低）
- 强调C++和深度学习基础，以及熟悉PyTorch等框架的深度
- 展示对llama.cpp、MNN等工具链的实际使用经验，如有开源贡献或研究成果更佳
- 提及Android性能优化或NPU/GPU加速经验，体现异构计算能力
- 补充学习低比特量化（如BitNet）和推测解码（Speculative Decoding）等前沿技术
- 熟悉Android NDK开发和性能分析工具（如Perfetto、Systrace）
面试指南
- 回答时可采用STAR法则（情境-任务-行动-结果），突出技术决策和量化结果
- 对于技术问题，先阐述原理，再结合项目经验说明应用
- 请描述一次你进行模型量化的经历，如何选择量化方案并评估效果？
- 在端侧部署大模型时，你如何平衡时延、功耗和内存？
- 你熟悉哪些推理框架？比较一下llama.cpp和MNN的优缺点
- 如何优化Android端的NPU使用？遇到过哪些挑战？
- 谈谈你对Speculative Decoding的理解及其在端侧的应用前景
- 复习模型压缩、量化、蒸馏的核心原理和常用工具
职位点评
薪资福利70
成长发展90
工作生活50
使命价值75
薪资福利
70中等
薪资未明确，但根据岗位要求和行业水平，预计薪资具有竞争力，但福利信息未提及。
薪资信号未披露（AI估算：3千–5万/月）
成长发展
90较高
岗位涉及前沿技术，如低比特量化、推测解码，且要求持续学习，发展性动机满足度高。
技术前沿前沿/新兴技术
技术栈C++、PyTorch、llama.cpp、ONNX、NCNN、MNN、MLC-LLM、Ollama、GPTQ、AWQ、BitNet、LoRA、QLoRA、PEFT、Speculative Decoding、NPU、GPU、Vulkan、NNAPI
业务类型profit_center
工作生活
50较低
工作地点在北京，但未提及工作模式，可能为现场办公，WLB信息不明确。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
75中等
端侧AI是高速增长赛道，对社会有积极影响，但JD未提及具体使命。
行业发展高速增长赛道
社会影响正向社会影响力较高
创新程度积极采用新技术
Watch Jobs