黑芝麻
端侧NPU大模型推理框架开发工程师(J11137)
端侧NPU大模型推理框架开发工程师(J11137)
发布于 7 小时前普通员工/个人贡献者
全职员工仅现场办公嵌入式开发
嵌入式开发
Llm
Tensorrt
Vlm
大模型
嵌入式开发
性能优化
端侧推理
量化
值不值得投
73综合评分
综合评分 73
技术前沿、成长性高，但办公与WLB信息未披露，薪资待定。
从薪资福利、成长空间、工作节奏和岗位方向综合评估，方便横向比较。
薪资怎么样
35K
比嵌入式开发中位数高
发布情况
新岗位 · 今天发布
公司情况
这家公司招聘很活跃
24 个在招 · 其中嵌入式开发 2 个
市场机会
选择面较广
上海 · 嵌入式开发 · 约 180 个在招
职位详情
关于这个职位
负责端侧NPU平台的大模型推理框架开发、迭代与性能优化，专注于嵌入式/车载边缘设备上的LLM/VLM部署场景
工作涉及框架核心模块定制、NPU适配、模型量化与轻量化，以解决端侧算力有限、显存受限等落地挑战，确保推理高效、稳定运行
最低要求
本科及以上学历，计算机、人工智能、电子信息、软件工程等相关专业，具备扎实的计算机基础与C/C++编程功底
精通TensorRT-Edge-LLM、TensorRT、MNN核心原理与二次开发，熟悉主流端侧推理框架，具备推理框架定制改造、性能优化、功能迭代的实战经验
熟练掌握Transformer架构，深入理解大模型基础原理与端侧部署逻辑，具备大模型轻量化、推理优化、端侧落地实操经验
熟悉端侧NPU异构架构与适配逻辑，具备推理框架跨NPU平台移植、计算图优化、内存调度优化经验
熟悉PTQ、QAT量化原理与落地流程，能够独立排查大模型量化精度丢失、推理异常、显存溢出等问题，保障模型顺利落地
具备良好的问题排查能力与主动学习意识，沟通协作顺畅，可高效配合算法团队完成大模型端侧部署与迭代交付
工作职责
负责端侧推理框架的迭代、NPU适配与落地优化，聚焦嵌入式/车载边缘NPU平台，专注大模型（LLM/VLM）端侧部署场景，保障模型推理高效、稳定运行
负责推理框架核心能力定制开发与性能优化，涵盖模型解析、计算图优化、内存/推理调度、量化推理适配等核心模块，解决端侧设备算力有限、显存受限、时延敏感等大模型落地核心问题
对接大模型量化与轻量化流程，适配PTQ、QAT量化方案及剪枝、蒸馏、稀疏化等压缩技术，平衡大模型端侧推理精度与性能
主打端侧NPU平台适配调优，针对各类大模型、Transformer架构模型，完成推理框架移植适配、访存优化、推理策略迭代，持续提升推理吞吐、降低推理时延与内存占用
搭建端侧大模型推理性能、精度、稳定性评测体系，持续优化显存占用、推理延迟、功耗等核心指标，支撑大模型规模化端侧落地交付
跟进端侧大模型推理前沿技术，落地轻量化、高性能推理优化方案，持续提升推理框架在各类NPU平台的兼容性与推理性能
优先资格
精通大模型推理框架vllm、sglang
具备LLM/VLM多模态大模型在边缘NPU平台的适配、移植与深度性能调优经验，可独立解决大模型推理时延高、显存占用大、稳定性差等落地难题
熟悉大模型端侧压缩、稀疏化、推理调度、上下文优化方案，有复杂大模型轻量化落地实战经验
熟悉主流端侧NPU硬件架构与推理特性，针对大模型场景完成过推理框架专项优化，具备规模化部署落地经验
AI 洞察
优缺点分析
优点
- 技术前沿，直接参与端侧大模型与NPU芯片的落地，积累稀缺的AI系统优化经验
- 公司为已上市芯片企业，平台资源丰富，项目涉及车载等高价值场景
- 工作涉及框架开发、性能调优等深度技术，有助于构建扎实的系统工程能力
- 跨NPU平台适配可能增加工程复杂性，需处理硬件差异和兼容性问题
- 适合具备扎实C++和嵌入式开发基础，对AI系统优化和边缘计算有浓厚兴趣，乐于解决复杂工程问题的工程师
缺点 / 挑战
- 端侧部署技术难度高，需应对算力、显存、时延等多重约束，优化挑战大
- 技术栈更新快，需持续跟进大模型推理前沿技术，学习压力较大
角色解读
- 可向AI系统架构师或技术专家方向发展，主导端侧AI芯片生态建设
- 也可转向产品化角色，负责端侧大模型解决方案的设计与交付
- 通过积累跨平台优化经验，有机会参与行业标准制定或前沿技术研究
- 负责端侧推理框架的迭代开发与性能优化，确保大模型在NPU上高效运行
- 针对嵌入式/车载边缘平台进行NPU适配，解决显存、时延等端侧部署难题
- 对接大模型量化与压缩技术，平衡推理精度与性能
- 搭建评测体系，支撑大模型规模化端侧落地交付
- 精通C/C++编程和主流推理框架（如TensorRT、MNN）的二次开发与优化
- 深入理解Transformer架构和大模型原理，具备端侧部署实战经验
- 熟悉端侧NPU异构架构与量化技术（PTQ、QAT），能独立排查性能问题
- 具备良好的问题解决能力和团队协作意识
申请策略
- 研究黑芝麻智能的芯片产品（如A1000系列）及在车载领域的应用，理解业务方向
- 准备介绍过往项目中如何解决端侧推理延迟、显存占用等问题的具体案例
- 突出C/C++项目经验，尤其是推理框架开发或性能优化案例
- 列举使用TensorRT、MNN等框架进行大模型端侧部署的具体实践
- 强调量化、剪枝等模型压缩技术的实战成果，如精度与性能平衡指标
- 展示跨平台（如NPU）适配或嵌入式系统开发经验
- 深入学习端侧NPU硬件架构（如黑芝麻芯片）的推理特性与优化方法
- 掌握vllm、sglang等新型推理框架，拓展大模型端侧部署的技术视野
面试指南
- 采用STAR法则（情境、任务、行动、结果）结构化回答，突出个人贡献和技术深度
- 结合具体数据（如优化前后的延迟、显存指标）说明效果，增强说服力
- 从系统层面阐述思路，如框架设计、硬件特性利用、算法协同等
- 请描述你过去在端侧推理框架优化中遇到的最大挑战及解决方案？
- 如何针对不同NPU平台进行推理框架的移植与适配？
- 大模型量化（如PTQ/QAT）过程中，如何平衡精度损失与性能提升？
- 你如何设计评测体系来评估端侧大模型推理的性能、精度和稳定性？
- 对于Transformer模型在端侧部署，有哪些关键的优化策略？
职位点评
薪资福利75
成长发展90
工作生活50
使命价值70
薪资福利
75中等
作为已上市芯片企业，职位通常提供有竞争力的薪酬和稳定的福利体系，但JD未明确披露薪资与福利细节。
薪资信号未披露（AI估算：2.5–4.5万/月）
成长发展
90较高
职位涉及端侧大模型推理、NPU适配等前沿技术，技能成长性强，公司作为上市企业可能有清晰的晋升通道，但JD未提及具体培训或晋升路径。
技术前沿前沿/新兴技术
技术栈端侧推理、NPU适配、大模型、TensorRT、量化、C++、Transformer
业务类型profit_center
工作生活
50较低
JD未提及办公模式、工时或WLB相关信号，工作地点在上海和成都，可能涉及高强度技术攻关，灵活性未知。
工作模式未明确
办公地点未明确
加班情况未提及（无法判断）
使命价值
70中等
端侧大模型部署是AI落地的重要方向，行业处于高速增长赛道，但JD未强调社会价值或使命导向，更多聚焦技术实现。
行业发展高速增长赛道
社会影响中性/一般
创新程度积极采用新技术
Watch Jobs