参与端侧引擎的研发工作,确保其能在各类设备上流畅运行
针对不同硬件平台,尤其是高通平台(如骁龙系列芯片,包括其 CPU、GPU、Hexagon DSP 等计算单元),进行深入的算子适配与性能优化,内存占用优化,降低功耗,减少推理延迟,全方位提升端侧推理的性能表现
紧密对接高通 AI Engine Direct 等芯片厂商 SDK,深度理解其架构与功能,实现模型与高通硬件加速单元的无缝、高效协同,充分挖掘硬件潜力,提升整体计算性能
支持多操作系统(如 Android、Linux RTOS 等)下推理引擎的部署与调试工作
根据不同操作系统的特性,进行针对性的优化与调整,确保引擎在各系统环境下都能稳定、高效运行
与算法团队密切配合,深度参与模型到端侧引擎的转换与验证工作
从工程实现的角度,为算法优化提供专业建议,确保模型在端侧的高效运行与精度保障