Software Engineer, LiteRT / On-Device AI

优缺点分析

角色解读

• 技术专家路线：深入LLM编译器、运行时或芯片协同设计领域，成为特定方向的权威
• 架构师路线：负责更复杂的推理系统或AI框架的整体架构设计
• 技术领导路线：带领小团队负责某个核心模块的演进和规划
• 开发和维护让AI/LLM模型在高通NPU芯片上高效运行的底层软件栈
• 负责模型从图编译到硬件执行的全链路性能优化与问题诊断
• 参与Google LiteRT等开源项目的高通后端实现与维护
• 与芯片设计、模型开发等跨职能团队协作，解决产品落地中的技术难题
• 精通C++和Python，具备系统级编程和性能优化能力
• 深入理解计算机体系结构，特别是NPU/GPU等异构计算单元的原理
• 掌握深度学习理论，熟悉Transformer/LLM架构及其推理过程
• 具备扎实的操作系统知识，能分析线程、内存、缓存等资源调度问题

申请策略

• 在面试中展现你对‘边缘计算’与‘云计算’在资源、功耗、延迟上根本区别的深刻理解
• 准备一个你调试或优化过的、涉及跨层问题的复杂技术案例（如从应用层日志追踪到内核调度问题）
• 表现出对开源社区的热情和协作意愿，因为该职位涉及开源软件开发
• 突出C++/Python在系统软件或性能关键型项目中的开发经验，特别是涉及内存管理、多线程、SIMD优化的内容
• 详细描述在机器学习框架（如TensorFlow、PyTorch）或编译器相关的项目经历，尤其是涉及模型优化、量化、图优化的部分
• 如有，在简历中明确体现对计算机体系结构（CPU/GPU/NPU/DSP）的理解和利用硬件特性的实践经验
• 提及参与的开源项目贡献或在嵌入式/移动设备端开发的经验
• 系统复习《计算机体系结构》和《操作系统》的核心知识，特别是缓存一致性、内存模型、线程调度

面试指南

• 回答技术问题时，采用“定义概念 -> 分析原理 -> 结合场景 -> 举例说明”的框架，体现系统性思维
• 对于开放性问题（如优化思路），先澄清问题约束（模型大小、硬件限制、延迟/功耗目标），然后列出可能的优化层次（图级、算子级、运行时级），再逐一分析可行性
• 遇到不确定的问题时，诚实说明，并展示你的推理过程和学习能力
• 请描述一下将一个PyTorch Transformer模型部署到高通NPU上进行推理，可能需要经过哪些主要步骤和优化？
• 假设一个LLM在NPU上推理时，发现首Token延迟（Time-to-First-Token）很高，但后续Token生成速度正常，你会从哪些方面分析原因？
• 请解释什么是模型量化？整数量化和混合精度量化有哪些权衡？
• 如何设计一个运行时后端，来高效管理NPU上的计算任务和内存缓冲区？
• 重温计算机体系结构核心内容：缓存层次、内存访问模式、SIMD指令、异构计算（CPU vs. GPU vs. NPU）