端侧AI infra工程师

优缺点分析

角色解读

• 向AI infra架构师方向深化，负责大规模AI系统的设计与优化
• 成为模型优化专家，专注于端侧推理效率的极致提升
• 结合具身智能领域发展，转型为机器人AI算法专家或技术负责人
• 负责端侧AI模型的微调与推理流程优化，加速模型在终端设备上的部署
• 将算法落地到具体业务场景，根据业务需求持续改进算法效果
• 对接模型优化、部署和应用框架，确保算法交付的整体效率和稳定性
• 跟踪AI领域最新进展，将前沿技术引入内部模型优化和部署流程
• 熟练掌握深度学习框架（如Jax、Pytorch）和模型训练调优经验
• 熟悉具身智能框架（lerobot、gr00t）及其训练机制（BC、RL、HIL）
• 掌握训练优化工具（torch profiler、torch compile、triton、cudagraph）和算法优化框架（transformer engine、modelopt、torchao）
• 具备模型量化、剪枝、蒸馏等加速推理的知识和实践经验

申请策略

• 提前了解智元机器人的具身智能产品和业务方向，在面试中展示技术热情
• 可以准备一段关于端侧推理优化整体方案的思考，体现系统思维
• 突出模型优化和部署项目经验，特别是端侧或资源受限场景的实战案例
• 强调对Jax、Pytorch等框架的熟练度以及训练调优的具体成果
• 列出熟悉的优化工具（如triton、cudagraph）和算法压缩技术（量化、剪枝）
• 若参与过AI平台或infra建设，详细描述系统性能提升的量化指标
• 补全对torch compile、triton等工具的代码级理解，争取有实际优化案例
• 学习具身智能框架lerobot、gr00t，可通过开源项目快速上手

面试指南

• 首先分析瓶颈（计算、内存、带宽），然后选择合适的优化技术（如算子融合、量化、剪枝），并验证效果
• 结合具体案例，说明优化前后的性能对比（耗时、内存占用），强调权衡精度与速度
• 对于框架问题，体现从原理到实践的理解，提及遇到的挑战和解决方案
• 请描述你如何优化一个端侧模型的推理速度？会考虑哪些因素？
• 你使用过哪些训练优化工具？举例说明它们如何提升训练效率
• 解释模型量化、剪枝、蒸馏的原理及适用场景
• 你有具身智能框架（如lerobot）的使用经验吗？描述一个相关项目
• 如何处理一个在端侧设备上部署的模型精度下降问题？