感知算法专家

优缺点分析

角色解读

• 技术深度方向：成为多模态感知领域的首席科学家或技术专家
• 管理方向：从技术专家晋升为团队主管或技术总监，带领研发团队
• 跨领域发展：向机器人、自动驾驶、人机交互等方向拓展
• 训练和微调多模态感知模型，应用于屏幕行为和用户交互场景
• 融合视觉、屏幕、系统事件等多模态数据，构建感知大模型
• 搭建端侧屏幕理解能力，实现GUI事件感知与自动化响应
• 参与OSAgent感知能力预研，探索记忆、决策与主动响应机制
• 扎实的深度学习基础，熟悉神经网络原理及数学推导
• 精通至少一种深度学习框架（PyTorch/TensorFlow），并有实际项目经验
• 掌握C++/Python编程，具备多模态数据融合处理经验
• 了解大模型设计与应用，有相关论文或专利发表经历更佳

申请策略

• 预先了解小米在AI感知领域的产品（如小爱同学、智能手机AI功能），在面试中展现对业务的理解
• 准备一个端到端的多模态感知项目案例，详细说明技术难点和解决方案
• 突出多模态机器学习项目经验，尤其是涉及视觉、语音、传感器融合的项目
• 强调深度学习框架（PyTorch/TensorFlow）的使用深度和优化经验
• 列出发表的顶级会议论文或相关专利，体现研究能力
• 展示对大模型（如Transformer、多模态大模型）的实际应用经验
• 补充大模型（如LLaMA、GPT、ViT）的训练、微调及部署知识
• 加深对端侧推理优化（如模型量化、剪枝）的理解

面试指南

• 对技术问题，采用STAR原则：情境-任务-行动-结果，突出个人贡献
• 对架构设计问题，先讲目标约束，再对比多种方案并给出选择理由
• 对前沿问题，展示你对领域最新论文的跟踪和理解，并加入自己的思考
• 请介绍你参与过的多模态感知项目，模型架构、数据融合方式及最终效果
• 解释Transformer在多模态任务中的应用，如何设计跨模态注意力机制？
• 如何在大模型基础上进行高效微调，以适应端侧部署？
• 你如何处理多模态数据中的异质性（如采样率、维度不同）？
• 对于GUI自动化感知场景，你会设计怎样的模型架构？