核心职责:
算法研发与优化:
研发基于VLM(如GPT-4V、Flamingo、BLIP-2等)的机器人感知与决策算法,实现视觉-语言-动作的端到端闭环
针对机器人场景(如物体抓取、导航、人机交互)优化多模态模型,提升在真实环境中的泛化能力与鲁棒性
探索小样本学习、增量学习等技术,解决机器人数据稀缺问题
工程落地:
将VLM模型部署至机器人硬件平台(如ROS、嵌入式设备),优化推理效率(模型剪枝、量化、TensorRT加速等)
设计数据闭环 pipeline,通过真实场景反馈持续迭代模型性能
前沿探索:
跟踪VLM与具身智能(Embodied AI)领域最新进展,推动技术在机器人业务中的创新应用