候选人需了解并熟悉以下至少一个方向:
视觉预训练(Visual Pretraining):研究自监督学习、知识蒸馏、大规模数据预训练在视觉任务中的应用,熟悉相关工作如DINOv3等
多模态学习(VLM/VLA):
Vision-Language-Model(VLM):研究视觉语言大模型,熟悉相关工作如 VARGPT、VPiT、Ross 等
Vision-Language-Action(VLA):研究视觉语言动作大模型并探索在自动驾驶场景应用,熟悉相关工作如 EMMA等
世界模型(World Model):研究基于自监督学习与强化学习结合的端到端世界模型,应用于自动驾驶场景的状态建模、状态转移预测与规划决策
熟悉相关工作,如 Dreamer 系列、Genie系列、JEPA系列、Cosmos 等
技术能力要求:
熟悉自监督和生成模型,了解大规模预训练
熟练掌握 PyTorch,具备模型开发与优化能力,能够提升训练效率