多模态大模型和语言大模型算法实习生

优缺点分析

角色解读

• 实习期间可深入掌握自动驾驶AI核心技术，积累端到端系统研发经验
• 表现优异可转正为正式算法工程师，参与更核心的模型研发
• 后续发展可向感知、预测、规划等方向深耕，或成为大模型专家
• 参与自动驾驶端到端系统的算法研发，聚焦多模态大模型与生成式模型
• 负责大模型微调（SFT、DPO）及Prompt工程，优化模型在自动驾驶场景的表现
• 参与自动驾驶数据集的全流程管理，包括收集、整理、标注和质量控制
• 扎实的机器学习/深度学习理论基础，熟悉经典模型和训练方法
• 精通Python或C++，具备良好的工程实现能力
• 了解LLM、多模态大模型、Diffusion Model等前沿技术
• 有自动驾驶或机器人相关项目经验者优先

申请策略

• 准备一个与技术方向相关的作品展示（如GitHub项目或论文复现）
• 面试前了解地平线的自动驾驶技术路线，尤其是端到端方案
• 突出机器学习/深度学习相关项目经历，尤其是涉及LLM或多模态的工作
• 如果有自动驾驶或机器人项目经验，详细描述你的贡献和成果
• 列出顶会论文、竞赛获奖或开源贡献，体现研究能力
• 强调编程能力，尤其是Python和C++的代码质量和工程经验
• 补充LLM微调（SFT、RLHF）的实践，可以尝试用开源模型做小项目
• 学习自动驾驶感知、预测、规划的基础知识，了解端到端方案

面试指南

• 对于项目类问题，采用STAR法则：背景、任务、行动、结果，强调你的具体贡献和思考
• 对于技术理解类问题，先定义概念，再结合实际场景说明应用，最后给出自己的见解
• 对于开放性问题，可先提出一个初步方案，然后分析优缺点，展示系统性思考
• 请介绍一下你做过的一个深度学习项目，包括模型设计、训练和优化过程
• 你对多模态大模型在自动驾驶中的应用有什么理解？
• 如何设计一个prompt来让LLM完成特定的自动驾驶场景理解任务？
• 你如何处理训练数据中的不平衡问题？
• 你了解Transformer和Attention机制吗？请详细解释