【B-UP】多模态智能体工程师（校招）

优缺点分析

角色解读

• 技术深度：向多模态 Agent 架构专家或 AI 系统专家方向发展
• 业务广度：可转向视频制作工具、AI 创作平台等产品方向
• 管理路径：未来可带领团队负责某条业务线的 AI 系统建设
• 设计和开发多模态智能体系统，实现从用户需求到视频成片的自动化流程
• 搭建和优化 agent 的规划、记忆、工具调用、多智能体协作等核心模块
• 与理解模型和生成模型团队协同，提升系统在专业视频生产场景中的质量和效率
• 扎实的 LLM/VLM Agent 技术基础，熟悉 Tool Calling、RAG、Workflow 编排
• 具备快速原型开发和系统稳定性优化能力，能分析长链路任务中的失败模式
• 对多模态理解和生成模型有整体认知，能协同优化系统性能

申请策略

• 提前了解哔哩哔哩的视频生态和创作者工具，思考如何用 Agent 提升视频生产效率
• 准备一个与 Agent 或视频处理相关的个人项目，展示技术热情和动手能力
• 突出 LLM/VLM 相关项目经历，尤其是 Agent、Tool Calling、RAG 等方向
• 展示系统搭建和优化能力，例如从零搭建 demo 并迭代为稳定系统的案例
• 如有视频编辑、自动化创作工具经验，务必提及
• 深入理解主流 Agent 框架（如 LangChain、AutoGPT）并动手实践
• 补充多模态模型（如 CLIP、LLaVA）和视频生成模型（如 Stable Video Diffusion）的基础知识

面试指南

• 采用分层架构（规划层-执行层-反思层）来组织 Agent 系统，清晰说明输入输出
• 从失败原因（如规划错误、工具调用失败、模型生成偏差）入手，结合重试机制和反馈循环
• 结合具体案例，展示如何将用户需求转化为结构化指令，并利用 RAG 或历史记忆增强理解
• 请设计一个多模态视频生成 Agent 的系统架构，并说明关键模块
• 在 Agent 长链路任务中，常见的失败模式有哪些？如何优化？
• 你如何让 Agent 理解用户模糊的需求并分解为可执行的步骤？
• 如何处理 Tool Calling 中工具返回的错误或异常结果？
• 请谈谈你对 Multi-agent Collaboration 的理解和实现思路