达摩院-多模态大模型算法工程师（视频理解方向）-杭州

优缺点分析

角色解读

• 向多模态算法专家或首席科学家方向发展，深耕前沿AI技术研究
• 转向AI产品架构或技术管理岗位，主导跨部门技术战略与团队协同
• 在视频生成/理解赛道积累深厚后，可独立负责核心技术方向并推动商业化落地
• 负责多模态大模型在视频理解场景的微调与后训练优化，解决长视频结构化与时序定位等核心问题
• 设计跨模态（音视频文本）融合对齐方案，提升复杂场景下的模型理解效果与鲁棒性
• 优化模型推理效率与部署成本，探索蒸馏、剪枝、量化及推理引擎加速等技术路径
• 构建高质量多模态数据清洗、标注与评测流水线，支撑模型效果的持续迭代
• 扎实的深度学习与计算机视觉理论基础，精通Python与PyTorch框架
• 熟练掌握SFT、DPO/GRPO等模型后训练技术，具备解决实际视频理解问题的能力
• 具备跨模态数据处理能力，熟悉模型压缩、算子优化及推理加速工具链
• 拥有完整算法项目落地经验，能在效果、性能与成本之间进行合理的技术权衡

申请策略

• 提前研究达摩院近期在多模态视频理解方向的公开论文、技术博客与开源项目
• 准备详细的项目难点攻克案例，重点展示技术决策逻辑与失败迭代后的突破过程
• 突出完整的多模态/视频算法项目全流程经验，量化模型效果提升与成本下降指标
• 详细列出模型微调、后训练策略及部署优化的具体技术选型与实战成果
• 强调顶会论文发表记录或高星开源项目贡献，体现实术结合能力
• 深入掌握SFT/DPO/GRPO等最新后训练范式及其在视频模态上的适配技巧
• 熟悉TensorRT/CUDA等推理加速工具链，补充长上下文建模与跨模态对齐知识
• 强化数据Pipeline搭建能力，掌握自动化清洗、标注与多维评测方法

面试指南

• 采用STAR法则清晰阐述项目背景、个人角色、技术方案与量化结果，避免泛泛而谈
• 重点突出技术选型的理论依据、实验对比过程及最终突破点，展现系统性思维
• 将学术前沿理论与工程落地实践紧密结合，说明如何在资源约束下做出最优取舍
• 请详细介绍你参与过的多模态大模型微调或后训练项目，遇到的最大技术挑战是什么？
• 如何设计跨模态融合方案以提升视频理解的鲁棒性？不同模态缺失时如何处理？
• 面对长视频推理的高成本，你有哪些具体的模型压缩、剪枝或推理优化经验？
• 在算法研发过程中，如何平衡模型效果、开发成本与业务收益之间的关系？
• 复习Transformer架构、对比学习与多模态对齐经典论文，梳理Video-LLM主流演进路线