大模型应用算法工程师-剪映CapCut

优缺点分析

角色解读

• 从算法工程师向技术专家或团队技术负责人发展，主导大模型在视频创作场景的落地
• 深入多模态对齐、Agent等前沿方向，成为AI领域的核心技术骨干
• 可横向转岗至字节其他业务线的大模型团队，或往技术管理方向晋升
• 负责剪映CapCut多模态大模型的偏好对齐算法研发，利用SFT、RLHF等技术优化视频创作领域模型
• 提升视频创作Agent的指令遵从和安全能力，构建行业领先的智能创作Agent
• 参与大模型训练和推理流程优化，与算法、工程团队协作推动模型落地
• 扎实的机器学习和大模型基础，熟悉LLM训练/微调方法（SFT/RLHF）以及强化学习算法（PPO等）
• 熟练使用Python/C++，掌握PyTorch、TensorFlow等框架及Deepspeed、vLLM等训练推理工具
• 对多模态模型和视频内容理解有了解，具备独立解决问题的能力和科研热情

申请策略

• 提前了解剪映CapCut在视频创作上的AI功能，思考如何用大模型提升用户体验
• 关注字节跳动技术博客和开源项目，面试时展示对他们技术栈的熟悉度
• 突出大模型训练/微调项目经历，尤其是RLHF、SFT相关实践和成果
• 展示编程能力和工程优化经验，如大规模分布式训练、推理加速等
• 强调对多模态或视频相关算法的理解，以及独立解决复杂问题的案例
• 深入学习RLHF论文和开源框架（如DeepSpeed Chat、TRL），动手复现关键实验
• 补充多模态模型知识，了解CLIP、BLIP等，以及视频数据预处理技术
• 强化Python/C++工程能力，熟悉CUDA编程或模型量化感知训练等

面试指南

• 采用STAR法则描述项目：背景、任务、行动、结果，突出对模型原理和调优的深入理解
• 技术问题先从基础概念说起，再结合具体实践（如遇到过的坑、解决方案）体现工程能力
• 开放性问题可展示对业务场景的理解，从用户需求和技术可行性两面分析
• 请详细解释RLHF的流程，包括奖励模型训练和PPO微调的细节
• 如何设计一个多模态视频生成模型的偏好对齐实验？
• 你在之前的项目中如何优化大模型的训练效率（如显存、速度）？
• 谈谈你对指令遵从（Instruction Following）的理解，有哪些提升方法？
• 你对视频创作Agent的设想是什么？如何让模型理解视频编辑的语义？