负责抖音与多模态大模型技术的结合落地,探索抖音结合AI的创新产品升级
基于对直播、短视频、评论等已有内容体裁的内容理解和二次创作生成,形成抖音下新的互动内容体裁,供创作者调试和推荐分发
为抖音下各场景业务目标负责,如交易场景的GMV、知识陪伴场景的互动效率等
2、基于创作者历史资产(直播回放或短视频)进行多模态分类打标、高光提取、智能剪辑
基于口播稿、创作者形象等特定情况,生成口、动作驱动的真人视频,形成可调度的创作者个性化资产
3、基于不同场景的业务诉求,设计Agent规划能力,形成视频编排脚本,优化围绕主题、剧情、商品的生成内容走向
支持实时交互下的视频调度和基础QA
4、持续探索MLLM、LLM、Diffusion等通用大模型在各任务下的适配性,通过Post-Train(SFT、RL)优化,增强模型在业务领域下的效果和适配能力
Follow基于大模型的上层应用技术,Agent、Auto-Prompt、RAG等
5、上述场景的各类模型训练、模型应用相关的基础建设,包括但不限于模型训练、数据工程、训练推理框架迭代、维护模型评估指标体系