最长处理2小时,开源视频字幕模型Video ReCap_每日快讯(日常热点指南)

最长处理2小时,开源视频字幕模型Video ReCap


最长处理2小时,开源视频字幕模型Video ReCap

  2024-03-05 09:54:05     简体|繁體
http://news.qghjm.com/1050100.html

文章来源:AIGC开放社区

图片来源:由无界AI生成

随着抖音、快手等平台的火爆出圈,越来越多的用户开始制作大量的短视频内容。但对这些视频进行有效的理解和分析仍面临一些困难。尤其是视频时长超过几分钟、甚至几小时,传统的视频字幕生成技术往往无法满足需求。

因此,北卡罗来纳大学和Meta AI的研究人员开源了,视频字幕模型Video ReCap。这是一种递归视频字幕生成模型,能够处理从1秒到2小时的视频,并在多个层级上输出视频字幕。

此外,研究人员通过在Ego4D上增加8,267个手动收集的长视频摘要,引入了一个层次化视频字幕数据集Ego4D-HCap,并使用该数据集对Video ReCap进行了综合评估。

结果显示,Video ReCap在短视频片段字幕、中等长度段描述和长视频摘要的测试指标均明显超过多个强大基准模型。通过该模型生成的分层视频字幕,也能显著提升基于EgoSchema数据集的长视频问答效果。

开源地址:https://github.com/md-mohaiminul/VideoRecap?tab=readme-ov-file

论文地址:https://arxiv.org/abs/2402.13250

Video ReCap模型介绍

Video ReCap的核心技术是使用了递归视频语言架构,主要通过递归处理机制,使模型能够在不同的时间长度和抽象层级上理解视频,从而生成精确且层次丰富的视频描述字幕。主要由3大模块组成。

1)视频编码器:Video ReCap使用了一个预训练的视频编码器,从长视频中提取特征。对于短视频片段,编码器则输出密集的时空特征。

这允许模型捕获细粒度的详细信息,对于更高层级的字幕,使用全局特征(如CLS特征),以降低计算成本并捕获长视频输入的全局属性。

2)视频-语言对齐:该模块可以将视频和文本特征映射到联合特征空间,以便递归文本解码器可以联合处理两者。

具体来说,使用了一个预训练的语言模型,通过在每个转换器块内注入可训练的交叉注意力层,从视频特征中学习固定数量的视频嵌入。

然后,从属于特定分层的字幕中学习文本嵌入。最后,连接视频和文本嵌入以获得联合嵌入,并交给后续的递归文本解码器使用。

3)递归文本解码器:该模块主要用于处理短、中、长三种视频的字幕,所以,采用了一种分层的生成策略。首先,使用从短视频剪辑中提取的特征生成短剪辑级别的字幕。这些短剪辑级别的字幕描述了视频中的原子动作和低级视觉元素,例如,对象、场景和原子动作等。

然后,使用稀疏采样的视频特征和上一层级别生成的字幕作为输入,生成当前层级别的视频字幕。这种递归设计可以有效地利用不同视频层次之间的协同作用,能高效地生成最多2小时的长视频字幕。

Video ReCap实验数据

为了评估Video ReCap模型,研究人员推出了一个新的分层视频字幕数据集Ego4D-HCap。该数据集是基于目前最大的公开第一人称视频数据集之一Ego4D。

Ego4D-HCap主要包含三个层次的字幕:短剪辑字幕、几分钟长的段描述和长段视频摘要,用于验证分层视频字幕任务的有效性。

结果显示,在所有三个时间层级,Video ReCap模型都大幅度优于之前的强大的视频字幕基准模型。此外,还发现递归架构对于生成段描述和视频摘要非常重要。

例如,不带递归输入的模型在段描述生成方面CIDEr性能下降1.57%,而在长时间视频摘要生成方面下降了2.42%

研究人员还在最近推出的长序视频问答基准EgoSchema上验证了该模型。结果显示,Video ReCap生成的分层视频字幕可以将文本问答模型的性能提高4.2%,并以50.23%的整体准确率刷新了记录,比之前的最佳方法提高了18.13%。



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2009年 » « 12月 »
    123456
    78910111213
    14151617181920
    21222324252627
    28293031

    最新资讯

    [开户代运营]小红书全网最高政策
  • 2025-07-03 07:52:01

     

    [开户代运营]百度(baidu)宠物独家资质 食用 用品 摄影 寄养 配种 训练 托运 租赁等多资质 支持自提
  • 2025-07-03 07:45:56

     

    [开户代运营]病种,减肥,妆品,药品,一二类器械,功能食品等软文加粉量
  • 2025-07-03 07:39:51

     

    [开户代运营]支持全额分账,支持公对公、公对私、私对私百分百分账
  • 2025-07-03 07:33:46

     

    [开户代运营]--纯视频号:中医养生课、食疗养生课、泡酒桶、失眠贴、心脑管仪器有好量,欢迎咨询合作
  • 2025-07-03 07:27:41

     

    [开户代运营]北京快手一代 可开磁力智投 cid 本地推
  • 2025-07-03 07:21:36

     

    [开户代运营]朋友圈广告全行业一手渠道加白现户,禁投行业均可接单,资质全包、免保证金、精准低价好量
  • 2025-07-03 07:15:31

     

    [开户代运营]成人学历新疆、西藏、西北地区全国研究生、同等学力有量,需要来聊
  • 2025-07-03 07:09:26

     

    [开户代运营]全国各地区学历及研究生用户流量,抖音广点通百度(baidu)多渠道投放,高精准度稳定输出,欢迎咨询
  • 2025-07-03 07:03:21

     

    [开户代运营]腾讯K4新开,千川快手小红书本地推高返点
  • 2025-07-03 06:57:16

     

    [开户代运营]千川2.5,稳定年底,效率拉满。
  • 2025-07-03 06:51:11

     

    [开户代运营]闲鱼 饿了么 支付宝种草 淘宝福利购等拉活预算 有预算的老板来聊聊 日耗1w+
  • 2025-07-03 06:45:06

     

    [开户代运营]百度(baidu)核代电商一代政策—食品功效等%端口+cid国学ai教程养生等 千川对私4
  • 2025-07-03 06:39:01

     

    [开户代运营]巨量gp加粉 百度(baidu)搜素gp 抖音直播间gm 抖音nk 自热Nk
  • 2025-07-03 06:32:56

     

    [开户代运营]高考复读,中职,单招,自考 专升本 学历提升 等常规教育 可自提 代运营需要的来
  • 2025-07-03 06:26:51