超越同级7B模型! 中国团队开源大规模高质量图文数据集ShareGPT4V,大幅提升多模态性能_每日快讯(日常热点指南)

超越同级7B模型! 中国团队开源大规模高质量图文数据集ShareGPT4V,大幅提升多模态性能


超越同级7B模型! 中国团队开源大规模高质量图文数据集ShareGPT4V,大幅提升多模态性能

  2023-12-02 02:50:41     简体|繁體
http://news.qghjm.com/1010285.html

研究人员利用GPT4-Vision构建了一个大规模高质量图文数据集ShareGPT4V,并在此基础上训练了一个7B模型,在多项多模态榜单上超越了其他同级模型。

原文来源:新智元

图片来源:由无界 AI生成

OpenAI在九月份为ChatGPT添加了图像输入功能,允许用户使用上传一张或多张图像配合进行对话,这一新兴功能的背后是一个被OpenAI称为GPT4-Vision的多模态(vision-language)大模型。

鉴于OpenAI对「闭源」的坚持,多模态开源社区如雨后春笋般涌出了众多优秀的多模态大模型研究成果,例如两大代表作MiniGPT4和LLaVA已经向用户们展示了多模态对话和推理的无限可能性。

在多模态大模型(Large Multi-modal Models)领域,高效的模态对齐(modality alignment)是至关重要的,但现有工作中模态对齐的效果却往往受制于缺少大规模的高质量的「图像-文本」数据。

为了解决这一瓶颈,近日,中科大和上海AI Lab的研究者们最近推出了具有开创性意义的大型图文数据集ShareGPT4V。

论文地址:https://arxiv.org/abs/2311.12793Demo演示:https://huggingface.co/spaces/Lin-Chen/ShareGPT4V-7B项目地址:https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V

ShareGPT4V数据集包含120万条「图像-高度详细的文本描述」数据,囊括了了世界知识、对象属性、空间关系、艺术评价等众多方面,在多样性和信息涵盖度等方面超越了现有的数据。

表1 ShareGPT4V和主流标注数据集的比较。其中「LCS」指LAION, CC和SBU数据集,「Visible」指明了图片在被标注时是否可见,「Avg.」展示了文本描述的平均英文字符数。

目前,该数据集已经登上了Hugging Face Datasets Trending排行第一。

数据

ShareGPT4V来源于从先进的GPT4-Vision模型获得的10万条「图像-高度详细的文本描述」数据。

研究者们从多种图片数据源(如COCO,LAION,CC,SAM等)搜集图片数据,接着使用各自数据源特定的prompt来控制GPT4-Vision产生高质量的初始数据。

如下图所示,给GPT4-Vision模型一张《超人》剧照,其不仅可以准确地识别出《超人》剧照中的超人角色以及其扮演者Henry Cavill,还可以充分分析出图像内物体间的位置关系以及物体的颜色属性等。

图1 利用GPT4-Vision 收集ShareGPT4V原始数据流程图

如果给GPT4-Vision模型一个梵高的画作《播种者》,其不仅可以准确地识别出画作的名称,创作者,还可以分析出画作所属的艺术流派,画作内容,以及画作本身表达出的情感与想法等信息。

为了更充分地与现有的图像描述数据集进行对比。我们在下图中将ShareGPT4V数据集中的高质量文本描述与当前多模态大模型所使用的数据集中的文本描述一起罗列出来:

图 2 「图片-文本描述」数据质量对比图

从图中可以看出,使用人工标注的COCO数据集虽然正确但通常十分的短,提供的信息极其有限。

LLaVA数据集使用语言模型GPT4想象出的场景描述通常过度依赖bounding box而不可避免地带来幻觉问题。比如bounding box确实会提供8个人的标注,但其中两个人在火车上而不是在等车。

其次,LLaVA数据集还只能局限于COCO的标注信息,通常会遗漏人工标注中没提及的内容(比如树木)。

在比较之下,我们收集的图像描述不仅可以给出综合性的描述,还不容易遗漏图像中的重要信息(比如站台信息和告示牌文字等)。

通过在该初始数据上进行深入训练后,研究者们开发出了一个强大的图像描述模型Share-Captioner。利用这一模型,他们进一步生成了120万高质量的「图片-文本描述」数据ShareGPT4V-PT以用于预训练阶段。

图3 图像描述模型扩大数据集规模流程图

Share-Captioner在图像描述能力上有着媲美GPT4-Vision的水平,下面是对于同一张图片的不同来源的文本描述:

图4 不同来源图像描述对比图

从上图可以看出Share-Captioner缩小了与GPT4-Vision模型在图像描述任务上的能力。可以作为收集大规模高质量图文数据对的「平替」。

实验

研究者们首先通过等量替换实验,在有监督微调(SFT)阶段充分展示了ShareGPT4V数据集的有效性。

从图中可以看出,ShareGPT4V数据集可以无缝地使得多种架构、多种参数规模的多模态模型的性能得到大幅提升!

图5 使用ShareGPT4V数据集等量替换SFT中图像描述数据后模型效果对比图

接下来,研究者们将ShareGPT4V数据集同时在预训练和有监督微调阶段使用,得到了ShareGPT4V-7B模型。

ShareGPT4V-7B在绝大多数多模态基准测试中都取得了非常优异的成果,在7B的模型规模全部取得了最优的性能!

图6 ShareGPT4V-7B在各个多模态基准测试上的表现

总体而言,ShareGPT4V数据集的推出为未来的多模态研究与应用奠定了新的基石。多模态开源社区有望着眼于高质量图像描述开发出更强大、智能的多模态模型。

参考资料:

https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2031年 » « 04月 »
    123456
    78910111213
    14151617181920
    21222324252627
    282930

    最新资讯

    运动处方护航银龄行动 大学生为社区老人解锁“年轻态”
  • 2025-07-18 18:50:22

     

    宗继昌母亲真容曝光,肤白貌美能力出众,宗馥莉一个举动表明态度
  • 2025-07-18 18:41:18

     

    山航集团团委正式启动2025年暑运志愿服务活动
  • 2025-07-18 18:32:15

     

    《特战荣耀》演技排名,杨洋第二,蒋龙第四,李一桐吃亏在角色
  • 2025-07-18 18:23:11

     

    三本剧情扣人心弦的穿越重生 TOP榜小说,惊喜登场,口碑逆天
  • 2025-07-18 18:14:08

     

    运动处方护航银龄行动 大学生为社区老人解锁“年轻态”
  • 2025-07-18 18:05:04

     

    山航集团团委正式启动2025年暑运志愿服务活动
  • 2025-07-18 17:56:01

     

    揭秘关晓彤频遭“招黑”背后的真相
  • 2025-07-18 17:46:58

     

    2025山东援疆“大仓东移”喀什特色农副产品直播电商周暨淘宝直播区域产业服务商商家招募大会在喀什举办
  • 2025-07-18 17:37:54

     

    从北京朝阳到日照东港:奔赴一场医养结合的 “双向交流” 之旅
  • 2025-07-18 17:28:51

     

    张家口市宣化区:AI讲座进四中
  • 2025-07-18 17:19:47

     

    济南市莱芜区张家洼街道安泰华府社区开展新就业群体“清凉 + 焕新”双服务活动
  • 2025-07-18 17:10:44

     

    汉峪金谷城市多巴胺计划:夏夜盛宴启幕在即 多元惊喜等你解锁
  • 2025-07-18 17:01:41

     

    驾驶员高架突发不适 城阳交警及时救助转危为安
  • 2025-07-18 16:52:37

     

    北京京城皮肤医院荣获国家重点研发计划“光电治疗慢性皮肤病规范化诊疗中心数字化平台建设单位”
  • 2025-07-18 16:43:34