超越同级7B模型! 中国团队开源大规模高质量图文数据集ShareGPT4V,大幅提升多模态性能_每日快讯(日常热点指南)

超越同级7B模型! 中国团队开源大规模高质量图文数据集ShareGPT4V,大幅提升多模态性能


超越同级7B模型! 中国团队开源大规模高质量图文数据集ShareGPT4V,大幅提升多模态性能

  2023-12-02 02:50:41     简体|繁體
http://news.qghjm.com/1010285.html

研究人员利用GPT4-Vision构建了一个大规模高质量图文数据集ShareGPT4V,并在此基础上训练了一个7B模型,在多项多模态榜单上超越了其他同级模型。

原文来源:新智元

图片来源:由无界 AI生成

OpenAI在九月份为ChatGPT添加了图像输入功能,允许用户使用上传一张或多张图像配合进行对话,这一新兴功能的背后是一个被OpenAI称为GPT4-Vision的多模态(vision-language)大模型。

鉴于OpenAI对「闭源」的坚持,多模态开源社区如雨后春笋般涌出了众多优秀的多模态大模型研究成果,例如两大代表作MiniGPT4和LLaVA已经向用户们展示了多模态对话和推理的无限可能性。

在多模态大模型(Large Multi-modal Models)领域,高效的模态对齐(modality alignment)是至关重要的,但现有工作中模态对齐的效果却往往受制于缺少大规模的高质量的「图像-文本」数据。

为了解决这一瓶颈,近日,中科大和上海AI Lab的研究者们最近推出了具有开创性意义的大型图文数据集ShareGPT4V。

论文地址:https://arxiv.org/abs/2311.12793Demo演示:https://huggingface.co/spaces/Lin-Chen/ShareGPT4V-7B项目地址:https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V

ShareGPT4V数据集包含120万条「图像-高度详细的文本描述」数据,囊括了了世界知识、对象属性、空间关系、艺术评价等众多方面,在多样性和信息涵盖度等方面超越了现有的数据。

表1 ShareGPT4V和主流标注数据集的比较。其中「LCS」指LAION, CC和SBU数据集,「Visible」指明了图片在被标注时是否可见,「Avg.」展示了文本描述的平均英文字符数。

目前,该数据集已经登上了Hugging Face Datasets Trending排行第一。

数据

ShareGPT4V来源于从先进的GPT4-Vision模型获得的10万条「图像-高度详细的文本描述」数据。

研究者们从多种图片数据源(如COCO,LAION,CC,SAM等)搜集图片数据,接着使用各自数据源特定的prompt来控制GPT4-Vision产生高质量的初始数据。

如下图所示,给GPT4-Vision模型一张《超人》剧照,其不仅可以准确地识别出《超人》剧照中的超人角色以及其扮演者Henry Cavill,还可以充分分析出图像内物体间的位置关系以及物体的颜色属性等。

图1 利用GPT4-Vision 收集ShareGPT4V原始数据流程图

如果给GPT4-Vision模型一个梵高的画作《播种者》,其不仅可以准确地识别出画作的名称,创作者,还可以分析出画作所属的艺术流派,画作内容,以及画作本身表达出的情感与想法等信息。

为了更充分地与现有的图像描述数据集进行对比。我们在下图中将ShareGPT4V数据集中的高质量文本描述与当前多模态大模型所使用的数据集中的文本描述一起罗列出来:

图 2 「图片-文本描述」数据质量对比图

从图中可以看出,使用人工标注的COCO数据集虽然正确但通常十分的短,提供的信息极其有限。

LLaVA数据集使用语言模型GPT4想象出的场景描述通常过度依赖bounding box而不可避免地带来幻觉问题。比如bounding box确实会提供8个人的标注,但其中两个人在火车上而不是在等车。

其次,LLaVA数据集还只能局限于COCO的标注信息,通常会遗漏人工标注中没提及的内容(比如树木)。

在比较之下,我们收集的图像描述不仅可以给出综合性的描述,还不容易遗漏图像中的重要信息(比如站台信息和告示牌文字等)。

通过在该初始数据上进行深入训练后,研究者们开发出了一个强大的图像描述模型Share-Captioner。利用这一模型,他们进一步生成了120万高质量的「图片-文本描述」数据ShareGPT4V-PT以用于预训练阶段。

图3 图像描述模型扩大数据集规模流程图

Share-Captioner在图像描述能力上有着媲美GPT4-Vision的水平,下面是对于同一张图片的不同来源的文本描述:

图4 不同来源图像描述对比图

从上图可以看出Share-Captioner缩小了与GPT4-Vision模型在图像描述任务上的能力。可以作为收集大规模高质量图文数据对的「平替」。

实验

研究者们首先通过等量替换实验,在有监督微调(SFT)阶段充分展示了ShareGPT4V数据集的有效性。

从图中可以看出,ShareGPT4V数据集可以无缝地使得多种架构、多种参数规模的多模态模型的性能得到大幅提升!

图5 使用ShareGPT4V数据集等量替换SFT中图像描述数据后模型效果对比图

接下来,研究者们将ShareGPT4V数据集同时在预训练和有监督微调阶段使用,得到了ShareGPT4V-7B模型。

ShareGPT4V-7B在绝大多数多模态基准测试中都取得了非常优异的成果,在7B的模型规模全部取得了最优的性能!

图6 ShareGPT4V-7B在各个多模态基准测试上的表现

总体而言,ShareGPT4V数据集的推出为未来的多模态研究与应用奠定了新的基石。多模态开源社区有望着眼于高质量图像描述开发出更强大、智能的多模态模型。

参考资料:

https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2025年 » « 01月 »
    12345
    6789101112
    13141516171819
    20212223242526
    2728293031

    最新资讯

    [代运营托管]小护士,治疗仪,血压计,艾灸罐,砂锅女,凉席枕头,鹿茸片,睡眠仪,熊胆粉,食疗 养生
  • 2025-07-18 15:03:56

     

    [开户代运营]股票,企业贷,信贷,公积金贷,车抵,房抵全媒体开户.
  • 2025-07-18 14:54:53

     

    [开户代运营] 抖音ad信息流 股票粉 按照A 结算
  • 2025-07-18 14:45:49

     

    [开户代运营]UC旅游,小病种高点开户
  • 2025-07-18 14:36:46

     

    [开户代运营]公众号发文,好多,量大,全国可做
  • 2025-07-18 14:27:43

     

    [开户代运营]广点通、头条、小红书等学历提升推广数据,按a结算
  • 2025-07-18 14:18:39

     

    每天稳定兼职流量,找项目合作
  • 2025-07-18 14:09:36

     

    推广引流获客
  • 2025-07-18 14:00:32

     

    中老年群体书法、国画、声乐、编程;中年考证兴趣剪辑、K12小课包流量寻甲方
  • 2025-07-18 13:51:29

     

    和泰乐享久久(珍藏版)终身寿险有哪些投保规则?提供什么保障?
  • 2025-07-18 13:42:25

     

    泰山区:打造人才强引擎 推动民宿产业高质量发展
  • 2025-07-18 13:33:22

     

    首飞!全国首个黄河入海口低空文旅项目复合翼飞行平台试验成功,开启央地文旅融合新典范
  • 2025-07-18 13:24:19

     

    社工服务零距离——济南市莱芜区社工总站外展宣传活动圆满举行
  • 2025-07-18 13:15:15

     

    从“拒绝预制”到日出六百单 拼好饭助力郑州小店实现增长
  • 2025-07-18 13:06:13

     

    2025年济南起步区现代化新城区框架基本形成
  • 2025-07-18 12:57:08