可将任意大模型实现多模态,苹果开源4M_每日快讯(日常热点指南)

可将任意大模型实现多模态,苹果开源4M


可将任意大模型实现多模态,苹果开源4M

  2023-12-20 19:16:34     简体|繁體
http://news.qghjm.com/1021832.html

原文来源:AIGC开放社区

图片来源:由无界 AI生成

随着ChatGPT等模型被广泛应用,用户对功能的需求也呈多模态发展,例如,在单一模型上既能生成文本也可以生成图片等。

但现有视觉模型通常仅针对单一模态和任务进行优化,缺乏能够处理多种模态和任务的通用能力。

为了解决这一难题,苹果的研究人员和全球著名公立大学EPFL(瑞士洛桑联邦理工学院)联合开发了4M框架并即将开源。4M可以把多种输入/输出模态,包括文本、图像、几何、语义模态以及神经网络特征图等,全部集成在大模型中(适用于Transformer架构)。

项目地址:https://4m.epfl.ch/

论文地址:https://arxiv.org/abs/2312.06647

4M技术原理简单介绍

相比以往单一模态下的深度学习方法,4M最大的技术亮点在于使用了一种名为"Massively Multimodal Masked Modeling"(大规模多模态屏蔽建模)的训练方法。

可以同时处理图像、语义、几何等各类视觉模态,将影像、字幕、框架信息等,都能以离散 tokens 的形式完美“翻译”出来,实现各模态在表示空间上的统一。

为确保tokens之间协调一致,4M还在注意力机制中加入模态区分,禁止不同模态之间互相影响。同时4M训练采用掩码重建目标,实际上相当于进行模态间的预测编码。

在训练过程中,模型会随机选择一小部分标记作为输入,另一小部分标记作为目标,通过解耦输入和目标标记的数量与模态数量的关系,实现了可扩展的训练目标。

简单来说,无论用户输入的内容是图片还是文本,对于4M来说都是一串标准化的数字标记。这种“通用语言”设计有效阻断了各模态特有信息对模型架构的影响,极大提升了模型的通用性。


训练数据和方法


4M将在训练过程中使用了全球最大的开源数据集之一CC12M,包含图像、深度图、语义信息、文本等各类数据集。

虽然CC12M的数据很多,但缺乏准确的标注信息。为了解决这个难题,研究人员使用了一种高效、成本又低的方法——弱监督伪标签。这个与前几天OpenAI开源的超级对齐方法很相似。

通过利用CLIP、MaskRCNN等技术,对CC12M的图像数据集进行全面预测,然后得到语义、几何及视觉特征等丰富模态信息。

再使用转换“翻译”模块将所有伪标签信息,统一转化为离散表示的“tokens”。这为4M在不同模态之间实现统一的兼容奠定基础。

研究人员在广泛的实验和基准测试平台中对4M进行了测试,可以直接执行多模态任务,而无需进行大量的特定任务预训练或微调。



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2015年 » « 05月 »
    123
    45678910
    11121314151617
    18192021222324
    25262728293031

    最新资讯

    演员杨雨婷房子斌夫妇送女儿高考,一同为其加油!
  • 2025-06-12 07:17:04

     

    江珊苦尽甘来嫁对郎!田小洁凭《藏海传》逆袭,被赞真爷们!
  • 2025-06-12 07:13:01

     

    帕金森患者溘然晕倒,这些原因要注意!
  • 2025-06-12 07:08:57

     

    其貌不扬二婚娶国民女神,55岁凭“面具人”火遍全网
  • 2025-06-12 07:04:53

     

    曾舜晞演吴老狗靠谱吗?《九门》角色升级引热议
  • 2025-06-12 07:00:50

     

    二十二年如一日!宜兴七旬党员夏红芳:行走的“移动监控”,情暖社区四十户
  • 2025-06-12 06:56:46

     

    全身淤青!陈丽君《我的大观园》幕后,滚楼梯挑战无极限
  • 2025-06-12 06:52:44

     

    程潇妈妈称李嘉格是完美女儿,劝其妈妈多夸夸她
  • 2025-06-12 06:48:42

     

    脱离TVB光环后,蒋志光用选择权诠释了中年演员的真实自由
  • 2025-06-12 06:44:35

     

    陈楚生对决马嘉祺:燃力值之争,谁在定义时代?
  • 2025-06-12 06:40:32

     

    结巴阿俊”让雷佳音笑场!王沐霖:小角色也能蒸出“蓬松的馒头”
  • 2025-06-12 06:36:28

     

    赵丽颖缺席蛋糕局,网友猜测被孤立,低调背后她的独立选择
  • 2025-06-12 06:32:25

     

    商业银行信用卡逾期会被起诉吗?该怎么办?
  • 2025-06-12 06:28:21

     

    [开户代运营]提供教培资源,驿站加盟,短剧培训,AI课程,国学,图书免领推广获客,寻甲方
  • 2025-06-12 06:24:18

     

    国学,起名,电商,网店,招商加盟,全行业开户推广引流
  • 2025-06-12 06:20:14