可将任意大模型实现多模态,苹果开源4M_每日快讯(日常热点指南)

可将任意大模型实现多模态,苹果开源4M


可将任意大模型实现多模态,苹果开源4M

  2023-12-20 19:16:34     简体|繁體
http://news.qghjm.com/1021832.html

原文来源:AIGC开放社区

图片来源:由无界 AI生成

随着ChatGPT等模型被广泛应用,用户对功能的需求也呈多模态发展,例如,在单一模型上既能生成文本也可以生成图片等。

但现有视觉模型通常仅针对单一模态和任务进行优化,缺乏能够处理多种模态和任务的通用能力。

为了解决这一难题,苹果的研究人员和全球著名公立大学EPFL(瑞士洛桑联邦理工学院)联合开发了4M框架并即将开源。4M可以把多种输入/输出模态,包括文本、图像、几何、语义模态以及神经网络特征图等,全部集成在大模型中(适用于Transformer架构)。

项目地址:https://4m.epfl.ch/

论文地址:https://arxiv.org/abs/2312.06647

4M技术原理简单介绍

相比以往单一模态下的深度学习方法,4M最大的技术亮点在于使用了一种名为"Massively Multimodal Masked Modeling"(大规模多模态屏蔽建模)的训练方法。

可以同时处理图像、语义、几何等各类视觉模态,将影像、字幕、框架信息等,都能以离散 tokens 的形式完美“翻译”出来,实现各模态在表示空间上的统一。

为确保tokens之间协调一致,4M还在注意力机制中加入模态区分,禁止不同模态之间互相影响。同时4M训练采用掩码重建目标,实际上相当于进行模态间的预测编码。

在训练过程中,模型会随机选择一小部分标记作为输入,另一小部分标记作为目标,通过解耦输入和目标标记的数量与模态数量的关系,实现了可扩展的训练目标。

简单来说,无论用户输入的内容是图片还是文本,对于4M来说都是一串标准化的数字标记。这种“通用语言”设计有效阻断了各模态特有信息对模型架构的影响,极大提升了模型的通用性。


训练数据和方法


4M将在训练过程中使用了全球最大的开源数据集之一CC12M,包含图像、深度图、语义信息、文本等各类数据集。

虽然CC12M的数据很多,但缺乏准确的标注信息。为了解决这个难题,研究人员使用了一种高效、成本又低的方法——弱监督伪标签。这个与前几天OpenAI开源的超级对齐方法很相似。

通过利用CLIP、MaskRCNN等技术,对CC12M的图像数据集进行全面预测,然后得到语义、几何及视觉特征等丰富模态信息。

再使用转换“翻译”模块将所有伪标签信息,统一转化为离散表示的“tokens”。这为4M在不同模态之间实现统一的兼容奠定基础。

研究人员在广泛的实验和基准测试平台中对4M进行了测试,可以直接执行多模态任务,而无需进行大量的特定任务预训练或微调。



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2017年 » « 09月 »
    123
    45678910
    11121314151617
    18192021222324
    252627282930

    最新资讯

    [开户代运营]百度(baidu)核代电商一代政策—食品功效等端口+cid国学ai教程养生等 千川对私4——
  • 2025-07-12 05:46:19

     

    [开户代运营]千川开户对公专票稳定高点1.5起!电商引流cid对公开票2.5+!
  • 2025-07-12 05:39:14

     

    [开户代运营]腾讯广告投放渠道,房产汽车、金融、教育、K12等不限行业不限地区,无资质可投
  • 2025-07-12 05:32:08

     

    [开户代运营]本地推团购类政策15,线索类14(234类),千川白牌对公2,腾讯k6内循环3,需要
  • 2025-07-12 05:25:03

     

    [开户代运营]百度(baidu):电商培训,情感,厌学,自闭,宝宝说话晚,母婴,国际物流,养殖,开锁,苗木
  • 2025-07-12 05:17:57

     

    [开户代运营]抖音 快手 百度(baidu) 广点通企业D 欢迎来咨询
  • 2025-07-12 05:10:52

     

    [开户代运营]oppo vivo手机厂商流量,oppo一代,快应用开户 推广投放,代运营 需要来
  • 2025-07-12 05:03:46

     

    [开户代运营]优酷oppo淘宝砍价,大健康,玩具,保健品,减肥,旅游代运营,寻甲方
  • 2025-07-12 04:56:41

     

    [开户代运营]助贷,人工单
  • 2025-07-12 04:49:36

     

    (微量联盟)承接广告投放
  • 2025-07-12 04:42:30

     

    承接一手拍店
  • 2025-07-12 04:35:25

     

    模特,主持,礼仪资源
  • 2025-07-12 04:28:20

     

    快手ka一级代理 百人团队
  • 2025-07-12 04:21:14

     

    中医养生甲方老板合作的来
  • 2025-07-12 04:14:09

     

    学历提升客资合作 - 提供全国教育自考本科专科 研究生学历提升首资实时数据
  • 2025-07-12 04:07:03