性能优于GPT4-V,华为、港大开源几何数学模型G-LLaVA_每日快讯(日常热点指南)

性能优于GPT4-V,华为、港大开源几何数学模型G-LLaVA


性能优于GPT4-V,华为、港大开源几何数学模型G-LLaVA

  2024-01-06 09:26:01     简体|繁體
http://news.qghjm.com/1032322.html

原文来源:AIGC开放社区

图片来源:由无界 AI生成

大型语言模型在内容生成、逻辑推理等方面展示了强大的能力,但在处理专业几何数学难题时效果不佳。

这是因为,与文本数学题相比,几何空间数学题对模型的视觉理解和逻辑思维能力更高要求。目前,多模态大语言模型仍无法准确解析几何图形中的基本要素及其关系。

为了解决这一难题,华为诺亚方舟实验室、香港大学、香港科技大学联合开源了专业几何数学模型G-LLaVA。

为了测试G-LLaVA的性能,研究人员在知名数学测试平台 MathVista上,与其他大模型进行了深度评估。结果显示,G-LLaVA的性能超过了GPT-4-V、LLaVA1.5、MiniGPT-4等模型。

开源地址:https://github.com/pipilurj/G-LLaVA‌

论文地址:https://arxiv.org/abs/2312.11370‌


整体架构


G-LLaVA的整体架构主要包含大语言模型、图像编码器和投影层三大模块。

1)大语言模型使用的是LlAMA模型,用于理解和生成文字序列。相比通用模型,G-LLaVA的语言模型通过几何数据获得了数学和视觉领域的适配。

2)图像编码器利用预训练的视觉ViT等,进行特征提取和图像理解,可将输入的几何图像和问题转化为向量表示并生成答案。

3)投影层是一个线性层,作用是将图像编码器输出的视觉特征投影和映射到语言模型的嵌入空间中。这实现了不同模态特征的对齐融合,让大语言模型可以识别几何图像的关键所在。


训练方法


G-LLaVA使用的是双阶段渐进式训练方法:几何视觉语言对齐,这一阶段专注于增强模型对几何图像的理解,令其准确解释几何图形基本要素。

构建的对齐数据集包含图像描述和判断对比问答。只优化投影层参数进行对齐训练。

几何指令调优,在调整阶段,利用变量建模、数据增强等策略生成大规模几何问题解答数据。通过解题过程的复现,提高G-LLaVA的数学建模建、关系、符号推理的能力。调优后的模型可接收几何图像和自然文本提示并输出内容。

构建Geo170K数据集

G-LLaVA能具备强大的几何理解能力,这个Geo170K数据集是关键。

Geo170K的数据来源包括多个已有的开源几何QA数据集,例如,Geometry3K、GeoQA和GeoQA+。

这些数据集提供了丰富的几何图像样例和部分注释, Geo170K的总规模超过17万条。

包含约6万张几何图像及匹配描述,和11万多个问题-解答语言配对。这远超过此前最大的图形问答集GeoQA+。数据分布覆盖了基本几何要素的判定、定量关系的符号推理等多个方面。

为了评估G-LLaVA的性能,研究人员在MathVista等测试平台进行了一系列实验,与其他现有的知名大语言模型进行了比较。

实验结果显示,G-LLaVA与GPT-4-V和其他MLLMs相比,G-LLaVA的性能超过了GPT-4-V、LLaVA1.5、MiniGPT-4等模型。显著提高了几何难题的解决准确率和效率。

这表明通过引入对齐的多模态数据集,可以有效地提升大语言模型在处理几何问题时的能力。

此外,研究人员还对G-LLaVA模型进行了进一步的分析,以探索其在各个几何问题类型上的性能差异。

实验结果显示,G-LLaVA模型在处理点、线、角等基本几何元素的问题时表现仍然出色。



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2025年 » « 05月 »
    1234
    567891011
    12131415161718
    19202122232425
    262728293031

    最新资讯

    冲!三大运营商助力,第35届青岛国际啤酒节直播C位等你抢!
  • 2025-07-18 11:53:44

     

    浙江泰顺:山城里的一抹暖红——“香溢”志愿者的山乡助民“三部曲”
  • 2025-07-18 11:44:41

     

    贵州能源集团各基层党支部扎实有序推进学习教育
  • 2025-07-18 11:35:38

     

    中国太保寿险临沂中心支公司组织开展“7·8保险公众宣传日”系列活动
  • 2025-07-18 11:26:34

     

    福建启动交通安全百日宣传倡议活动
  • 2025-07-18 11:17:32

     

    “三联家电六店同庆,家电狂欢盛宴等您来”
  • 2025-07-18 11:08:27

     

    [代运营托管]莓茶/磷虾油/石斛原浆/西洋参原浆/血糖/肺结节/痛风/肝囊肿/关节肽,来聊
  • 2025-07-18 10:59:24

     

    [代运营托管]小红书/抖音代运营。母婴宠物,招商加盟,出行旅游,传媒咨询类开户代运营,政策稳定。
  • 2025-07-18 10:50:20

     

    [开户代运营]抖音血压计户,a结算
  • 2025-07-18 10:41:17

     

    [开户代运营]抖音巨量AD,本地推,DOU+开户下户套户现户,全行业可跑
  • 2025-07-18 10:32:14

     

    [开户代运营]抖音,快手,UC,优酷,趣头条等平台拉活产品,淘宝,京东,夸克,美团等
  • 2025-07-18 10:23:10

     

    [开户代运营]百度(baidu)35/55;多套律师、旅行社可套;顶点电商等
  • 2025-07-18 10:14:07

     

    [开户代运营]快应用 app拉新拉活养生加fen
  • 2025-07-18 10:05:04

     

    [开户代运营]抖音nk芬 信息流 抖音自热二筛nk芬 百度(baidu)gp芬 巨量gp 欢迎咨询
  • 2025-07-18 09:56:00

     

    [开户代运营]快手专业代运营 拉新拉活 各种APP下载
  • 2025-07-18 09:46:56