只有27亿参数,性能却高25倍!微软发布Phi-2_每日快讯(日常热点指南)

只有27亿参数,性能却高25倍!微软发布Phi-2


只有27亿参数,性能却高25倍!微软发布Phi-2

  2023-12-17 20:25:25     简体|繁體
http://news.qghjm.com/1019953.html

原文来源:AIGC开放社区

图片来源:由无界 AI生成

12月13日,微软在官方网站正式发布了,27亿参数的大语言模型—Phi-2。

Phi-2是基于微软的Phi-1.5开发而成,可自动生成文本/代码、总结文本、数学推理等功能。

虽然Phi-2的参数很小,性能却优于130亿参数的Llama-2和70亿参数的Mistral,以及谷歌最新发布的Gemini Nano 2。

值得一提的是,Phi-2没有进行过RLHF(人类反馈强化学习)和指令微调只是一个基础模型,但在多个任务评测中,其性能可以媲美或超过25倍参数的模型。

目前,微软已经开源了Phi-1.5和Phi-1,帮助开发者们深度研究和应用小参数模型。

Phi-1.5开源地址:https://huggingface.co/microsoft/phi-1_5‌

Phi-1开源地址:https://huggingface.co/microsoft/phi-1‌

Phi-1.5论文地址:https://arxiv.org/abs/2309.05463‌

目前,大模型界有一个很怪的现象,就是出的模型参数越来越大,几百亿参数只能算刚入门,上千亿的比比皆是,有的模型甚至已经达到上万亿。

参数高的模型并非不好,而是要看应用场景。对于像微软、OpenAI、百度、科大讯飞这样的基础模型服务商来说,参数越高覆盖能力就越广,例如,ChatGPT已经进化到多模态,除了生成文本,还能生成图片听懂声音等。

Phi-2评测数据

但参数高的模型同样也有很多缺点:过拟合,如果训练数据较差会出现能力不升反降的现象;算力成本巨大,用户每一次的提问都像是在“燃烧金钱”;预训练时间长,每一次模型的迭代需要耗费大量训练时间。

调优困难,高参数的模型拥有庞大且难控制的神经元,想进行部分功能调优和控制非常困难,最近变懒的GPT-4便是最好的案例。

所以,微软开发Phi系列模型的主要目的是研究,小参数模型如何在保证功能的前提下,也能与大参数的模型相媲美甚至超越,这对于企业和应用者来说是一个双赢的局面。

Phi-2简单介绍

Phi-2和Phi-1.5一样采用了24层的Transformer架构,每个头的维度为64,并使用了旋转嵌入等技术来提升模型性能。

Phi-2只是一个基础模型,没有进行过人类反馈强化学习和指令微调。但在文本生成、数学推理、代码编程方面丝毫不比大参数的模型差,甚至比他们更好。

训练数据和流程方面,Phi-2使用了1.4T超高质量的“教科书级”数据进行了预训练,并非是网络爬取的杂乱、黑箱数据。微软表示,这也是小参数模型比大参数模型性能高的关键原因之一。

Phi-2 在 96 个 A100 GPU上一共训练了14天。

Phi-2实验数据

微软在MMLU、BBH、PIQA、WinoGrande、ARC easy、Challenge、SIQA和GSM8k等主流测试平台对Phi-2进行了测试。

数据显示,在各种聚合基准上的测试超过了,Mistral -7B和Llama-2-13B。

值得一提的是,在多步推理测试任务中,例如,编码和数学,Phi-2的性能超过了700亿参数的Llama-2。



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2020年 » « 05月 »
    123
    45678910
    11121314151617
    18192021222324
    25262728293031

    最新资讯

    [代运营托管]痛风 血糖 肺结节 骨病精准粉
  • 2025-07-12 06:14:40

     

    [代运营托管]艾灸罐,泡酒瓶,食疗养生,控糖书,熊胆粉,有好量,注册50-60+,来私
  • 2025-07-12 06:07:35

     

    [代运营托管]小病种大健康软文/表单代运营!二跳 企微 全新加白资质,流量精准,起量快
  • 2025-07-12 06:00:29

     

    [开户代运营]耳病,眼病,血糖,疝气,减肥,甲状腺,驼奶,眼袋,祛斑,心脑,腰椎等软文加粉量
  • 2025-07-12 05:53:24

     

    [开户代运营]百度(baidu)核代电商一代政策—食品功效等端口+cid国学ai教程养生等 千川对私4——
  • 2025-07-12 05:46:19

     

    [开户代运营]千川开户对公专票稳定高点1.5起!电商引流cid对公开票2.5+!
  • 2025-07-12 05:39:14

     

    [开户代运营]腾讯广告投放渠道,房产汽车、金融、教育、K12等不限行业不限地区,无资质可投
  • 2025-07-12 05:32:08

     

    [开户代运营]本地推团购类政策15,线索类14(234类),千川白牌对公2,腾讯k6内循环3,需要
  • 2025-07-12 05:25:03

     

    [开户代运营]百度(baidu):电商培训,情感,厌学,自闭,宝宝说话晚,母婴,国际物流,养殖,开锁,苗木
  • 2025-07-12 05:17:57

     

    [开户代运营]抖音 快手 百度(baidu) 广点通企业D 欢迎来咨询
  • 2025-07-12 05:10:52

     

    [开户代运营]oppo vivo手机厂商流量,oppo一代,快应用开户 推广投放,代运营 需要来
  • 2025-07-12 05:03:46

     

    [开户代运营]优酷oppo淘宝砍价,大健康,玩具,保健品,减肥,旅游代运营,寻甲方
  • 2025-07-12 04:56:41

     

    [开户代运营]助贷,人工单
  • 2025-07-12 04:49:36

     

    (微量联盟)承接广告投放
  • 2025-07-12 04:42:30

     

    承接一手拍店
  • 2025-07-12 04:35:25