8天狂收6100颗星,可商用!东京工业、麻省理工等开源Stream Diffusion_每日快讯(日常热点指南)

8天狂收6100颗星,可商用!东京工业、麻省理工等开源Stream Diffusion


8天狂收6100颗星,可商用!东京工业、麻省理工等开源Stream Diffusion

  2023-12-31 04:16:28     简体|繁體
http://news.qghjm.com/1028768.html

原文来源:AIGC开放社区

图片来源:由无界 AI‌生成

加州大学伯克利分校、东洋大学、东京工业大学、麻省理工学院和筑波大学等研究人员,联合开源了一款创新性实时交互图像生成框架——Stream Diffusion。

Stream Diffusion的技术创新点在于,将传统的顺序去噪变成流批处理去噪,消除了漫长的等待、交互生成方式,实现了流畅且吞吐量超高的图像生成方法

同时引入了“残差无分类器指导”方法,进一步提升了流批处理的效率和图像质量。

根据Stream Diffusion在Github上的项目提交历史记录显示,仅用了8天的时间就收到6100颗星成为霸榜开源产品,其性能和欢迎程度可见一斑。允许开发者商用。

开源地址:https://github.com/cumulo-autumn/StreamDiffusion

论文地址:https://arxiv.org/abs/2312.12491

Demo展示:https://github.com/cumulo-autumn/StreamDiffusion/blob/main/assets/demo_03.gif

目前,扩散模型在图像生成方面获得了广泛应用并成功实现商业化落地,例如,该领域的标杆产品Midjourney。

但在实时交互方面表现不佳需要漫长的等待,尤其是涉及连续输入的场景中尤为明显。

为了解决这些难题,研究人员设计了一种新颖的输出、输入方法,就是将原始的顺序去噪转化为批处理去噪过程。

简单来说,Stream Diffusion相当于大模型领域的机械化流水作业,将单一、繁琐的去噪、推理流程改成批量处理。


流批式去噪方法


流批式去噪是Stream Diffusion的核心功能之一,也是实现实时交互的关键所在。

传统的交互式扩散模型都是顺序执行:一次输入一张图片,走完全部的去噪步骤后,再输出一张结果图像。然后不断重复这个过程,生成完成更多的图像处理。

这样就造成一个很大的问题速度和质量难以同时得到保证。为了生成高质量的图像,需要设置较多的去噪步骤,导致生成图像的效率较慢,无法做到“鱼与熊掌”兼得。

流批式去噪的核心思想是:当输入第一张图像开始去噪步时,不必等待它完成,就可以接收第二张图像,以实现批量方式处理。

这样,U-Net只需要不断调用,处理一个批量的特征,就可以高效实现图像生成流水线的批量推进。

此外,流批式去噪方法的好处在于,每次调用U-Net就可以使多个图像同时推进一步,而U-Net的批量运算非常适合GPU并行计算,所以整体运算效率非常高。

最终可以在保证质量的同时,显著缩短单张图像的生成时间。


残差无分类器指导


为了强化提示条件对结果的影响,扩散模型通常使用一种叫“无分类器指导”的策略。

在传统方法中,计算负条件向量时需要对每个输入潜向量配对负条件嵌入,每次推理都要调用U-Net算力消耗巨大。

为了解决这个问题,研究人员提出了“残差无分类器指导”方法。其核心方法是,假定存在一个“虚拟残差噪声”向量,用来逼近负条件向量

首先计算“正条件”向量,再用正条件向量反推这个虚拟负条件向量。这样就避免了每次都要额外调用U-Net来计算真实的负条件向量,从而大幅减少了算力。

简单来说,就是用原始的输入图像编码作为负样本,无需调用U-Net就可以计算。稍微复杂一点的“一次负条件”,是在第一步使用U-Net计算一次负向量,然后重复使用这个向量近似后面的所有负向量。


流水线作业


该模块的功能是使整个系统的瓶颈不再是数据格式的转换,而是基于模型本身的推理时间。

通常,输入的图片需要缩放、转换格式等预处理才能成为模型可用的张量;输出的张量也需要后处理恢复为图片格式,整个流程消耗大量时间和算力。

流水线作业将预/后处理与模型推理完全分离开来,置于不同的线程中并行执行。输入图像经过预处理进入输入队列缓存;

输出张量从输出队列发出,再后处理为图片。这样两者就可以不互相等待,从而优化了整体流程速度。

此外,该方法还起到平滑数据流的作用。当输入源故障或通信错误导致暂时没法传入新图像时,队列可以继续提供之前缓存的图像,保证模型的流畅运行。


随机相似度过滤


该模块的功能是显著减少GPU算力消耗。当输入的图片连续相同或高度相似时,反复推理是没有任何意义的。

所以,相似度过滤模块计算输入图片与历史参考帧的相似度。如果高于设定阈值,则以一定概率跳过后续的模型推理;

如果低于阈值,则正常进行模型推理并更新参考帧。这种概率采样机制使得过滤策略可以平滑自然地对系统进行节流,降低平均GPU使用率。

在静态输入下过滤效果明显,动态变化大时自动降低过滤率,系统可以自适应场景动态性。

这样,复杂度动态变化的连续流输入下也可以自动调节系统推理负载,节约GPU算力消耗。


实验数据


为了测试Stream Diffusion的性能,研究人员在RTX3060、RTX4090上进行了测试。

效率方面,实现了超过91 FPS的生成帧率,是当前最先进的AutoPipeline的近60倍,并极大减少去噪步骤。

功耗方面,静态输入下,RTX3060和RTX4090的平均功率分别降低了2.39倍和1.99倍。



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2024年 » « 07月 »
    1234567
    891011121314
    15161718192021
    22232425262728
    293031

    最新资讯

    三亚山海天JW万豪酒店与三亚山海天大酒店•傲途格精选推出「奇遇海洋探索家」夏令营特别体验,点亮夏日之旅
  • 2025-07-19 06:00:35

     

    向佐巴黎女装亮相背后:进军短剧圈搭档岳雨婷引热议
  • 2025-07-19 05:51:31

     

    许晴车晓同框美翻全网,56岁和43岁的冻龄秘诀大公开
  • 2025-07-19 05:42:28

     

    偶遇秦昊伊能静!呛口小辣娱最新动态曝光
  • 2025-07-19 05:33:24

     

    一个代表作都没有,却高高在上当评委,“小丑闹剧”何时休
  • 2025-07-19 05:24:21

     

    杨议揭露冯巩未出席内幕,晒曲艺协会函件证清白,声誉彻底扭转
  • 2025-07-19 05:15:17

     

    将缺乏教养视为个性,激怒众多导师的她,竟然真如母亲张凯丽所传
  • 2025-07-19 05:06:14

     

    唐嫣月号凤儿娱乐动态曝光
  • 2025-07-19 04:57:11

     

    霍启刚升任院长,郭晶晶助力,豪门夫妻如何合作创新局
  • 2025-07-19 04:48:07

     

    信用卡逾期被执行火车能坐吗?
  • 2025-07-19 04:30:00

     

    [代运营托管]食疗养生,中医养生,熊胆粉,睡眠仪,艾灸罐,注册65+,转化1:3,需要的老板,来私
  • 2025-07-19 04:20:57

     

    [代运营托管]抖音 视频号百度(baidu) 股票 ai培训 自热cp 养生粉 jz 翡翠粉
  • 2025-07-19 04:11:54

     

    [代运营托管]朋友圈广告投放,一手渠道全网低价无需资质,特殊行业可接,免保证金,包过审上线 全国接
  • 2025-07-19 04:02:50

     

    [开户代运营]快手智投本地推开户dd
  • 2025-07-19 03:53:49

     

    [开户代运营]淘宝粑粑农场一分购优质流量,有预算客户来聊,渠道勿扰
  • 2025-07-19 03:44:43