Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快_每日快讯(日常热点指南)

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快


Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

  2023-11-24 04:40:49     简体|繁體
http://news.qghjm.com/1005166.html

原文来源:量子位

图片来源:由无界 AI生成

Stable Diffusion官方终于对视频下手了——

发布生成式视频模型Stable Video Diffusion(SVD)

Stability AI官方博客显示,全新SVD支持文本到视频、图像到视频生成:

并且还支持物体从单一视角到多视角的转化,也就是3D合成

根据外部评估,官方宣称SVD甚至比runway和Pika的视频生成AI更受用户欢迎。

虽然目前只发布了基础模型,但官方透露“正计划继续扩展,建立类似于Stable Diffusion的生态系统”。

目前论文代码权重已上线。

最近视频生成领域不断出现新玩法,这次轮到Stable Diffusion下场,以至于网友们的第一反应就是“快”,进步太快!

但仅从Demo效果来说,更多网友们表示并没有感到很惊喜。

虽然我喜欢SD,而且这些Demo也很棒……但也存在一些缺陷,光影不对、而且整体不连贯(视频帧与帧之间闪烁)。

总归来说这是个开始,网友对SVD的3D合成功能还满是看好:

我敢打赌,很快就会有更好的东西出来,到时候只要描述一下,就会得到一个完整的3D场景。


SD视频官方版来袭


除了上面展示的,官方还发布了更多Demo,先来看一波:

太空漫步也安排上:

背景不动,只让两只鸟动也可以:

SVD的研究论文目前也已发布,据介绍SVD基于Stable Diffusion 2.1,用约6亿个样本的视频数据集预训练了基础模型。

可轻松适应各种下游任务,包括通过对多视图数据集进行微调从单个图像进行多视图合成。

微调后,官方公布的是两种图像到视频模型,可以以每秒3到30帧之间的自定义帧速率生成14(SVD)和25帧(SVD-XT)的视频:

之后又微调了多视角视频生成模型,叫做SVD-MV:

根据测试结果,在GSO数据集上,SVD-MV得分优于多视角生成模型Zero123、Zero123XL、SyncDreamer:

值得一提的是,Stability AI表示SVD目前仅限于研究,不适用于实际或商业应用。SVD目前也不是所有人都可以使用,但已开放用户候补名单注册。


视频生成大爆发


最近视频生成领域呈现出一种“混战”的局面。

前有PikaLabs开发的文生视频AI:

后又有号称“史上最强大的视频生成AIMoonvalley推出:

最近Gen-2的“运动笔刷”功能也正式上线,指哪画哪:

这不现在SVD又出现了,又有要卷3D视频生成的可能。

但文本到3D生成方面好像还没有太多进展,网友对这一现象也很是困惑。

有人认为数据是阻碍发展的瓶颈:

还有网友表示原因在于强化学习还不够强:

家人们对这方面的最新进展有了解吗?欢迎评论区分享~

论文链接:https://static1.squarespace.com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf

参考链接:
[1]https://stability.ai/news/stable-video-diffusion-open-ai-video-model
[2]https://news.ycombinator.com/item?id=38368287



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2025年 » « 07月 »
    123456
    78910111213
    14151617181920
    21222324252627
    28293031

    最新资讯

    @泰安市初中学业水平考生,一分一段表出炉
  • 2025-07-07 03:49:43

     

    赵文卓女儿瑞士贵族学校高中毕业!全家现身,17岁赵子仪白得耀眼
  • 2025-07-07 03:42:37

     

    短剧女星纷纷出圈,真面目曝光引热议,影视圈的美颜神话崩塌!
  • 2025-07-07 03:35:32

     

    能量密度+20%,续航+30%!远景动力大圆柱电池量产供货宝马新世代车型
  • 2025-07-07 03:21:21

     

    淘宝闪购500亿补贴上线首日,中小餐饮商家生意增长140% 扫码阅读手机版
  • 2025-07-07 03:14:25

     

    下一代内容管理平台 MassCMS:引领企业数字化内容管理新潮流
  • 2025-07-07 03:07:11

     

    解码百度短剧经营密码:AI+精品化的双轮驱动
  • 2025-07-07 03:00:05

     

    [开户代运营] 50元/项目,腾讯纯加白名单,不显示主体,微信,ADQ,AD,全行业,一手资源~~
  • 2025-07-07 02:52:59

     

    [开户代运营] 品专24现金千川3.5 快手cib6.5本地推新客40ad信息流7红书聚光16
  • 2025-07-07 02:46:04

     

    金粉世家冷清秋看金燕西信后 已明知白秀珠存在
  • 2025-07-07 02:38:48

     

    行业知名专家云集,第三届中国深井超深井油气发展论坛议程公布,诚邀广大朋友参会!
  • 2025-07-07 02:31:43

     

    何宇迪:这个平台让我充电、激发热情 | 微创业扶持案例(11)
  • 2025-07-07 02:24:38

     

    《藏海传》热播引发关注,肖战黄觉精彩表现炸裂
  • 2025-07-07 02:17:33

     

    在白玉兰颁奖会上宋佳获奖,闫妮送棉花花,姐妹深情厚谊成佳话
  • 2025-07-07 02:10:27

     

    “郑和号”海公铁国际多式联运班列首发
  • 2025-07-07 02:03:22