魔改 Stable Diffusion,开源创新“单目深度估计”模型_每日快讯(日常热点指南)

魔改 Stable Diffusion,开源创新“单目深度估计”模型


魔改 Stable Diffusion,开源创新“单目深度估计”模型

  2024-01-03 23:12:01     简体|繁體
http://news.qghjm.com/1031114.html

文章来源:AIGC开放社区

图片来源:由无界 AI生成

单目深度估计一直是计算机视觉领域的难点。仅凭一张 RGB 图像,想要还原出场景的三维结构,在几何结构上非常不确定,必须依赖复杂的场景理解能力。

即便使用更强大的深度学习模型来实现,也面临算力需求高、图像数据注释量大、泛化能力弱等缺点。

为了解决这些难题,苏黎世联邦理工学院的研究人员开发了Marigold模型。Marigold不需要从零开始训练,而是在Stable Diffusion(著名开源文生图模型)的基础上进行微调,只需要使用合成数据微调了中间的去噪网络,其他模块例如,编码/解码结构均保持原样,极大降低了训练成本。

实验数据显示,尽管Marigold从未直接学习过真实的深度信息,但在真实场景的测试中,其性能却超越了其他专门训练过的模型,并且迁移、兼容性非常强。

开源地址:https://github.com/prs-eth/Marigold

论文地址:https://arxiv.org/abs/2312.02145

Marigold的核心技术思路是,利用Stable Diffusion模型所捕获的丰富先验知识,来提升深度估计的泛化能力和性能。

简单来说,就是把Stable Diffusion当成一个图片查询数据库,只修改其去噪模块,就变成了可实现单目深度估计的全新模型

Marigold的关键点在于保持预训练扩散模型的潜在空间,只对去噪U-Net进行修改和微调。

这种方法非常高效,无需实际深度图像的训练数据,就能在多个真实数据集上取得出色的性能表现。

Marigold提供了一个简单而资源高效的微调协议,将预训练的扩散生成模型转化为图像条件的深度估计器,成为了一种功能强大的单目深度估计模块。

Marigold通过使用合成的RGB-D数据以及在一块消费级显卡上只训练了几天,将Stable Diffusion转化为Marigold模型。主要流程如下:


去噪U-Net


研究人员主要通过修改和微调Stable Diffusion模型的去噪U-Net模块,来实现深度估计。去噪U-Net是一个编码器-解码器结构的神经网络,用于从输入图像中学习去除噪声的表示。

在Marigold模型中,研究人员保持了扩散模型的潜空间不变,只对去噪U-Net模块进行微调,以适应深度估计任务。


合成数据训练


为了微调Marigold模型,研究人员使用了合成的RGB-D训练数据,对模型进行训练。合成数据是通过在虚拟环境中,渲染图像并生成对应的深度图来创建的。

通过使用合成数据进行训练,Marigold可以学习到广泛的场景和物体形状,从而提高其在未见过数据集上的泛化能力。


仿射不变深度估计


Marigold使用了一种仿射不变的深度估计方法,能够估计图像中每个像素的深度值,而不受全局偏移和尺度的影响。

这种仿射不变性对于在不同场景和尺度下进行深度估计非常重要。通过估计仿射不变的深度,Marigold可以消除由于相机内参的不确定性,而引入的深度估计误差。



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2025年 » « 05月 »
    1234
    567891011
    12131415161718
    19202122232425
    262728293031

    最新资讯

    1500元/人!企业和社会组织招用这三类人员可享受一次性扩岗补助
  • 2025-07-18 12:48:05

     

    流口水ing!青岛金沙滩啤酒城这五处美食打卡点别错过
  • 2025-07-18 12:39:01

     

    遵医附院护理团队科普作品荣获西部联盟大赛一等奖
  • 2025-07-18 12:29:58

     

    汇川“法律管家”就在街坊隔壁
  • 2025-07-18 12:20:55

     

    济南市莱芜第一中学刘禹哲:以梦为马 不负韶华
  • 2025-07-18 12:11:51

     

    以青春温暖“夕阳红” 青岛大学护理学院“银龄关怀”实践团走进青岛国金中医医院医养中心
  • 2025-07-18 12:02:48

     

    冲!三大运营商助力,第35届青岛国际啤酒节直播C位等你抢!
  • 2025-07-18 11:53:44

     

    浙江泰顺:山城里的一抹暖红——“香溢”志愿者的山乡助民“三部曲”
  • 2025-07-18 11:44:41

     

    贵州能源集团各基层党支部扎实有序推进学习教育
  • 2025-07-18 11:35:38

     

    中国太保寿险临沂中心支公司组织开展“7·8保险公众宣传日”系列活动
  • 2025-07-18 11:26:34

     

    福建启动交通安全百日宣传倡议活动
  • 2025-07-18 11:17:32

     

    “三联家电六店同庆,家电狂欢盛宴等您来”
  • 2025-07-18 11:08:27

     

    [代运营托管]莓茶/磷虾油/石斛原浆/西洋参原浆/血糖/肺结节/痛风/肝囊肿/关节肽,来聊
  • 2025-07-18 10:59:24

     

    [代运营托管]小红书/抖音代运营。母婴宠物,招商加盟,出行旅游,传媒咨询类开户代运营,政策稳定。
  • 2025-07-18 10:50:20

     

    [开户代运营]抖音血压计户,a结算
  • 2025-07-18 10:41:17