zoukankan      html  css  js  c++  java
  • 阅读笔记Geometric Structure Based and Regularized Depth Estimation From 360◦ Indoor Imagery

    该论文提出了一种全景图深度估计的方法,引入几何先验知识,同时,将结构化的信息作为正则对深度做约束,如下图所示

    上图中的structure as a prior module模块是layoutnet里面的内容,并且作者对其提出改进,通过引入一个预测平面的模块,使其更加精细,同时预测平面的模块可以和attention得到的家具的mask相乘,经过和原来的depth feature map 相concate,得到最后的depth。这个depth已经可以用了,但是作者说要想保证输出的depth图保留几何信息,需要对这个输出的depth图做一些正则化,比如我们期望能够从depth图里面获取几何信息,layout之类的,所以作者下面又用了另外的一个网络,对其做预测
    这个网络和structure-based是类似的,只不过输入的是经过masked的depth,作者还说,之所以masked,是因为包含家具的话,会让深度估计不准确,所以过滤掉家具的depth,来用于推测结构信息会比较简单一些。
    loss一共分为corner的loss,boundary的loss以及plan的loss(prior和regularized都是有的),同时depth的loss和mask的loss都也有

    作者先是使用了合成的数据集做了消融实验,然后使用了standford2d3d和其他方法进行了对比,在standford上获取家具的mask作者使用的是分割的信息。
    作者还使用了一些baseline,比如FCRN和Rectnet这种网络,发现在standford上面均有涨点,可能是因为引入了额外的信息吧

  • 相关阅读:
    图书-哲学-奥卡姆剃刀:《奥卡姆剃刀原理》
    汉语-词语-认知:认知能力
    汉语-词语-认知:认知水平
    汉语-词语:认知
    pg_dump
    pg_ctl
    pg_controldata
    pg_config
    paste
    passwd
  • 原文地址:https://www.cnblogs.com/yongjieShi/p/14021050.html
Copyright © 2011-2022 走看看