立体匹配系列笔记1

标号1-2

Posted by zichuana on September 1, 2023

1、【关于立体视觉的一切】Deep Depth Completion 基于深度学习的深度图补全 (该系列不更新,打工时没精力写……) https://zhuanlan.zhihu.com/p/44801508?utm_campaign=&utm_medium=social&utm_oi=678336375149957120&utm_psn=1619128581409402880&utm_source=com.alibaba.android.rimet

联系深度图和RGB图像,补全深度图像。
image
paper: https://deepcompletion.cs.princeton.edu/paper.pdf
相关摘要
本文的目标是完成RGB-D图像的深度通道。商品级深度相机通常无法感知有光泽、明亮、透明和遥远表面的深度。为了解决这个问题,我们训练了一个深度网络,它以RGB图像作为输入,并预测密集的表面法线和遮挡边界。然后将这些预测与RGB-D相机提供的原始深度观测相结合,以解决所有像素的深度,包括原始观测中缺失的像素。
image
不同输入的曲面法线估计。最上面一行显示了输入彩色图像、原始深度和渲染法线。当输入仅为深度、仅为颜色以及同时为深度和颜色时,底部一行显示曲面法线预测。中间的模型在缺失区域表现最好,而在其他地方与其他两个模型相比,即使没有深度作为输入。
image
问题与总结: 已经熟悉了在文章做什么,但是如何实现?

2、基于深度学习的双目立体匹配-GCNet、GANet、AANet等
https://zhuanlan.zhihu.com/p/195517250?utm_campaign=&utm_medium=social&utm_oi=678336375149957120&utm_psn=1619129312560492544&utm_source=com.alibaba.android.rimet

双目立体匹配算法及原理。 image
这张图一定要记下来:
image
下面这张图总而言之就是,P在image上的像点会在PO1O2与image的交线上,交线分别是e1P1和e2P2,也叫极线。
image
PPT的8-13介绍算法
https://www.bilibili.com/video/BV1Q54116738/?spm_id_from=333.337.search-card.all.click&vd_source=356d2809ce4d76953cc3af3b98963853
PPT的14-17相关paper以及改进点
问题: 算法暂时没有涉及学习