TUM&谷歌提出md4all：挑战性条件下的单目深度估计-德赢Vwin官网网

前言

大家好, 我叫Stefano Gasperini, 在此宣传我们的ICCV 2023的工作, 更多详细信息可查看我们的论文: https://arxiv.org/abs/2308.09711, 和我们的项目网站: https://md4all.github.io.

代码：https://github.com/md4all/md4all

在CVer微信公众号后台回复：md4all，可下载本论文pdf和代码

首先请大家观看这样一个例子:

你能在彩色图片中看到树吗?

我们的单目深度估计网络在所有条件下都能输出可靠的深度估计值，即使在黑暗中也是如此!

背景

虽然最先进的单目深度估计方法在理想环境下取得了令人印象深刻的结果，但在具有挑战性的光照和天气条件下，如夜间或下雨天，这些方法却非常不可靠。

在这些情况下, 传感器自带的噪声、无纹理的黑暗区域和反光等不利因素都违反了基于监督和自监督学习方法的训练假设。自监督方法无法建立学习深度所需的像素的对应关系，而监督方法则可能从传感器真值中（如上图中的 LiDAR 与 nuScenes 的数据样本）中学习到数据瑕疵。

方法

在本文中，我们提出了 md4all 解决了这些安全关键问题。md4all 是一个简单有效的解决方案，在不利和理想条件下都能可靠运行，而且适用于不同类型的监督学习。

我们利用现有方法在完美设置下的工作能力来实现这一目标。因此，我们提供的有效训练信号与输入信号无关。首先，通过图像转换，我们生成一组与正常训练样本相对应的复杂样本。然后，我们通过输入生成的样本并计算相应原始图像上的标准损失，引导网络模型进行自监督学习或完全监督学习。

如上图所示，我们进一步从预先训练好的基线模型中提炼知识，该模型只在理想环境下进行推理，同时向深度模型提供理想和不利的混合输入。

我们的 GitHub 代码库中包含所提方法的实现代码, 欢迎访问:

https://github.com/md4all/md4all

结果

通过 md4all，我们大大超越了之前的解决方案，在各种条件下都能提供稳健的估计。值得注意的是，所提出的 md4all 只使用了一个单目模型，没有专门的分支。

上图显示了在 nuScenes 数据集的挑战性环境下的预测结果。由于场景的黑暗程度和噪声带来的影响，自监督方法 Monodepth2 无法提取有价值的特征（第一行）。有监督的 AdaBins 会学习到来自传感器数据的瑕疵，并造成道路上的空洞预测现象（第二行）。在相同的架构上应用，我们的 md4all 提高了在标准和不利条件下的鲁棒性。

在本文中，我们展示了 md4all 在标准和不利条件下两种类型的监督下的有效性。通过在 nuScenes 和 Oxford RobotCar 数据集上的大量实验，md4all 的表现明显优于之前的作品（如上图数据所示）。

图像转换

我们还显示了为训练 md4all 而生成的图像转换示例 (如上图所示)。我们通过向模型提供原始样本和转换样本的混合数据进行数据增强。这样一个模型就能在不同条件下恢复信息，而无需在推理时进行修改。

在此，我们开源共享所有不利条件下生成的图像，这些图像与 nuScenes 和牛津 Robotcar 训练集中的晴天和阴天样本相对应。欢迎访问:

https://forms.gle/31w2TvtTiVNyPb916

这些图像可用于未来深度估计或其他任务的稳健方法。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

传感器

传感器

+关注

关注
2550

文章
51034

浏览量
753038
谷歌

谷歌

+关注

关注
27

文章
6161

浏览量
105295
模型

模型

+关注

关注
1

文章
3226

浏览量
48804

原文标题：ICCV 2023 | TUM&谷歌提出md4all：挑战性条件下的单目深度估计

文章出处：【微信号：CVer，微信公众号：CVer】欢迎添加关注！文章转载请注明出处。

特定温度条件下的应变测量方案

变测量的准确性。因此，用电阻应变计测量高温或低温条件下的应变时，其精度比常温条件下差。&amp;lt;br/&amp;gt;&

发表于 05-04 17:45

如何在芯片内同时捕获不同触发条件下的信号

的64 MB时，在少数地址位置缺少数据，因此要检查为什么这些字丢失，我需要查看不同地址位置的少量信号的状态。由于芯片的深度不能捕获完整的数据，我想在芯片内同时捕获不同触发条件下的信号。如果没有

发表于 03-15 14:28

在各种负载条件下保持高效率的电源控制器

在各种负载条件下保持高效率的电源控制器 Power Supply Controller to Keep Efficiency High Across All Loads &nb

发表于 07-16 08:41 •528次阅读

在各种负载<b class='flag-5'>条件下</b>保持高效率的电源控制器

深度负反馈条件下的近似计算

本文介绍了深度负反馈条件下的近似计算。

发表于 11-22 19:15 •12次下载

<b class='flag-5'>深度</b>负反馈<b class='flag-5'>条件下</b>的近似计算

基于单目图像的深度估计算法，大幅度提升基于单目图像深度估计的精度

双目匹配需要把左图像素和右图中其对应像素进行匹配，再由匹配的像素差算出左图像素对应的深度，而之前的单目深度估计方法均不能显式引入类似的几何约

发表于 06-04 15:46 •3.5w次阅读

基于<b class='flag-5'>单</b><b class='flag-5'>目</b>图像的<b class='flag-5'>深度</b><b class='flag-5'>估计</b>算法，大幅度提升基于<b class='flag-5'>单</b><b class='flag-5'>目</b>图像<b class='flag-5'>深度</b><b class='flag-5'>估计</b>的精度

采用自监督CNN进行单图像深度估计的方法

为了提高利用深度神经网络预测单图像深度信息的精确度，提出了一种采用自监督卷积神经网络进行单图像深度

发表于 04-27 16:06 •13次下载

欧拉 Summit 2021 安全&amp;amp;可靠性&amp;amp;运维专场：主流备份技术探讨

在openEuler Summit 2021 安全&amp;可靠性&amp;运维专场上，高冲对为数据安全而生，统信软件备份还原工具分享。

发表于 11-10 17:42 •1796次阅读

满足当今外壳设计具有挑战性的性能和散热要求

　　国防和航空航天加固型系统市场需要在极端环境条件下提供广泛的计算能力。总体而言，应用程序需要更多的处理能力;不可避免的是，随着处理能力的增长，热管理变得越来越具有挑战性。

发表于 10-28 11:16 •713次阅读

密集单目SLAM的概率体积融合概述

我们提出了一种利用深度密集单目 SLAM 和快速不确定性传播从图像重建 3D 场景的新方法。所提出的方法能够密集、准确、实时地 3D 重建场

发表于 01-30 11:34 •681次阅读

一种用于自监督单目深度估计的轻量级CNN和Transformer架构

自监督单目深度估计不需要地面实况训练，近年来受到广泛关注。设计轻量级但有效的模型非常有意义，这样它们就可以部署在边缘设备上。

发表于 03-14 17:54 •2171次阅读

介绍第一个结合相对和绝对深度的多模态单目深度估计网络

单目深度估计分为两个派系，metric depth estimation(度量深度估计，也称绝对

发表于 03-21 18:01 •5560次阅读

一种利用几何信息的自监督单目深度估计框架

本文方法是一种自监督的单目深度估计框架，名为GasMono，专门设计用于室内场景。本方法通过应用多视图几何的方式解决了室内场景中帧间大旋转和低纹理导致自监督

发表于 11-06 11:47 •427次阅读

动态场景下的自监督单目深度估计方案

自监督单目深度估计的训练可以在大量无标签视频序列来进行，训练集获取很方便。但问题是，实际采集的视频序列往往会有很多动态物体，而自监督训练本身就是基于静态环境假设，动态环境

发表于 11-28 09:21 •713次阅读

单目深度估计开源方案分享

可以看一下单目深度估计效果，这个深度图的分辨率是真的高，物体边界分割的非常干净！这里也推荐工坊推出的新课程《

发表于 12-17 10:01 •802次阅读