基于GAN-inversion的图像重构过程-德赢Vwin官网网

笔者最近在集中时间学习对抗生成网络（GAN），特别是深度生成先验进行多用途图像修复与处理，需要对图像修复与处理经典论文进行回顾和精读。

将从图像修复与处理的经典之作DGP《Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation》开始，重启精读之路。

DGP提出了一种挖掘GAN中图像先验的方式，在多个任务上揭示了GAN作为一种通用图像先验的潜力。

论文提出了同时插值隐变量和生成器的渐变式图像反演方法，可以应用于复杂图片的对抗防御，在实验中DGP所展现出的强大的像素间空间关系vwin 能力也十分有趣。

Deep generative prior的图像复原效果

01深度生成先验

深度图像先验DIP仅依靠输入图像的统计信息，无法应用于需要更一般的图像统计信息的任务，如图像上色和图像编辑。

我们更感兴趣的是研究一种更通用的图像先验，即在大规模自然图像上训练的GAN生成器用于图像合成。具体来说，是一个基于GAN-inversion的图像重构过程。

在实践中，仅仅通过优化隐向量z难以准确重建ImageNet这样的复杂真实图像。训练GAN的数据集（ImageNet）本身是自然图片中很少的一部分，GAN受限于有限的模型性能和mode collapse，其模拟的图片分布与训练集图片分布也存在鸿沟。

即使存在以上限制，GAN仍然学习了丰富的图片信息，为了利用这些信息并且实现精确重建，我们让生成器online地适应于每张目标图片，即联合优化隐向量z和生成器参数。

我们将此新的目标称为深度生成先验（DGP），DGP显著提高了图像重构的效果。设计合适的距离度量和优化策略非常关键，在重建过程中，生成器原始的生成先验被修改了，输出真实自然图像的能力可能会下降。

02判别器指引的渐进式重建

从 latent space Z 中随机抽取几百个候选的初始 latent code，并选择在度量L下重构效果最好的一个。

在GAN重建中，传统的距离度量方法是 MSE 或 Perceptual loss。优化生成器参数时，将这些传统距离度量用在图像恢复如上色任务中，常常无法准确恢复颜色，并且重建过程中图像会变得模糊，需要设计更好的优化方式来保留生成器的原有信息。

我们在该工作中选择使用与生成器对应的判别器来作为距离度量。与Perceptual loss所采用的VGGNet不同，判别器并非在一个第三方的任务上训练，而是在预训练时就与生成器高度耦合，它天然地适用于调整生成器的输出分布。

使用这种基于判别器的距离度量时，重建的过程更加自然和真实，最终颜色恢复的效果也更好。

其中D（x， i）代表以x作为输入时判别器第i个block输出的特征

虽然改进的距离度量带来了更好的效果，但是图像复原的结果仍存在非自然痕迹，因为生成器在针对目标图片优化时，浅层参数匹配好图片整体布局之前，深层参数就开始匹配细节纹理了。

上面的苹果图是几种训练策略的对比，从三行效果可以看出，有的苹果在训练初期没被染上色后期还是没被染上色，我们把这种现象称作“信息滞留”。

对策就是：使用渐进式重建的策略，即在微调生成器时，先优化浅层，再逐渐过渡到深层，让重建过程“先整体后局部”。

与非渐进策略相比，这种渐进策略更好地保留了缺失语义和现有语义之间的一致性。

03重建结果

使用BigGAN模型，基于ImageNet进行训练，使用ImageNet验证集中的1000张图像进行实验，取每类的第一张，相比于其他方法，DGP取得了非常高的PSNR和SSIM，视觉上的重建误差几乎难以察觉。

04实验

因为GAN刻画了自然图像的先验，因此可以完成很多的任务：比如上色、补全、超分辨率等等，还能进行图像处理。下面放一些效果图。

图像上色

使用ResNet50上的分类精度作为定量评估结果，下列方法的精度分别为 51.5%， 56.2%， 56.0%， 62.8%。

图像补全

超分辨率

灵活性

随机扰动

总结

GAN作为图像领域最强大的生成式模型之一，学习到了丰富的自然图像流形，可以对自然图像的恢复和编辑带来巨大帮助。

利用好大规模预训练模型的能力是深度学习目前各个领域的流行前沿，可以减少对训练数据的需求，整合相近的研究领域。

未来更强大的生成式模型，将带来更具实际应用价值的图像恢复和编辑应用，有望在更广泛的领域落地

原文标题：深度学习论文精读［GAN］：利用深度生成先验进行多用途图像修复与处理

文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。

审核编辑：彭静

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

GaN

GaN

+关注

关注
19

文章
1933

浏览量
73279
生成器

生成器

+关注

关注
7

文章
315

浏览量
21002
深度学习

深度学习

+关注

关注
73

文章
5500

浏览量
121109

原文标题：深度学习论文精读[GAN]：利用深度生成先验进行多用途图像修复与处理

文章出处：【微信号：zenRRan，微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。

基于相变材料的可重构超构表面用于图像处理

光学超构表面（metasurface）实现了在亚波长尺度内的模拟计算和图像处理，并具备更低的功耗、更快的速度。虽然人们已经展示了各种图像处理超构表面，但大多数考虑的器件都是静态的，缺乏可重构性。然而

发表于 11-13 10:24 •217次阅读

基于相变材料的可<b class='flag-5'>重构</b>超构表面用于<b class='flag-5'>图像</b>处理

GaN有体二极管吗?了解GaN的第三象限运行

德赢Vwin官网网站提供《GaN有体二极管吗?了解GaN的第三象限运行.pdf》资料免费下载

发表于 09-19 12:55 •6次下载

<b class='flag-5'>GaN</b>有体二极管吗?了解<b class='flag-5'>GaN</b>的第三象限运行

GaN应用介绍

德赢Vwin官网网站提供《GaN应用介绍.pdf》资料免费下载

发表于 09-12 09:55 •0次下载

GaN晶体管的应用场景有哪些

GaN（氮化镓）晶体管，特别是GaN HEMT（高电子迁移率晶体管），近年来在多个领域展现出广泛的应用场景。其出色的高频性能、高功率密度、高温稳定性以及低导通电阻等特性，使得GaN晶体管成为电力电子和高频通信等领域的优选器件。以

发表于 08-15 11:27 •879次阅读

「重构：改善既有代码的设计」实战篇

背景在软件开发的世界里，代码重构是提升项目质量、适应业务变化的关键步骤。最近，我重新翻阅了《重构：改善既有代码的设计第二版》，这本书不仅重新点燃了我对重构的热情，还深化了我的理解：重构

发表于 08-14 10:42 •247次阅读

图像检测和图像识别的原理、方法及应用场景

的目标物体的过程。它的目标是确定图像中是否存在特定的物体，并在图像中找到这些物体的位置，通常以矩形框的形式表示。 1.2 图像识别图像识别

发表于 07-16 11:19 •3928次阅读

GaN MOSFET 器件结构及原理

GaN MOSFET（氮化镓金属氧化物半导体场效应晶体管）是一种新型的功率器件，具有高功率密度、高效率和快速开关速度等优点。与传统的硅基MOSFET相比，GaN MOSFET具有更高的电子迁移率

发表于 07-14 11:39 •1241次阅读

CGD为电机控制带来GaN优势

评估套件具有 Qorvo 的高性能无刷直流 / 永磁同步电机控制器 / 驱动器和 CGD 易于使用的 ICeGaN GaN 功率 IC 的性能英国剑桥 - Cambridge GaN

发表于 06-07 17:22 •1735次阅读

STDRIVEG600驱动GAN逆变器,在某一拍出现控制信号丢失，导致电机电流跌落的原因？

STDRIVEG600驱动GAN逆变器时候，在某一拍出现控制信号丢失，导致电机电流出现跌落情况上图紫色的是电机电流，青色的是上管的PWM给定信号，黄色的是经过了GAN开关管驱动

发表于 03-13 06:14

功率GaN的多种技术路线简析

德赢Vwin官网网报道（文/梁浩斌）功率GaN的大规模应用，其实也只有六七年的历史，从2018手机快速充电器上才正式吹响了普及的号角。目前，从晶体管来看，功率GaN主要的产品是HEMT（高电子迁移率晶体管

发表于 02-28 00:13 •2774次阅读

图像编码常见的编码方式和处理过程

图像编码是将图像数据转换为数字形式的过程，通常通过压缩图像数据以便于存储和传输。图像编码的主要目标是在尽可能减少数据量的同时，保持

发表于 02-26 14:32 •1.1w次阅读

功率GaN，炙手可热的并购赛道？

德赢Vwin官网网报道（文/梁浩斌）继去年英飞凌收购GaN Systems之后，2024年1月，另一家汽车芯片大厂瑞萨也收购了功率GaN公司Transphorm。 Transphorm在2022年

发表于 02-26 06:30 •2440次阅读

关于数字图像处理的常用技巧

图像生成采集处理过程中都会不同程度的引入各种噪声，因此会导致图像的质量变差。从而影响对图像的识别。所以必须要对图像进行滤波，所以必须对

发表于 02-19 09:27 •905次阅读

相机图像处理过程详解

指的是专门用来处理感光件信号并生成最终图像的硬件，通常会作为一个模块集成到片上系统。

发表于 01-22 11:21 •1868次阅读

CamSim相机模拟器：极大加速图像处理开发与验证过程

友思特CamSim相机模拟器，可以极大地加速图像处理的开发和验证过程，轻松复制测试数据，减少测试时间，降低测试成本。

发表于 12-27 09:17 •511次阅读