图像超分辨率重建
点击关注上方蓝字，阅读更多干货~
在介绍正式的超分内容前，需要明确一个容易混淆的问题：图像清晰化和图像超分辨率重建有什么区别？
图1 图像清晰化—同分辨率下提高清晰度
图2 超分辨率重建任务—从低分辨率重建高分辨率后，清晰度不变或提高
图像清晰化：图像增强能够将清晰度较低、视觉效果较差的图像转变成具有高清晰度的图像
图像超分辨率重建：图像超分辨率重建在将分辨率较低的图像转化为高分辨率图像的同时，还能够保持或图像清晰度
2 算法发展路线
从2014年 SRCNN 算法被提出后，到目前为止，基于深度学习的图像超分辨率重建算法大致经历了五个阶段：
3 论文算法详解
3.1 超分任务核心组件探索阶段
图3 SRCNN 网络结构
SRCNN 被广泛认为是超分辨率领域的先驱之一，引入深度学习方法，以取代传统的插值和滤波技术。SRCNN 的设计旨在通过卷积神经网络（CNN）学习从低分辨率图像到高分辨率图像的映射，从而实现图像的超分辨率。其基本工作流程包括以下关键步骤：
（1）插值：首先，SRCNN 将输入的低分辨率图像通过插值的方式缩放到与目标尺寸相匹配的分辨率。这个插值步骤有助于提供更多的信息，为网络提供高分辨率图像的细节。
（2）特征提取：插值后的图像通过一系列卷积层进行特征提取。SRCNN 的网络结构包含三个主要卷积层，分别负责学习图像的局部和全局特征，以及进行非线性映射。
（3）图像重建：在特征提取之后，SRCNN 通过卷积层实现图像的重建。这一步骤旨在利用学到的特征将高分辨率低清晰度图像映射到高分辨率高清晰度图像空间。
图4 VDSR 网络结构
VDSR 的主要贡献在于采用了极深的网络结构，以更好地捕捉图像中的复杂特征和高频信息，从而实现更精确的超分辨率效果。以下是 VDSR 的主要特点：
深度网络结构：VDSR 采用了一个非常深的卷积神经网络结构，具有19个卷积层。这种深度结构的设计旨在使网络能够学习到更丰富的图像特征，从而提高对低分辨率输入图像的超分辨率性能。
残差学习： VDSR 使用了残差学习的思想，VDSR 将高分辨率图抽象了一个核心假设，即高分辨率图=高分辨率低清晰化图+纹理残差，并将这种方式应用到了任务架构中。
VDSR 在超分辨率领域的贡献在于抽象了一个核心假设：高分辨率图=高分辨率低清晰化图+纹理残差，使得网络能够更好地理解和还原图像中的细节。尽管后续出现了更复杂的网络结构，但 VDSR 的成功启示了通过增加网络深度来提升超分辨率性能的有效性。
图5 ESPCN 网络结构
图6 EDSR
3.2 超分任务架构构建阶段
图7 SRResNet
图8 LapSRN
之前以 SRResNet 为主的超分算法主要集中在固定倍率的超分辨率重建任务上，而 LapSRN 的独特之处在于提出了一种非固定倍率放大的网络架构，可以得到多个放大倍数的高分辨率图，网络采用了拉普拉斯金字塔结构，通过多尺度信息的融合实现更全面的图像超分辨率。以下是 LapSRN 的主要特点和工作原理：
拉普拉斯金字塔结构：LapSRN 使用了拉普拉斯金字塔，这是一种图像金字塔的变种，其中每个尺度的图像由原始图像减去其上一尺度的图像上采样得到。这种结构允许网络在多个尺度上学习图像细节，从而更全面地理解和还原高分辨率图像。
多尺度处理：LapSRN 将输入图像分解成多个尺度，每个尺度分别经过对应的 SR 网络进行处理。这种多尺度的设计有助于网络在不同分辨率上学习图像的特征，更好地处理图像中的纹理和细节。
训练：LapSRN 通过大量的高分辨率图像及其对应的低分辨率版本进行监督学习。网络的目标是最小化预测图像与真实高分辨率图像之间的差异，通过多尺度的结构和特征融合，学到从低分辨率到高分辨率的映射。
金字塔重建：最后，通过将各个尺度的超分辨率结果与其上一尺度的细节图像进行加和，实现了最终高分辨率的图像重建。
LapSRN 的独特设计使得它能够更全面地处理图像超分辨率任务，可以得到非固定倍率的放大图像，从而在一定程度上提高了性能。拉普拉斯金字塔结构的引入为网络提供了多尺度信息的丰富表示，特征融合模块的设计则增强了网络对多尺度特征的整合能力。这些创新性的设计使得 LapSRN 成为图像超分辨率领域中值得关注的算法之一。
3.3 对抗训练阶段
图9 SRGAN 网络结构
SRGAN 将对抗引入了超分辨率任务，论文提出了超分辨率是一个病态问题（ill-posed），由于在实际场景中，高分辨率图像经过了多种未知的退化方式得到了各种各样的低分辨率图像。而高分辨率图像中，对清晰的定义也是不一的，也存在多种分布情况，所以图像超分辨率任务，实质是一种多对多任务。而之前的超分辩算法一直只采用的像素损失作为度量，是无法很好的解决病态问题的。使用像素损失度量多对多问题，最终会导致预测结构就像是多个高清图像的一个平均效果，会使得所得图像很模糊，不符合真实高清图像的分布，而 GAN 可以将其拉向真实高清图像的分布。以下是 SRGAN 的主要特点和工作原理：
生成对抗网络（GAN）：SRGAN 基于生成对抗网络，其中包含一个生成器（Generator）和一个判别器（Discriminator）。生成器旨在生成高分辨率的图像，而判别器则试图区分生成的高分辨率图像和真实高分辨率图像。这种对抗性训练促使生成器生成更真实、更逼真的图像。
损失函数：SRGAN 使用对抗损失（Adversarial Loss）作为优化目标，使生成器生成的图像在外观上难以与真实图像区分。此外，为了确保生成的图像在结构上更加保真，SRGAN 引入了感知损失（Perceptual Loss），使用预训练的深度网络（如 VGG 网络）来比较生成图像和真实图像之间的特征表示。
3.4 深层网络结构优化阶段
图11 SAN 网络结构
图12 SwinIR 网络结构
RDN 等超分算法属于第四阶段的图像超分辨率算法，主要集中在对超分架构对深层做优化。在第四阶段超分的时期，是注意力机制，Transformer 等网络组件被提出的时期，于是超分研究者们自然而然等把一些新的网络组件引入了深层网络的设计中，除了 RDN，还有 RDN，WDSR，RCAN，SwinIR，IGNN 等等算法，均是对深层结构进行优化和改进，本文不再赘述，感兴趣的读者可自行查阅相关资料。
盲图像超分辨率主要分为显示建模（Explicit Modelling）和隐式建模（Implicit Modelling）两类方法。
显式建模方案通常采用经典退化模型，即一种广义的退化方式，如公式所示，这种退化方式要比 bicubic 下采样更复杂：
隐式建模方法和显示建模有较大的差别，它不依赖于任何显式参数，而是利用额外的数据通过数据分布隐式的学习潜在超分模型，现有方法往往采用 GAN 框架探索数据分布
Real ESRGAN 提出了一个高阶退化过程来模拟实际退化，使用纯合成数据训练的Real-ESRGAN 能够还原大多数真实世界的图像，并实现比以往作品更好的视觉表现，使其在实际应用中更具实用性。采用上述经典退化模型合成训练对时，训练后的模型确实可以处理一些真实样本。论文中提出，采用插值、模糊等固定流程退化方式时候，它仍然无法解决现实世界中一些复杂的劣化问题，尤其是未知的噪声和复杂的伪影，这是因为合成的低分辨率图像与逼真的退化图像仍然有很大的差距。因此，论文中将经典的退化模型扩展到高阶退化过程，以模拟更实际的退化。
图14 PDM-SR 中的退化过程
本文作者将退化函数作为随机变量进行研究，并将其分布建模为模糊核和随机噪的联合分布。所提出的概率退化模型 (PDM) 可以更好地将退化作用与图像内容解耦。与之前的退化模型相比，PDM 可以生成具有更大退化多样性的 HR-LR 训练样本，这可以生成更多种类的退化作用，并有助于提高 SR 模型在测试图像上的性能。此外，PDM 提供了一个灵活的退化作用，可以根据不同的实际情况进行调整。
图14 PDM-SR 的训练方式
4 超分辨率思想与抠图任务结合
因此，深入了解和应用图像超分辨率重建是重要的，通过本文的介绍，希望帮助读者将能够建立起对这一技术的深刻理解，为其在实际工作中的灵活运用提供了坚实的基础。
本文作者
西西弗斯，来自缦图互联网中心算法团队。
--------END--------
也许你还想看