使用深度学习增加图像分辨率 -凯发k8网页登录

vdsr 网络

vdsr 是一种用于执行单图像超分辨率 [] 的卷积神经网络架构。vdsr 网络学习低分辨率图像和高分辨率图像之间的映射。这种映射是有可能获得的，因为低分辨率和高分辨率图像具有相似的图像成分，主要区别在于高频细节。

vdsr 采用一种残差学习策略，这意味着网络会学习估计残差图像。在超分辨率中，残差图像是高分辨率参考图像和低分辨率图像之间的差异，低分辨率图像已使用双三次插值扩增以匹配参考图像的大小。残差图像包含关于图像高频细节的信息。

vdsr 网络基于彩色图像的亮度检测残差图像。图像的亮度通道 y 使用红色、绿色和蓝色像素值的线性组合来表示每个像素的亮度。另一方面，图像的两个色度通道 cb 和 cr 使用红色、绿色和蓝色像素值的其他线性组合来表示色差信息。vdsr 仅使用亮度通道进行训练，因为人类对亮度变化的感知比对颜色变化更敏感。

如果 yhighres 是高分辨率图像的亮度，ylowres 是使用双三次插值扩增的低分辨率图像的亮度，则 vdsr 网络的输入是 ylowres，网络学习基于训练数据预测 yresidual=yhighres-ylowres。

在 vdsr 网络学习估计残差图像后，您可以将估计的残差图像添加到上采样的低分辨率图像中，然后将图像转换回 rgb 颜色空间，从而重构高分辨率图像。

参考图像大小与低分辨率图像大小的关系可通过缩放因子来表示。随着缩放因子的增大，sisr 变得更加不适定，因为低分辨率图像会丢失有关高频图像成分的更多信息。vdsr 通过使用大感受野来解决此问题。此示例通过缩放增强来训练多缩放因子 vdsr 网络。缩放增强可以改进在较大缩放因子下的结果，因为网络可以利用较小缩放因子下的图像上下文。此外，vdsr 网络可以泛化至接受具有非整数缩放因子的图像。

下载训练和测试数据

下载包含 20,000 个静态自然图像的 iapr tc-12 benchmark []。该数据集包括人、动物、城市等的照片。数据文件的大小约为 1.8 gb。如果您不想下载训练数据集，则可以通过在命令行中键入 load("trainedvdsrnet.mat"); 来加载预训练的 vdsr 网络。然后，直接转至本示例中的部分。

使用辅助函数 downloadiaprtc12data 下载数据。此函数作为支持文件包含在本示例中。指定 datadir 作为数据的存放位置。

datadir = tempdir;
downloadiaprtc12data(datadir);

此示例将使用 iapr tc-12 benchmark 数据的一个小型子集来训练网络。加载 imageclef 训练数据。所有图像均为 32 位 jpeg 彩色图像。

trainimagesdir = fullfile(datadir,"iaprtc12","images","02");
exts = [".jpg",".bmp",".png"];
pristineimages = imagedatastore(trainimagesdir,fileextensions=exts);

列出训练图像的数量。

numel(pristineimages.files)

ans = 616

准备训练数据

要创建训练数据集，请生成由上采样图像和对应残差图像组成的图像对。

上采样图像以 mat 文件形式存储在磁盘的 upsampleddirname 目录中。计算出的表示网络响应的残差图像以 mat 文件形式存储在磁盘的 residualdirname 目录中。这些 mat 文件以 double 数据类型存储，以在训练网络时实现更高的精度。

upsampleddirname = trainimagesdir filesep "upsampledimages";
residualdirname = trainimagesdir filesep "residualimages";

使用辅助函数 createvdsrtrainingset 预处理训练数据。此函数作为支持文件包含在本示例中。

该辅助函数对 trainimages 中的每个原始图像执行以下操作：

scalefactors = [2 3 4];
createvdsrtrainingset(pristineimages,scalefactors,upsampleddirname,residualdirname);

定义训练集的预处理流程

在本示例中，网络输入是使用双三次插值进行上采样后的低分辨率图像。所需的网络响应是残差图像。从输入图像文件集合中创建名为 upsampledimages 的图像数据存储。从计算的残差图像文件集合中创建名为 residualimages 的图像数据存储。两个数据存储都需要使用辅助函数 matread 从图像文件中读取图像数据。此函数作为支持文件包含在本示例中。

upsampledimages = imagedatastore(upsampleddirname,fileextensions=".mat",readfcn=@matread);
residualimages = imagedatastore(residualdirname,fileextensions=".mat",readfcn=@matread);

创建指定数据增强参数的 。在训练期间使用数据增强来更改训练数据，这可以有效地增加可用的训练数据量。此处，增强器指定 90 度的随机旋转和 x 方向上的随机翻转。

augmenter = imagedataaugmenter( ...
    randrotatio=@()randi([0,1],1)*90, ...
    randxreflection=true);

创建一个 (image processing toolbox) 以根据上采样图像和残差图像数据存储执行随机补片提取。补片提取是从单个较大图像中提取大量小图像补片或图块的过程。这种类型的数据增强经常用于图像到图像回归问题，其中许多网络架构可以基于非常小的输入图像大小进行训练。这意味着可以从原始训练集中的每个全大小图像中提取大量补片，这极大地增加了训练集的大小。

patchsize = [41 41];
patchesperimage = 64;
dstrain = randompatchextractiondatastore(upsampledimages,residualimages,patchsize, ...
    dataaugmentation=augmenter,patchesperimage=patchesperimage);

生成的数据存储 dstrain 在一轮训练的每次迭代中向网络提供小批量数据。预览从数据存储中读取的结果。

inputbatch = preview(dstrain);
disp(inputbatch)

      inputimage      responseimage 
    ______________    ______________
    {41×41 double}    {41×41 double}
    {41×41 double}    {41×41 double}
    {41×41 double}    {41×41 double}
    {41×41 double}    {41×41 double}
    {41×41 double}    {41×41 double}
    {41×41 double}    {41×41 double}
    {41×41 double}    {41×41 double}
    {41×41 double}    {41×41 double}

设置 vdsr 层

此示例使用 deep learning toolbox™ 中的 41 个单独层定义 vdsr 网络，这些层包括：

第一个层，即 imageinputlayer，对图像补片进行操作。补片大小基于网络感受野，它是一个空间图像区域，影响网络中最顶层的响应。理想情况下，网络感受野与图像大小相同，这样感受野可以看到图像中的所有高级特征。在这种情况下，对于具有 d 个卷积层的网络，感受野是 (2d 1)×(2d 1)。

vdsr 有 20 个卷积层，因此感受野和图像补片大小为 41×41。图像输入层接受具有一个通道的图像，因为仅使用亮度通道训练 vdsr。

networkdepth = 20;
firstlayer = imageinputlayer([41 41 1],name="inputlayer",normalization="none");

图像输入层后跟一个二维卷积层，其中包含 64 个大小为 3×3 的滤波器。小批量大小决定滤波器的数量。对每个卷积层的输入填零，使特征图与每次卷积后的输入始终大小相同。he 的方法 [] 将权重初始化为随机值，以在神经元学习中引入不对称性。每个卷积层后跟一个 relu 层，该层在网络中引入非线性。

convlayer = convolution2dlayer(3,64,padding=1, ...
    weightsinitializer="he",biasinitializer="zeros",name="conv1");

指定一个 relu 层。

rellayer = relulayer(name="relu1");

中间各层包含 18 个交替的卷积层和修正线性单元层。每个卷积层包含 64 个大小为 3×3×64 的滤波器，每个滤波器对 64 个通道中的 3×3 空间区域进行操作。如前所述，每个卷积层都后跟一个 relu 层。

middlelayers = [convlayer rellayer];
for layernumber = 2:networkdepth-1
    convlayer = convolution2dlayer(3,64,padding=[1 1], ...
        weightsinitializer="he",biasinitializer="zeros", ...
        name="conv" num2str(layernumber));
    
    rellayer = relulayer(name="relu" num2str(layernumber));
    middlelayers = [middlelayers convlayer rellayer];    
end

倒数第二个层是一个卷积层，该层具有一个大小为 3×3×64 的滤波器，用于重构图像。

convlayer = convolution2dlayer(3,1,padding=[1 1], ...
    weightsinitializer="he",biasinitializer="zeros", ...
    numchannels=64,name="conv" num2str(networkdepth));

最后一层是一个回归层，而不是 relu 层。该回归层计算残差图像和网络预测之间的均方误差。

finallayers = [convlayer regressionlayer(name="finalregressionlayer")];

串联所有层以形成 vdsr 网络。

layers = [firstlayer middlelayers finallayers];

指定训练选项

使用具有动量的随机梯度下降 (sgdm) 优化来训练网络。使用 函数指定 sgdm 的超参数设置。学习率最初为 0.1，每 10 轮降低为原来的十分之一。进行 100 轮训练。

训练深度网络是很费时间的。通过指定高学习率可加快训练速度。然而，这可能会导致网络的梯度爆炸或不受控制地增长，阻碍网络训练成功。要将梯度保持在有意义的范围内，请通过将 gradientthreshold" 指定为 0.01 来启用梯度裁剪，并指定 "gradientthresholdmethod" 以使用梯度的 l2-范数。

maxepochs = 100;
epochintervals = 1;
initlearningrate = 0.1;
learningratefactor = 0.1;
l2reg = 0.0001;
minibatchsize = 64;
options = trainingoptions("sgdm", ...
    momentum=0.9, ...
    initiallearnrate=initlearningrate, ...
    learnrateschedule="piecewise", ...
    learnratedropperiod=10, ...
    learnratedropfactor=learningratefactor, ...
    l2regularization=l2reg, ...
    maxepochs=maxepochs, ...
    minibatchsize=minibatchsize, ...
    gradientthresholdmethod="l2norm", ...
    gradientthreshold=0.01, ...
    plots="training-progress", ...
    verbose=false);

训练网络

默认情况下，该示例加载 vdsr 网络的一个预训练版本，该版本已对超分辨率图像进行缩放因子为 2、3 和 4 的训练。借助预训练网络，您无需等待训练完成，即可执行测试图像的超分辨率处理。

要训练 vdsr 网络，请将以下代码中的 dotraining 变量设置为 true。使用 函数训练网络。

在 gpu 上（如果有）进行训练。使用 gpu 需要 parallel computing toolbox™ 和支持 cuda® 的 nvidia® gpu。有关详细信息，请参阅gpu computing requirements (parallel computing toolbox)。在 nvidia titan x 上训练大约需要 6 个小时。

dotraining = false;
if dotraining
    net = trainnetwork(dstrain,layers,options);
    modeldatetime = string(datetime("now",format="yyyy-mm-dd-hh-mm-ss"));
    save("trainedvdsr-" modeldatetime ".mat","net");
else
    load("trainedvdsrnet.mat");
end

使用 vdsr 网络执行单图像超分辨率

要使用 vdsr 网络执行单图像超分辨率 (sisr)，请按照此示例的后续步骤进行操作：

创建示例低分辨率图像

测试数据集 testimages 包含 image processing toolbox™ 中提供的 20 个未失真图像。将图像加载到 imagedatastore 中，并以蒙太奇方式显示图像。

filenames = ["sherlock.jpg","peacock.jpg","fabric.png","greens.jpg", ...
    "hands1.jpg","kobi.png","lighthouse.png","office_4.jpg", ...
    "onion.png","pears.png","yellowlily.jpg","indiancorn.jpg", ...
    "flamingos.jpg","sevilla.jpg","llama.jpg","parkavenue.jpg", ...
    "strawberries.jpg","trailer.jpg","wagon.jpg","football.jpg"];
filepath = fullfile(matlabroot,"toolbox","images","imdata") filesep;
filepathnames = strcat(filepath,filenames);
testimages = imagedatastore(filepathnames);

将测试图像显示为蒙太奇。

montage(testimages)

选择一个测试图像用于测试超分辨率网络。

testimage = "sherlock.jpg";
ireference = imread(testimage);
ireference = im2double(ireference);
imshow(ireference)
title("high-resolution reference image")

使用 和缩放因子 0.25 创建高分辨率参考图像的一个低分辨率版本。图像的高频分量在缩减分辨率过程中丢失。

scalefactor = 0.25;
ilowres = imresize(ireference,scalefactor,"bicubic");
imshow(ilowres)
title("low-resolution image")

使用双三次插值提高图像分辨率

要提高图像分辨率，一种不借助于深度学习的标准方法是双三次插值。使用双三次插值扩增低分辨率图像，使所得高分辨率图像与参考图像大小相同。

[nrows,ncols,np] = size(ireference);
ibicubic = imresize(ilowres,[nrows ncols],"bicubic");
imshow(ibicubic)
title("high-resolution image obtained using bicubic interpolation")

使用预训练的 vdsr 网络提高图像分辨率

如前文所述，vdsr 只使用图像的亮度通道进行训练，因为人类对亮度变化的感知比对颜色变化更敏感。

使用 (image processing toolbox) 函数将低分辨率图像从 rgb 颜色空间转换为亮度 (iy) 和色度（icb 和 icr）通道。

iycbcr = rgb2ycbcr(ilowres);
iy = iycbcr(:,:,1);
icb = iycbcr(:,:,2);
icr = iycbcr(:,:,3);

使用双三次插值扩增亮度通道和两个色度通道。上采样的色度通道 icb_bicubic 和 icr_bicubic 不需要进一步处理。

iy_bicubic = imresize(iy,[nrows ncols],"bicubic");
icb_bicubic = imresize(icb,[nrows ncols],"bicubic");
icr_bicubic = imresize(icr,[nrows ncols],"bicubic");

对扩增的亮度分量 iy_bicubic 应用经过训练的 vdsr 网络。观察来自最终层（回归层）的。网络的输出是所需的残差图像。

iresidual = activations(net,iy_bicubic,41);
iresidual = double(iresidual);
imshow(iresidual,[])
title("residual image from vdsr")

将残差图像与扩增的亮度分量相加，得到高分辨率 vdsr 亮度分量。

isr = iy_bicubic   iresidual;

将高分辨率 vdsr 亮度分量与扩增的颜色分量串联起来。使用 (image processing toolbox) 函数将图像转换为 rgb 颜色空间。结果为使用 vdsr 得到的最终高分辨率彩色图像。

ivdsr = ycbcr2rgb(cat(3,isr,icb_bicubic,icr_bicubic));
imshow(ivdsr)
title("high-resolution image obtained using vdsr")

可视化和定量比较

为了在视觉上更好地理解高分辨率图像，请检查每个图像中的一个小区域。使用向量 roi 指定感兴趣的区域 (roi)，格式为 [x y 宽度 高度]。其中的元素定义 roi 左上角的 x 坐标和 y 坐标，以及它的宽度和高度。

roi = [360 50 400 350];

将高分辨率图像裁剪到该 roi，并将结果显示为蒙太奇。与使用双三次插值创建的高分辨率图像相比，vdsr 图像具有更清晰的细节和更锐利的边缘。

montage({imcrop(ibicubic,roi),imcrop(ivdsr,roi)})
title("high-resolution results using bicubic interpolation (left) vs. vdsr (right)");

使用图像质量指标来定量比较使用双三次插值的高分辨率图像和 vdsr 图像。参考图像是准备低分辨率图像示例时所用的原始高分辨率图像 ireference。

对照参考图像测量每个图像的峰值信噪比 (psnr)。psnr 值越大，通常表示图像质量越好。有关该指标的详细信息，请参阅 (image processing toolbox)。

bicubicpsnr = psnr(ibicubic,ireference)

bicubicpsnr = 38.4747

vdsrpsnr = psnr(ivdsr,ireference)

vdsrpsnr = 39.2346

测量每个图像的结构相似性指数 (ssim)。ssim 对照参考图像评估图像三个特性的视觉效果：亮度、对比度和结构。ssim 值越接近 1，测试图像与参考图像越一致。有关该指标的详细信息，请参阅 (image processing toolbox)。

bicubicssim = ssim(ibicubic,ireference)

bicubicssim = 0.9861

vdsrssim = ssim(ivdsr,ireference)

vdsrssim = 0.9874

使用自然图像质量评价方法 (niqe) 测量图像感知质量。niqe 分数越小，表示感知质量越好。有关该指标的详细信息，请参阅 (image processing toolbox)。

bicubicniqe = niqe(ibicubic)

bicubicniqe = 5.1721

vdsrniqe = niqe(ivdsr)

vdsrniqe = 4.7612

分别计算缩放因子为 2、3 和 4 时整个测试图像集的平均 psnr 和 ssim。为简单起见，您可以使用辅助函数 vdsrmetrics 来计算平均指标。此函数作为支持文件包含在本示例中。

scalefactors = [2 3 4];
vdsrmetrics(net,testimages,scalefactors);

results for scale factor 2
average psnr for bicubic = 31.467070
average psnr for vdsr = 31.481973
average ssim for bicubic = 0.935820
average ssim for vdsr = 0.947057
results for scale factor 3
average psnr for bicubic = 28.107057
average psnr for vdsr = 28.430546
average ssim for bicubic = 0.883927
average ssim for vdsr = 0.894634
results for scale factor 4
average psnr for bicubic = 27.066129
average psnr for vdsr = 27.846590
average ssim for bicubic = 0.863270
average ssim for vdsr = 0.878101

对于每个缩放因子，vdsr 都具有比双三次插值更好的指标分数。

参考资料

[1] kim, j., j. k. lee, and k. m. lee."accurate image super-resolution using very deep convolutional networks."proceedings of the ieee® conference on computer vision and pattern recognition.2016, pp. 1646-1654.

[2] grubinger, m., p. clough, h. müller, and t. deselaers."the iapr tc-12 benchmark:a new evaluation resource for visual information systems."proceedings of the ontoimage 2006 language resources for content-based image retrieval.genoa, italy.vol. 5, may 2006, p. 10.

[3] he, k., x. zhang, s. ren, and j. sun."delving deep into rectifiers:surpassing human-level performance on imagenet classification."proceedings of the ieee international conference on computer vision, 2015, pp. 1026-1034.