042 - 文章阅读笔记：ECCV2020 Workshop-PAN-270k参数量SISR网络 | Efficient Image Super-Resolution Using Pixel Attention - CSDN - chenzy_hust

本文最后更新于：3 个月前

原文链接：

ECCV2020 Workshop-PAN-270k参数量SISR网络 | Efficient Image Super-Resolution Using Pixel Attention - CSDN - chenzy_hust

于 2020-10-08 12:21:53

[√] 论文信息

只说了参数量却没有比较速度，此外PA应用在大的网络中会降低性能！
论文地址：https://arxiv.org/pdf/2010.01073.pdf
Github地址：https://github.com/zhaohengyuan1/PAN

在这里插入图片描述

[√] 摘要

在这里插入图片描述

这项工作旨在设计一种用于图像超分辨率（SR）的轻量级卷积神经网络。在不考虑简单性的情况下，我们使用新提出的像素注意力方案构建了一个非常简洁有效的网络。

像素注意力（PA）类似于公式中的通道注意力和空间注意力。不同之处在于，PA生成3D注意力图而不是1D注意力矢量或2D图。该注意力策略引入了较少的附加参数，但生成了更好的SR结果。

在PA的基础上，我们分别为主分支和重建分支提出了两个构造块。第一个-SC-PA块的结构与自校准卷积相同，但具有我们的PA层。由于其双分支架构和注意力方案，该模块块比常规的残差/密集块效率更高。

而第二个-UPA块结合了最近邻上采样，卷积和PA层。它以很少的参数成本提升了最终的重建质量。我们的最终模型PAN可以达到与轻量级网络SRResNet和CARN相似的性能，但是参数只有272K（SRResNet的17.92％和CARN的17.09％）。每个提出组件的有效性也通过消融研究得到验证。

alec：

PA = 像素注意力

自校准卷积

上采样模块将最近邻上采样、卷积、PA层结合，其实就是一个串联（最近邻 + 卷积 + PA + 卷积）

[√] PAN

在这里插入图片描述

主要在main分支提出了SC-PA模块（SC+PA）和重建分支的U-PA块。SC是SCNet中的自校准卷积https://blog.csdn.net/weixin_42096202/article/details/105876498，PA就是H X W X C维度的注意力权重，其他网络早已经提出并使用了。

alec：

PA是H x W x C维度的注意力权重，所以叫像素卷积，注意力落到每个像素上。

SC是SCNet中的自校准卷积。

[√] Pixel Attention Scheme(PA)

在这里插入图片描述

alec：

如上图所示，

图a是通道注意力，先通过全局池化，然后通过全连接，最后通过s型激活函数，得到维度为1x1xc的注意力权重，权重落到每个通道上，所以叫通道注意力。

图b是空间注意力，先通过卷积，然后通过s型激活函数，得到一个hxwx1维度的注意力权重，权重对于每个通道中的相同位置对应的像素都是一样的，所以叫空间注意力。

图c是像素注意力，通过卷积，然后通过s型激活函数，得到一个hxwxc的注意力权重，然后逐像素的乘以原图层，因为注意力是落到每个像素上，所以叫像素注意力。

与通道/空间注意力机制的区别就是：
1.通道注意力生成1x1xC维度的注意力权重
2.空间注意力生成hxwx1维度的注意力权重
3.像素注意力生成hxwxc维度的注意力权重
网络结构也非常简单，就是1x1卷积+sigmoid激活函数。