重磅干货，第一时间送达

转载于 ：知乎：MrZH，已获授权

IW-SSIM [4] 是MS-SSIM方法的进一步扩展，它引入了空间变化的权重。具体实现方式感兴趣的读者可以前往链接观看，在此不做赘述。

4. 全景视频/图片质量评估方式

基于逐点计算的PSNR并不符合人眼对亮度信息敏感而对色度信息迟钝的特性；同时人眼对一幅图像的观看重点往往落于视觉中心。因此传统的PSNR评价结果与人的主观感觉不一致。正如再上一篇简述中介绍的，常见的全景视频/图片的保存格式是ERP格式，尽管传统的图像质量评估方式能够直接应用在该格式的平面图像上，但是评价效果往往不尽如人意。一个最直接的问题就是，两极区域的像素“何德何能”与赤道区域的像素享有相同的评价中权重？在观看过程中人眼看到的实际上是投影到球面上的部分区域（有FOV限制），在ERP格式上对图像质量进行评价是否有失偏颇？

4.1 360Lib&针对全景视频/图片提出的新型质量评估标准

研究者们注意到了这些问题，并提出了多种方案来处理全景图像与传统图像在质量评价上的不同。360Lib [5] 是JVET小组设计并面向使用者公开的全景视频研究平台，主要关注投影方案的评价标准。在360Lib平台中的搭建中JVET小组采纳了一些学者提出的新型评价标准作为全景视频的客观质量评估标准，并实现了内置。它们包括WS-PSNR、S-PSNR、CPP-PSNR等。

360Lib中的全景视频评估系统框架

360Lib框架中新增的多种评价标准使用情况各不相同不同，同一种标准也可以在不同的情况下使用。评价对象的选取方式分为四种，分别为仅编码分析、跨格式分析、端对端分析和传统分析。

仅编码分析对应框架中间部分，用于分析格式转换后编码前的图像与经过编码解码后的图像之间的失真，用来评价投影方式对编解码失真度适应性。

跨格式分析在不同投影格式的图片之间进行分析，通过球面全景作为中间步骤链接，能反映出投影方式与球面投影之间均匀性关系。

端对端分析是在跨格式的基础上，再升采样并重构出ERP格式后进行失真比较的方式，在系统框架图中跨度最长，能综合反映投影好坏。

360Lib评价标准框架全面考虑各种情形，针对性地发现各种投影方案的优缺点。

其中和分别为参考图像和测试图像点的像素值，为权重。权重值对于不同的投影方式有不同的选取。常见的ERP和CMP格式的投影权重的计算公式和示意图如下所示，亮度越高代表权重越大。

ERP与CMP格式的权重分布示意图，颜色越浅权重越大

WS-PSNR通过在平面图像上引入权重值来计算图像质量，遵循了人眼的观看习惯，客观性高；完全平面操作使其与现有视频编码框架兼容性好，复杂度低；图像中的每一个点都参计算，准确性高。它的缺点是无法进行跨投影格式的评估，因为参考图像和测试图像必须是相同投影类型，否则不同格式的权重值无法客观比较。

S-PSNR（Spherical PSNR）[7] 使用球面上一系列预先确定位置的点来对参考图像和测试图像进行采样，比较它们两两之间的差值，累加得到整幅图像的S-PSNR值。

S-PSNR的计算过程示意如下所示。对于球上的点s，分别找到参考序列和测试序列上相应位置的点（在360Lib中非整数位置用距离其最近的整数位置像素代替，而不使用差值，因此360Lib中的S-PSNR也写作S-PSNR-NN），然后计算两者之间像素值之差。对文件预先确定的点遍历，累加差值，最终得到S-PSNR。

S-PSNR计算过程示意图

S-PSNR的优点是能进行跨格式评估，同时不要求参考序列与测试序列图像分辨率相同，提高了灵活性。与WS-PSNR不同，S-PSNR用到了立体坐标计算，对于特定的全景图片来说，可以指定采样点的位置，对人眼更关注信息位置进行更密集的计算，以更贴近人眼的实际观看效果。

S-PSNR的不足是对于高分辨率图片来说，像素利用率低。在360Lib中使用的采样点位置信息文件中包含655362个点，以4K视频为例（72800个像素），实际上仅有8.9%的像素参与失真计算，这对于其真实性是不利的。

克拉斯特抛物线投影（Craster’s Parabolic Projection，CPP）[8] 是一种在地图学上常用的伪圆柱等面积投影方式，投影示意如图所示。CPP投影在相同空间分辨率下形状失真优于ERP投影，因为ERP两极区域像素被无限拉伸而引入数据冗余，而CPP对其进行了改进。

全景视频从球坐标到CPP投影坐标的变换公式为：

全景视频从CPP投影坐标到球坐标的逆变换公式为：

CPP格式的投影效果示意图。其与ERP最直观的区别在于对纬度的处理上，CPP并没有选择使画面完全填充矩形，保留了球面视频再不同纬度区域像素信息不同的特点

360Lib中CPP-PSNR计算过程为，将输入序列从ERP格式转换成CPP格式，再由CPP变换到其他的投影格式进行编码和后续操作，这样做的优势是免去了对冗余像素的处理过程，提高转换和编码效率。

在进行CPP-PSNR计算时需要对有效区域进行标注，因为CPP投影并没有完全填充矩形区域，原来ERP格式中的冗余像素在CPP格式中即显示为无有效含义像素，就像上图中的矩形角落。对参考序列和测试序列的有效区域进行传统PSNR计算，得到的值即作为CPP-PSNR输出。相对于传统PSNR，CPP-PSNR可以计算不同分辨率和不同投影格式的序列之间的PSNR。

到目前为止，已经有非常多种的图像质量评价标准被提出并应用于各个领域中。但是实际上，各类IQA算法给出的单一数值量化质量指标，还是无法很好地反映图像的综合质量和人眼观看效果。因此IQA评估算法目前只能解决一部分有明确指向的问题，还不能真正客观完备地解决现实生活中复杂和多变的图片信息，这也是研究者们目前仍在持续努力的方向。我们可以看到近些年来更多种的评估指标被不断提出，也有课题组开始尝试使用神经网络来给出图像质量的参考结果，有机会的话之后我们可以再深入地聊聊这方面的一些前沿内容。

下载2：Python视觉实战项目52讲