NIQE

引言

随着多媒体内容在互联网上不断增多，传输在感知上具有高质量的图像需求也随之增长。即在保证图像质量没有明显损失的前提下，快速传输内容。而在大多数情况下，人们通常是没有途径获取原始无损的图像的，而仅仅是对接收到的当个图形进行评价，这种情况下就是我们通常所说的无参评估。

关于NR-IQA的方法，可以分为以下几类：

  • 按提取的信息类型分

    1. 基于distortion评估

    2. 基于subjective/objective score 评估

  • 按是否需要训练分

    1. 需要带有label的训练集
      1. 端到端训练
      2. 提特征+分类/回归器
    2. 基于无损数据集的统计信息，具有一定解释性
    3. 全基于理论，对数据集的依赖小，具有较强可解释性

一些IQA算法

algorithm author type year
BIQI moorthy wavelet coefficients
DIIVINE Moorthy 88 features，time-consuming
BLIINDS-II Saad
BRISQUE Mittal NSS，mscn
pLSA Mittal learned features
extracted from pristine and distorted patches
NIQE Mittal
QAC Xue learns a set
of quality-aware centroids from pristine and distorted imagery
BLISS synthetic scores
instead of using human opinion scores
PIQE Venkatanath

原理概要

在这篇方法中，文章提出了一个不需要统计信息，而是测试图形中的distortion总量的方法，采用分patches计算

  • OU意见不感知型 +DU失真不感知 : quantify distortion without the need for any training data

Our method is inspired from the following two principles about how humans perceive image quality.

Firstly, humans visual attention is highly directed towards salient points in an image or spatially active regions. ——人感知纹理区

Secondly, local quality at block/patch level adds up to the overall quality of an image as perceived by humans. —— 局部质量加起来就是人类感知到的图像的整体质量

In our approach,

  1. the first principle is addressed by estimating distortion only on regions of spatial prominence ——计算distortion

  2. the second, by computing distortion levels at the local block level of size n × n, where n = 16. Working at the block level would enable us to exploit the local characteristics that account for overall perceptual quality of an image.—— 分patches计算

计算流程

区分 平坦区（uniform U）/纹理区

根据MSN coefficient 的方差 区分 平坦区（uniform U）/纹理区（non-uniform/spatially activate SA）

vk为MSCN的方差，MSCN先归一化到0-1，vk是归一化后的block内的MSCN均值，

阈值TU定为10%，0.1以上是纹理区与，后续只对纹理区处理

B表示Block，每个block 的size为nn，在文章里n取16，即1616

区块水平的失真分析

Block Level Distortion Estimation

two types of distortion criteria,：

  1. noticeable distortion criterion NDC
  2. additive white noise criterion WNC

noticeable distortion criterion NDC

一个block 有四条边 edge，每个edge 有16 pixels： L1 、L2、L3、L4

一条edge 分成若干华东连续的segment ， 每个segment 为6pixels， 因此每个edge有11条segments ：

q ∈ 1,2,3,...,11 ，代表11个seg

p ∈1,2,3,4，代表四条边之一