RAW域噪声模型

噪声模型资料整理主要来源于论文:

2018 Practical Deep Raw Image Denoising on Mobile Devices

Sensor 光电转换 pipeline

ISO-dependent noise model of camera sensor

1. 光电转换

Quantum efficiency： 量子效率 α：在光电过程中释放的光电子数与吸收的辐射量子数之比，即光电转换效率

Ø 散粒噪声(Shot Noise)： 光子是离散的，在单个CMOS传感器的感应面积上，到达的光子数相比于期望值会有随机的涨落，由此产生的噪声，称为散粒噪声。(泊松噪声)

比如光比较弱， 那么某个极短时间，击落到sensor上的概率p就比较小，如果光比较强，则p就比较大。 某个时间内比如等于n个极短时间，就是np=λ的概率， 符合泊松概率分布

$$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!}$$ $$X\sim Possion (\lambda)$$

1. 模拟放大

Dark noise： 暗噪声 nd， 服从高斯分布（零和噪声）

Ø 暗噪声(Dark Noise)：由暗电流产生的噪声，称为暗噪声。

$$n_d=\mathcal{N}(0,\sigma _d^2)$$

Analog gain：模拟增益 g

1. 模数转换ADC

Read and quantization noise： 读出和量化噪声 nr，服从高斯分布（零和噪声）

读出噪声(Read Noise)：读出电路得到DN值(digital number)的过程中，一些电路固有的因素，如器件中的电子的热运动等，会造成结果的不精确。该过程产生的误差称为读出噪声(高斯分布)

$$n_r=\mathcal{N}(0,\sigma _r^2)$$

噪声模型

读出噪声来自于传感器读出电路，由读出电路及像素内部的放大器决定，满足高斯分布。高斯噪声的主要影响因素是温度，因为温度会影响电子电路的期间参数。由于高斯噪声与图像亮度无关，因此，同样是在低亮度下，信噪比相对更低，高斯噪声更加突出。读出电路读出口速度越快，读出噪声越大。读出噪声低能够提高图像的动态范围，提高图像的对比度。在弱光高速成像中，低读出噪声对检测非常微弱的信号至关重要。

从光子到数字化亮度图，每一个转换阶段都会引入噪声(红色标记)。对于一个线性的camera model（即和光亮成正比的sensor），每一个像素点，sensor的conversion 是线性放大的（这是测量朴素约束的），即：

$$x=gαu$$

u是击中pixel area的光子数，模拟增益 g，x是sensor读出值,假定在每一步有引入随机加性噪声：

$$x=g（αu+n_d）+n_r=gαu+gn_d+n_r$$

gn_d+n_r 构成了零和高斯噪声 :

$$\mathcal{N}(0,g^2\sigma^d_d+\sigma_r^2)$$

这里的u是一个随机变量，由于到达传感器的光子数目是具有一定随机性的，这一变量服从于泊松分布。 假定一个光子击中传感器的概率是p，那么这是一个n次伯努利实验. 传感器很小，因此p足够小，光子由足够多，因此n足够大。 因此u服从泊松分布。 泊松分布公式

$$P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!}$$

由于泊松分布的 期望E 和方差D 都是 λ, 假设u是该时间内接受到的期望光子数λ(λ=u), 于是可以写为:

$$u \sim \mathcal{P}(u*)$$

由 x=gαu 得 u=x/gα . 于是 有: x*是读出值的期望

$$x \sim \mathcal{P}(\frac{x^*}{g\alpha})$$

最后我们可以得到传感器读出得x得噪声模型(随机模型):

$$x\sim(g\alpha)\mathcal{P}(\frac{x^*}{g\alpha})+\mathcal{N}(0,g^2\sigma^d_d+\sigma_r^2)$$

这就是泊松高斯噪声模型,为简化公式 令 k=gα,那么有 x=ku，还有:

$$x\sim k\mathcal{P}(\frac{x^*}{k})+\mathcal{N}(0,\sigma^2)$$

接下来就来估计 这个读出x 的期望E和方差D, 已知 可求：

$$E(x)=x^* \frac{k}{k}+0=x^*$$

根据方差性质

D（x）公式表示,在某一个特定 ISO ,特定曝光,特定器件下, 噪声和像素值具有线性关系:

这里的方差就是读出变量的随机性,即噪声, 可以看到这是一个乘性和加性的噪声

1. 若变量, 那么
2. 若变量,那么 aX 并不服从泊松分布,即不满足,因为它的期望是 ,方差是 ,很明显不符合泊松分布,但是满足

再看,这里的$u=x/k$,即平均光子数. 根据 泊松与高斯分布的近似条件

假若光子数>20,可以近似为正态分布

$$\begin{aligned} x & \sim(g\alpha)\mathcal{P}(\frac{x^\star}{g\alpha})+\mathcal{N}(0,g^2\sigma^d_d+\sigma_r^2)\\\\ &\sim\mathcal{N}(x^\star,g\alpha x^\star)+\mathcal{N}(0,g^2\sigma^d_d+\sigma_r^2) \\\\ &\sim\mathcal{N}(x^\star,g\alpha x^\star+g^2\sigma^d_d+\sigma_r^2) \end{aligned}$$

. 目前没有找到手机sensor的说明书里一倍gain下1DN对应的光子数需要多少,参考下面这个材料,大约是10个光子,2DN是20个, 也约摸可以这样近似

噪声模型的影响因素

iso和gain值相关, gain/256*50=iso, 即增益越大.k越大,噪声越大

因此通常选择用一个低iso的图像作为一个比较好的GT（此时噪声比较小）

当训练一个去噪网络时需要考虑不同的噪声模型,即覆盖不同范围的ISO

去噪的核心是噪声细节平衡，如果用高ISO的数据训练，低ISO推理，细节可能都抹没了；所以要分多个ISO段，分开来训练。一个模型无法覆盖所有ISO段，所以分段处理

如何检测噪声:

一次拍下同一个场景多张图片,

将多张图片平均，可以认为是这个是这个点的期望值x*, 即真值， 就可以作为上面的横坐标轴

每个横坐标点的E(x) 的单图原始数据打到y坐标，构成了图b

每个E(x)点的 多个散点的的方差，就是前面的

对这个 Ex ~ Varx 曲线拟合, 求得 K和B，就可以得到 特定曝光,特定器件下, 噪声和像素值具有线性公式

性质

1. 随着iso增大, 斜率k 和截距b都会增加, k和iso的线性关系更好,截距b类似幂/指数关系
2. 数据量越多,得到的结果越平滑,即多帧的统计结果更平滑,其中单帧和多帧计算斜率k差距不大,而单帧和多帧计算b差别较大
3. 考虑到像素值过大,可能器件的线性能力会变差. 因此只截取极暗区域进行拟合,斜率k于iso的线性关系会更强,截距与iso的关系也会更平衡

K 和B随ISO的拟合关系:

1. K为三阶拟合: K(ISO)=
2. B为二阶拟合: B(ISO)=

Question:

1. RGGB 不同通道的 标定参数不是不一样吗?
2. HCG LCG 的iso k b参数一样吗?
3. 曝光值影响iso曲线吗