Unity3d 游戏中的实时降噪-对Square Enix文档的研究与实现

看到SE的技术文档关于降噪的决定研究一下，
本次试验场景：


文章中提到了3中主要滤波方法，最后一种方法又有三种方式
分别为Conventional geometry-aware filtering，Distribution-Aware Filtering，Specular Lobe-Aware Filtering and Upsampling
根据公式做了一些，自己弄得除噪方法不知道是否正确，虽然有效果=  =；

博主的步骤：
1.    找出噪波（包括噪波与贴图上的细节）
2.    算出specular，diffuse的干扰
3.    此处方法众多：a.用别的像素代替噪波b.周围采样求平均值（会造成模糊）。。。。

Conventional geometry-aware filtering

基于最基本的高斯滤波，

此方法需要计算深度depth和normal，可通过获取_CameraDepthTexture和_CameraNormalsTexture获取，详细请点


W相当于对过滤正确性的判断，因为物体的边缘可能被当做噪波误判，产生边缘粗糙或者模糊

W权重公式
 
 

float wk = Gaussian(GetDepth(i_) - GetDepth(j), _Sigma_z);

Si是像素i中屏幕空间点的位置
G为高斯函数

 

σ是高斯分布的标准差

		inline	float Gaussian(float x, float y)
		{
			return _A * exp(-(((pow((x - _X0), 2)) / (2 * _Sigma_x *_Sigma_x)) +
				((pow((y - _Y0), 2)) / (2 * _Sigma_y *_Sigma_y))));

		}

算出w结果图
 

边缘清晰可见，因为是通过depth和normal判断的，所以没有噪波，也包括了diffuse等的细节，通过w我们可以减少对边缘的降噪

然后采样对灰度进行比较，如果当前点与采样点相差过多则为噪波，采样点数越多越准确，但是也有限度

通过上图可明显发现w起的作用

结果如下（图片可点击放大查看）

放大结果

Distribution-Aware Filtering

对噪波进行判断并锐化，便于识别出噪波

 
 
t2为自定义参数
Ci为光滑分布

b函数为任意smoothing kernel
比如：
高斯滤波Gaussian filtering
各向异性滤波anisotropic filtering
总变分最小化Total Variation minimization
相邻滤波neighborhood filtering
NL-means algorithm
等等
这里博主使用高斯滤波





W结果如下
 
上图的结果没有开noise，但是这种方法的w是包含噪波的，所以不能用w来判断cut off，
此处的w是其第一种作用，也就是判断噪波，但是这种方法的输入参数β，可以调节对高光部分和阴影部分的过滤程度（可以看到在图中参数下specular处是全黑的，此时高光处时不会过滤的，采样点之间的差别为0），所以这种方法不需要cut off

结果如下

比之前方法的图片细节（见lena）保真度高，高光等细节损失几乎为0


SE文档中实现结果
 

Specular Lobe-Aware Filtering and Upsampling

对过滤的正确性判断加强，加上对高光的判断，免去对高光高亮处边缘的误判

 

	float ai = v * max(dot(N, lightDir), 0);

W的结果如下
 
加入了对高光与暗部细节部分的判断，使得高光部分降噪效果良好



三种方法中效果最好的方法


结果如下

SE文档中实现结果

   

三种方法效果比对

 

 代码已上传至github

                                                ------ by wolf96