[科普中國]-均值池化

均值池化（mean-pooling）即對局部接受域中的所有值求均值。

介紹常用的池化方法有最大池化（max-pooling）和均值池化（mean-pooling）。根據(jù)相關(guān)理論，特征提取的誤差主要來自兩個方面：

（1）鄰域大小受限造成的估計值方差增大；

（2）卷積層參數(shù)誤差造成估計均值的偏移。

一般來說，mean-pooling能減小第一種誤差，更多的保留圖像的背景信息，max-pooling能減小第二種誤差，更多的保留紋理信息。與mean-pooling近似，在局部意義上，則服從max-pooling的準則。

例子假設(shè)pooling的窗大小是2x2, 在forward的時候啊，就是在前面卷積完的輸出上依次不重合的取2x2的窗平均，得到一個值就是當(dāng)前mean pooling之后的值。backward的時候，把一個值分成四等分放到前面2x2的格子里面就好了。如下：

forward: [1 3; 2 2] -> [2]；

backward: [2] -> [0.5 0.5; 0.5 0.5].

基于序的平均池化基于序的平均池化的動機是解決平均池化和最大池化容易損失大量有用信息的問題。最大池化將池化域內(nèi)非最大激活值全部舍棄導(dǎo)致了嚴重的信息損失1。同樣地，平均池化取池化域內(nèi)的所有激活值進行平均，高的正的激活值可能和低的負的激活值相互抵消，從而導(dǎo)致判別性信息損失?；谛虻钠骄鼗椒ń鉀Q這個問題通過取前
t 個數(shù)值最大的激活值進行平均。在池化域內(nèi)，這前 t 個激活值的權(quán)重系數(shù)設(shè)為 1/t 其他的激活值的權(quán)重系數(shù)設(shè)為
0。因此，池化的結(jié)果可以通過下面的公式獲得：

t 表示選擇參與池化的激活值的序位閾值。 表示在第 j 個特征圖內(nèi)的池化域，i表示在這個池化域內(nèi)激活值的索引值。 和 分別表示激活值 i 的序位和激活數(shù)值。

t 的取值不應(yīng)太大,也不應(yīng)太小，因為當(dāng) t =1時基于序的平均池化退化為最大池化，當(dāng)t=n 時退化為平均池化.t 的取值應(yīng)該能夠保證基于序的平均池化提供一個好的折中在最大池化和平均池化之間。不同的視覺任務(wù)，t 的取值是不同的，但是經(jīng)驗發(fā)現(xiàn)當(dāng) t 取中值時一般取得滿意的結(jié)果。

基于序的池化方法將低的或者負的激活值排斥在外，僅僅使得具有高響應(yīng)值的激活值參與平均操作。該方法能夠保留重要的信息，而將無用的信息舍棄，有利于深度卷積神經(jīng)網(wǎng)絡(luò)性能的提升。

本詞條內(nèi)容貢獻者為:

李岳陽 - 副教授 - 江南大學(xué)