[科普中國]-主動(dòng)形狀模型

簡介

主動(dòng)形狀模型（ASM）最初由Cootes等人提出的，它在思想上類似于主動(dòng)輪廓模型，即定義一個(gè)能量函數(shù)，通過調(diào)整模型參數(shù)使能量函數(shù)最小化。主動(dòng)形狀模型是一種應(yīng)用廣泛且發(fā)展成熟的人臉特征點(diǎn)定位方法。人臉特征點(diǎn)定位是人臉識(shí)別中的核心問題之一，它指的是在圖像或圖像序列的給定區(qū)域內(nèi)搜索部分或所有人臉特征(如眼、鼻、嘴、耳等)的位置、關(guān)鍵點(diǎn)或輪廓線。在定位圖像中的人臉特征點(diǎn)之前，人臉圖像對(duì)計(jì)算機(jī)而言只是像素值的集合;只有定位特征點(diǎn)之后，計(jì)算機(jī)才能夠進(jìn)一步解釋人臉圖像。實(shí)際上，人臉特征點(diǎn)定位完成了從像素級(jí)別的低層語義向特征級(jí)別的高層語義的轉(zhuǎn)化。1

基本思想主動(dòng)形狀模型的基本思想是:選取一組人臉圖像的訓(xùn)練樣本，用形狀向量(由所有特征點(diǎn)的坐標(biāo)組成）描述人臉的形狀，首先將訓(xùn)練集中各樣本對(duì)齊，使樣本間形狀盡可能相似，再用主成分分析對(duì)對(duì)齊后的形狀向量統(tǒng)計(jì)建模，最后在形狀向量未知的測(cè)試樣本上用局部紋理模型搜索滿足統(tǒng)計(jì)描述范圍的最優(yōu)形狀。使用主動(dòng)形狀模型的具體步驟如下：1

1. 計(jì)算目標(biāo)人臉圖像的初始形狀作為當(dāng)前形狀；

2. 進(jìn)行下面的循環(huán)直至收斂(每一步循環(huán)對(duì)形狀的改動(dòng)很微小)

對(duì)當(dāng)前形狀中的每一個(gè)特征點(diǎn)

對(duì)當(dāng)前特征點(diǎn)的鄰域內(nèi)的每一個(gè)點(diǎn)

計(jì)算該點(diǎn)的局部紋理

用當(dāng)前特征點(diǎn)所屬的局部紋理模型計(jì)算該點(diǎn)局部紋理的匹配函數(shù)值

在當(dāng)前特征點(diǎn)鄰域的所有點(diǎn)中搜索匹配函數(shù)值最小的點(diǎn)并把該點(diǎn)作為

當(dāng)前特征點(diǎn)

用全局統(tǒng)計(jì)模型修正形狀

3. 給出目標(biāo)人臉圖像的形狀

結(jié)構(gòu)組成主動(dòng)形狀模型可分為兩個(gè)子模型一一局部紋理模型和全局統(tǒng)計(jì)模型。局部紋理模型用于局部搜索，它描述特征點(diǎn)附近的紋理特征，因此可將其作為局部搜索的目標(biāo)函數(shù)，從而局部搜索可看成在特征點(diǎn)的鄰域中尋找與該特征點(diǎn)紋理特征最相似的點(diǎn)；全局統(tǒng)計(jì)模型用于全局約束，它限定了人臉圖像中允許出現(xiàn)的人臉形狀。與局部紋理模型不同，它并非單個(gè)特征點(diǎn)的模型，而是對(duì)所有特征點(diǎn)整體建模，通過計(jì)算樣本形狀向量的統(tǒng)計(jì)量來約束可能出現(xiàn)的未知人臉形狀。局部搜索時(shí)某些特征點(diǎn)可能陷入局部極值，或者由于局部紋理模型描述不充分，導(dǎo)致搜索到的特征點(diǎn)偏差較大，這時(shí)，全局統(tǒng)計(jì)模型可以對(duì)這些點(diǎn)進(jìn)行修正。1

優(yōu)缺點(diǎn)ASM 的優(yōu)點(diǎn)是能根據(jù)訓(xùn)練數(shù)據(jù)對(duì)于參數(shù)的調(diào)節(jié)加以限制，從而將形狀的改變限制在一個(gè)合理的范圍內(nèi)。主動(dòng)形狀模型首先對(duì)一組標(biāo)有特征點(diǎn)圖像（稱為訓(xùn)練集）的形狀和局部灰度建模，然后在搜索過程中不斷調(diào)節(jié)形狀和姿態(tài)參數(shù)從而使形狀達(dá)到最優(yōu)。2

與其他統(tǒng)計(jì)模型結(jié)構(gòu)比較，ASM模型的優(yōu)勢(shì)主要體現(xiàn)在：3

1、它是可變模型，克服了以往剛體模型的缺點(diǎn)，能很好的適應(yīng)復(fù)雜形狀的目標(biāo)定位，有良好的適應(yīng)性；

2、它是參數(shù)化的模型，通過改變參數(shù)可以產(chǎn)生一定約束范圍內(nèi)的可容許的形狀樣本，保持了形狀的特異性； 3、充分利用了物體的紋理信息建立局部紋理模型，結(jié)合全局形狀模型使得定位更加準(zhǔn)確。

主動(dòng)形狀模型也具有以下三個(gè)顯著缺點(diǎn)：

1、主動(dòng)形狀模型的收斂速度和收斂到局部極值的可能性均依賴于初始形狀。初始形狀距離真實(shí)形狀較遠(yuǎn)時(shí)，迭代次數(shù)會(huì)大幅增加，收斂到局部極小值的可能性也會(huì)變大；

2、主動(dòng)形狀模型的1D紋理模型僅對(duì)法線方向上的像素值采樣。該法線模型可較好描述處于人臉輪廓和人臉特征輪廓上的特征點(diǎn)，但對(duì)處于人臉內(nèi)部或人臉特征內(nèi)部的特征點(diǎn)來說，該模型無法充分描述其局部紋理；

3、主動(dòng)形狀模型的局部搜索策略相當(dāng)于在法線方向上窮舉搜索，遍歷法線方向上的所有點(diǎn)并計(jì)算它們的模板匹配函數(shù)值，然后找到其中匹配值最小的點(diǎn)。這種搜索策略極為簡單，沒有用到仟何優(yōu)化搜索策略，因此算法效率較低。

主動(dòng)形狀模型與主動(dòng)外觀模型的比較主動(dòng)形狀模型和主動(dòng)外觀模型(Active Appearance Model, AAM)是可變形模型中實(shí)用效果顯著且經(jīng)過廣泛研究的兩種方法。這兩種方法中，主動(dòng)形狀模型用局部紋理模型搜索特征點(diǎn)，用全局統(tǒng)計(jì)模型約束特征點(diǎn)集組成的形狀，二者反復(fù)迭代最終收斂到最優(yōu)形狀;主動(dòng)外觀模型利用形狀和外觀之間的相關(guān)性，把二者組合成為一個(gè)向量，從而在搜索最優(yōu)外觀的同時(shí)找到最優(yōu)形狀。它們前者速度較快而后者較為準(zhǔn)確，可分別應(yīng)用于實(shí)時(shí)性和精度要求較高的場(chǎng)合。但是，它們有一個(gè)共同的缺點(diǎn):收斂性—無論速度還是精度一一均依賴于初始形狀。若初始形狀距離真實(shí)形狀較遠(yuǎn)，則不僅迭代次數(shù)會(huì)大幅增加，而且增大了收斂到局部極小值的可能性。1

改進(jìn)方向與應(yīng)用成果鑒于ASM算法在特征提取、目標(biāo)定位等方面的較好性能，自提出至今一直是各相關(guān)領(lǐng)域的研究熱點(diǎn)。然后在實(shí)際定位過程中，ASM算法存在一定的局限性:比如其僅僅用到了目標(biāo)物體邊界輪廓的紋理信息，定位結(jié)果易受初始狀態(tài)、圖像噪聲的影響，影響搜索速率和定位精度的搜索長度存在矛盾性等。許多計(jì)算機(jī)視覺領(lǐng)域的專家與學(xué)者對(duì)傳統(tǒng)ASM進(jìn)行了研究與改進(jìn)。3

在ASM特征擴(kuò)展方面，傳統(tǒng)ASM算法中建立的局部紋理模型是基于特征點(diǎn)的灰度梯度信息，簡單易算，適用于簡單的圖像背景下的目標(biāo)匹配。實(shí)際的圖像中往往存在光照、噪聲等諸多干擾，背景環(huán)境也更為復(fù)雜，基于簡單梯度信息的搜索結(jié)果可能極可能出現(xiàn)偏差，導(dǎo)致最終模型無法收斂，不能有效匹配。COOteS在文獻(xiàn)中提出了一種改進(jìn)的局部紋理模型建立方法，利用標(biāo)志點(diǎn)沿目標(biāo)輪廓邊界法向量方向上內(nèi)外兩側(cè)的灰度信息作差分運(yùn)算，消除了圖像整體灰度影響，大大提高了ASM模型的匹配效果。許多學(xué)者在此基礎(chǔ)上對(duì)這種灰度模型又作了各種優(yōu)化。Liu等把簡單的梯度方向一維灰度模型擴(kuò)展到以特征點(diǎn)為中心的多領(lǐng)域二維灰度模型，更充分的利用了目標(biāo)豐富的紋理信息。3

S.Romdhani等用核主成分分析[[42]和支持向量機(jī)運(yùn)用到人臉識(shí)別中，將模型中的非線性變化映射到高維線性空間中再進(jìn)行特征提取，從而可以描述2D圖像中的各種3D變化，比如深度旋轉(zhuǎn)和上下旋轉(zhuǎn)等;Jiao和Zhan充分利用小波變換的有效提取特征和屏蔽無關(guān)性，基于Gabor小波和Haar小波的不同特征對(duì)目標(biāo)建立紋理模型。M.Rogers和J. Graham用一種更具魯棒性的最小二乘技術(shù)來最小化全局統(tǒng)計(jì)模型和未知形狀之間的差值，使得全局統(tǒng)計(jì)模型表示的形狀不容易被特征點(diǎn)中的噪聲和野值影響。YZhou等將ASM的形狀模型映射到切空間中，用貝葉斯推斷估計(jì)形狀參數(shù)，使得貝葉斯切形狀模型能更好的與圖像序列中的目標(biāo)輪廓匹配。H.Chen等運(yùn)用人臉草圖的生成方法，檢測(cè)眼睛和嘴唇的輪廓，在眼角和嘴角附近的高曲率特征點(diǎn)上采用二維紋理模型替換，獲得了較好的匹配效果。3

在ASM模型的基礎(chǔ)上，Cootes等人為提高定位效果，進(jìn)一步提出了主動(dòng)表觀模型C Active Appearance Models(AAM)。主動(dòng)表觀模型是對(duì)ASM算法在紋理模型上的擴(kuò)充，把目標(biāo)的局部紋理模型擴(kuò)充為全局紋理模型，融合統(tǒng)計(jì)形狀和紋理建立為表觀模型用于目標(biāo)定位。在搜索過程中，假設(shè)兩種線性映射:從表觀變化到紋理變化，再從紋理變化到位置變化。依據(jù)他們相互映射關(guān)系來調(diào)整模型參數(shù)，獲得與目標(biāo)相匹配的形狀模型和紋理模型。計(jì)算當(dāng)前得到的形狀模型紋理和目標(biāo)圖像紋理之間的差值，當(dāng)兩者之差達(dá)到最小時(shí)，認(rèn)為合成圖像與待檢測(cè)圖像最為接近，停止搜索生成最優(yōu)匹配結(jié)果。主動(dòng)表觀模型不僅可以提取目標(biāo)物體的形狀特征，還可以表達(dá)目標(biāo)物體的紋理特征，是特征提取和目標(biāo)識(shí)別研究領(lǐng)域又一里程碑式算法。但是，主動(dòng)表觀模型的運(yùn)用也有較大局限性。該算法假設(shè)形狀和外觀與差分圖像成線性關(guān)系，在此基礎(chǔ)上更新模型參數(shù)。而事實(shí)上由于光照變化、環(huán)境噪聲等干擾，線性關(guān)系并不成立，因此參數(shù)的更新也不準(zhǔn)確。另外，由于加入了目標(biāo)圖像的整體紋理信息，主動(dòng)表觀模型比主動(dòng)形狀模型的計(jì)算數(shù)據(jù)量明顯增加，運(yùn)行較慢，達(dá)不到快位定位的效果。3

在提高ASM搜索速率方面，Cootes等提出了多分辨率搜索策略來改進(jìn)傳統(tǒng)ASM算法，通過由粗到精的策略既可以提高擬合的精度，又能提高搜索的速度，即使初始模型離目標(biāo)位置較遠(yuǎn)，利用多分辨率搜索策略也能實(shí)現(xiàn)較為快速的定位。在此基礎(chǔ)上，Davatzikos等采用了小波變換的方法來實(shí)現(xiàn)多尺度多分辨率ASMo Yan等提出了一種改進(jìn)的TC-ASM算法，利用全局紋理信息限制形狀的變化，使得對(duì)目標(biāo)性狀的定位更為精確，收斂速率更為快速。Rogers等用改進(jìn)的最小二乘法對(duì)全局統(tǒng)計(jì)模型和目標(biāo)形狀模型計(jì)算最小差值，使得全局統(tǒng)計(jì)模型表示的目標(biāo)形狀更具有魯棒性，同時(shí)被成功運(yùn)用于醫(yī)學(xué)圖像處理。GHamarneh等充分借鑒Snake模型能生成光滑連續(xù)的邊界曲線的優(yōu)點(diǎn)，結(jié)合ASM模型能保持目標(biāo)特異性的優(yōu)點(diǎn)，將改進(jìn)的方法進(jìn)行醫(yī)學(xué)圖像分割。Yuan等用支持向量機(jī)(Support Vector Machine SVM)作為分類器，避免了搜索過程中相鄰特征點(diǎn)之間的關(guān)系發(fā)生改變。Gross等提出針對(duì)訓(xùn)練集個(gè)體進(jìn)行建模，同時(shí)研究了物體發(fā)生被遮擋情況時(shí)的建模問題和搜索策略，提高了定位的準(zhǔn)確性。3