基于改進(jìn)局部一致性約束的立體匹配算法

雙目立體視覺(jué)模擬人的視覺(jué)系統(tǒng)，通過(guò)對(duì)同一場(chǎng)景下不同角度的兩張圖像進(jìn)行圖像處理重建三維結(jié)構(gòu)［1］，而立體匹配是其中最為核心的技術(shù)。立體視覺(jué)是指在同一場(chǎng)景中不同位置的兩個(gè)相機(jī)獲得左右兩張圖像，通過(guò)計(jì)算視圖中同名像素點(diǎn)的視差獲得深度信息［2］。近年來(lái)，研究者盡管對(duì)立體匹配進(jìn)行了深入的研究，但在復(fù)雜環(huán)境下（如噪聲腐蝕，光度畸變等）仍然難以獲得精確匹配［3］。立體匹配在三維重建、目標(biāo)檢測(cè)［4］等領(lǐng)域的廣泛應(yīng)用［5］使之成為研究熱點(diǎn)。目前立體匹配算法主要分為傳統(tǒng)算法［6］和深度學(xué)習(xí)算法［7-8］。

傳統(tǒng)方法一般分為代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算、視差優(yōu)化4個(gè)步驟［9］，主要分為全局方法和局部方法［10］。全局方法采用全局優(yōu)化理論建立一個(gè)全局能量函數(shù)，函數(shù)最小值即最優(yōu)的視差值。主要方法有信念傳播［11］和動(dòng)態(tài)規(guī)劃［12-13］。全局方法準(zhǔn)確率較高，但是計(jì)算量大，不適合實(shí)時(shí)應(yīng)用［14］。相比之下，局部方法的目標(biāo)函數(shù)只包含測(cè)量部分，其計(jì)算量較少，匹配速度快。常見(jiàn)的有Census變換［15-16］、SAD、PatchMatch等算法。此外，Hirschmüller提出半全局立體匹配算法（Semi-Global Matching，SGM） ［17］，該算法在計(jì)算函數(shù)能量最小化時(shí)使用一維最優(yōu)近似二維最優(yōu)，使算法效率得到極大提升。

基于深度學(xué)習(xí)［18］的立體匹配算法將推導(dǎo)視差圖的過(guò)程視為分類問(wèn)題或回歸問(wèn)題。例如，Zbontar［8］使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）估計(jì)圖像塊的相似性，Nahar［19］提出了無(wú)監(jiān)督的預(yù)訓(xùn)練網(wǎng)絡(luò)估計(jì)分層特征。雖然深度學(xué)習(xí)方法準(zhǔn)確度較高，但是目前的大多數(shù)方案使用的監(jiān)督學(xué)習(xí)方法均是假設(shè)真實(shí)的視差值已知，而該假設(shè)在一些情況下是不成立的［20］。此外，深度學(xué)習(xí)方法在訓(xùn)練時(shí)需要大量的數(shù)據(jù)和時(shí)間，對(duì)算力要求較高，對(duì)于沒(méi)有被訓(xùn)練過(guò)的陌生環(huán)境效果較差，并且不能很好地被移植到機(jī)器人和嵌入式系統(tǒng)中［21］。

與深度學(xué)習(xí)方法相比，傳統(tǒng)方法遇到這類問(wèn)題時(shí)的匹配效果更好。文獻(xiàn)［22-23］等的算法均在與深度學(xué)習(xí)算法的比較中取得了優(yōu)勢(shì)。傳統(tǒng)算法不用進(jìn)行訓(xùn)練，計(jì)算開(kāi)銷較低。因此，本文對(duì)傳統(tǒng)算法進(jìn)行了改進(jìn)。PMS［24］作為經(jīng)典的傳統(tǒng)算法使用隨機(jī)初始化生成任意的平面參數(shù)來(lái)實(shí)現(xiàn)傾斜平面。雖然可以處理實(shí)際傾斜表面，但是該處理方法需要多次迭代，導(dǎo)致計(jì)算量極大且誤匹配率較高。為解決這一問(wèn)題，首先，本文通過(guò)稀疏匹配得到支撐點(diǎn)。其次，利用三角剖分劃分支撐點(diǎn)為每個(gè)像素找到逼近正確解的平面參數(shù)。最后，為了得到更準(zhǔn)確的視差，在代價(jià)聚合階段采用迭代傳播的方式構(gòu)建出局部一致性平行窗口模型，減少了迭代次數(shù)同時(shí)降低了誤匹配率。

2 算法描述

2.1　算法流程

本文算法流程圖如圖1所示。

圖1  本文算法流程圖

Fig.1  Algorithm flow chart of this paper

下載: 原圖 | 高精圖 | 低精圖

詳細(xì)步驟如下：

Step1：將輸入的左圖像等步長(zhǎng)選取特征點(diǎn)進(jìn)行稀疏匹配得到魯棒性高的支撐點(diǎn)集。

Step2：對(duì)點(diǎn)集進(jìn)行三角剖分，為每個(gè)像素點(diǎn)找到一個(gè)平面，將平面參數(shù)賦給該像素點(diǎn)。

Step3：將像素點(diǎn)及平面參數(shù)多次進(jìn)行代價(jià)聚合即迭代傳播，找到更加準(zhǔn)確的平面參數(shù)。

Step4：通過(guò)像素點(diǎn)的平面參數(shù)以及橫縱坐標(biāo)求該點(diǎn)的視差值。

Step5：對(duì)視差圖進(jìn)行視差后處理。

2.2　算法思路及主要公式

本文算法采用傾斜窗口代替固定式窗口。對(duì)任意像素p，算法會(huì)尋找一個(gè)平面fp，該像素的視差值dp計(jì)算公式如式（1）所示：

dp=afppx+bfppy+cfp

 ， （1）

式中：afp、bfp和cfp為fp的平面參數(shù)，px與py為像素p的橫縱坐標(biāo)。匹配過(guò)程轉(zhuǎn)換為尋找每個(gè)像素的最優(yōu)平面參數(shù)，每個(gè)像素對(duì)應(yīng)的最小聚合代價(jià)的平面為：

fp=argminf∈Fm(p,f)

 ， （2）

式中：F表示一個(gè)無(wú)邊界的平面集合，m(p,f)為像素p對(duì)應(yīng)平面f的聚合代價(jià)。m（p，f）表達(dá)式為：

m(p,f)=∑q∈Wpw(p,q)?ρ(q,q?(afqx+bfqy+cy)) ,

（3）

式中：Wp是中心像素為p的正方形匹配窗口，q為窗口內(nèi)一像素點(diǎn)。采用自適應(yīng)權(quán)重函數(shù)w(p,q)克服邊緣擴(kuò)脹（Edge-Dilated）問(wèn)題，該點(diǎn)色彩相似度越高，則權(quán)重值也越大，計(jì)算公式如式（4）所示：

w(p,q)=e?∥Ip?Iq∥γ

 ’ （4）

式中：γ為自定義參數(shù)；∥IP?Iq∥定義為RGB彩色空間中p點(diǎn)與q點(diǎn)的距離，即|r?r|+|g?g|+|b?b|。公式（3）中ρ(q,q')為度量q點(diǎn)與q'點(diǎn)間差異性的函數(shù)，結(jié)合公式（1）可得q'=q?d，即參考圖的點(diǎn)q在目標(biāo)圖上偏移d個(gè)像素單位后對(duì)應(yīng)的像素點(diǎn)記為q'，其計(jì)算公式如式（5）所示：

ρ(q,q')=(1?α)?min(∥Iq?Iq'∥,τcol)+α?min(∥Iq?Iq'∥,τgrad) ,

（5）

式中：∥Iq?Iq'∥為q點(diǎn)與q'點(diǎn)間灰度梯度值差的絕對(duì)值；α為平衡顏色代價(jià)和梯度代價(jià)的自定義參數(shù)；τcol和τgrad為截?cái)嗪瘮?shù)，使遮擋區(qū)域代價(jià)值在一個(gè)合理局部范圍。

傾斜窗口的匹配算法雖然優(yōu)于傳統(tǒng)立體匹配算法，但是如果不能為像素找到一個(gè)正確的傾斜窗口，不僅導(dǎo)致后續(xù)步驟存在大量的迭代，還會(huì)導(dǎo)致得到的視差值不準(zhǔn)確。本文從這一問(wèn)題出發(fā)，通過(guò)稀疏匹配得到強(qiáng)魯棒性支撐點(diǎn)，再利用三角剖分使每個(gè)像素得到一個(gè)接近真實(shí)值的平面參數(shù)，最后通過(guò)改進(jìn)后的迭代傳播構(gòu)建出局部一致性平行窗口模型。

3 本文方法

3.1　稀疏匹配特征點(diǎn)

PMS算法為每個(gè)像素都計(jì)算一個(gè)視差平面，這一做法忽略了立體匹配中連續(xù)性約束的重要假設(shè)，而且逐個(gè)像素計(jì)算也會(huì)增加計(jì)算量。為了解決這一問(wèn)題，本文算法采用精匹配獲得特征點(diǎn)，并通過(guò)這些特征點(diǎn)求得其他像素的視差平面。本文所用方法不僅符合連續(xù)性約束的假設(shè)，而且能快速準(zhǔn)確地找到正確解。

首先通過(guò)稀疏匹配，在左圖像中以步長(zhǎng)為5獲取候選特征點(diǎn)，得到特征點(diǎn)后根據(jù)視差范圍(Dmin~Dmax)在右圖中搜索每個(gè)視差值對(duì)應(yīng)的點(diǎn)，再計(jì)算曼哈頓距離獲得匹配代價(jià)，計(jì)算公式如式（6）所示：

c=|x1?x2|+|y1?y2|

 ， （6）

式中：c為曼哈頓距離，x1、x2為2個(gè)點(diǎn)的橫坐標(biāo)，y1、y2為2個(gè)點(diǎn)的縱坐標(biāo)。通過(guò)式（6）這一公式找到在視差范圍內(nèi)最小匹配代價(jià)對(duì)應(yīng)的點(diǎn)，然后以其周圍4個(gè)點(diǎn)的匹配代價(jià)的均值代替其代價(jià)值，將左右圖像調(diào)換位置重復(fù)上述步驟。最后執(zhí)行左右一致性檢驗(yàn)，將剩下的點(diǎn)作為本次稀疏匹配的特征點(diǎn)。通過(guò)這樣的特征點(diǎn)求得的視差平面更接近于正確解。

3.2　通過(guò)三角剖分構(gòu)建局部一致性

在計(jì)算平面參數(shù)階段，PMS算法采用隨機(jī)初始化的方法。使用隨機(jī)函數(shù)得到一個(gè)在視差范圍內(nèi)的隨機(jī)視差d，記為z0，與當(dāng)前像素的橫縱坐標(biāo)組成三維點(diǎn)P=(x0,y0,z0)，再用隨機(jī)函數(shù)生成單位法向量n? =(nx,ny,nz)，最后根據(jù)點(diǎn)法式平面方程計(jì)算出平面參數(shù)。

這種方法無(wú)法保證每個(gè)像素得到正確（或近似正確）的平面參數(shù)，從而需要多次迭代以確保正確的平面參數(shù)傳遞到其他像素。如果鄰域像素的平面參數(shù)都與真實(shí)值偏差過(guò)大，則無(wú)論迭代多少次都無(wú)法回歸到正確的平面。

針對(duì)上文提到的PMS算法的缺陷，本文算法采用三角剖分劃分特征點(diǎn)的方法來(lái)為像素點(diǎn)找到一個(gè)視差平面。這樣得到的平面接近正確解。本文對(duì)3.1節(jié)中得到的特征點(diǎn)執(zhí)行三角剖分得到三角平面集合，根據(jù)連續(xù)性約束認(rèn)為每個(gè)三角平面中的像素視差是一致或者近似的，構(gòu)建局部一致性窗口，計(jì)算每個(gè)三角平面參數(shù)并分配給其中的像素。由于支撐點(diǎn)是通過(guò)精匹配得到的強(qiáng)魯棒點(diǎn)，其視差置信度高，因此計(jì)算得到的平面參數(shù)最接近真實(shí)值，為后續(xù)的迭代傳播過(guò)程提供了良好的初始依據(jù)，使其經(jīng)過(guò)更少的迭代次數(shù)便能回歸到精確解。

本文算法使用的是分治法三角剖分，以10點(diǎn)垂直分割法為例，流程如下：

Step1：將10個(gè)點(diǎn)按x坐標(biāo)作升序排序，當(dāng)x坐標(biāo)相同時(shí)，按y坐標(biāo)排序。如圖2（i）所示。

圖2  三角剖分步驟

Fig.2  Triangulation step

下載: 原圖 | 高精圖 | 低精圖

Step2：用遞歸方法將排序后的點(diǎn)劃分為數(shù)量近似的兩個(gè)子集，直到點(diǎn)數(shù)≤3，最后得到4個(gè)二級(jí)子集，如圖2（ii）所示。

Step3：將4個(gè)二級(jí)子集合并成兩個(gè)一級(jí)子集，如圖2（iii）所示。

Step4：通過(guò)三角剖分的空?qǐng)A特性及最大化最小角原則將2個(gè)一級(jí)子集進(jìn)行合并，如圖2（iv）所示。

最終圖像中的像素點(diǎn)會(huì)分成若干三角平面，再通過(guò)每個(gè)三角平面的3個(gè)頂點(diǎn)計(jì)算平面參數(shù)并分給該三角形內(nèi)其余點(diǎn)。

本文具體步驟如下：

Step1：等步長(zhǎng)選取候選特征點(diǎn)；

Step2：稀疏匹配候選特征點(diǎn)，并執(zhí)行左右一致性校驗(yàn)，將剩余點(diǎn)作為強(qiáng)魯棒性的支撐點(diǎn)集S={s1,s2,…,sM}，支撐點(diǎn)sM=[um,vm,dm]T；

Step3：對(duì)支撐點(diǎn)集S執(zhí)行三角剖分，獲得三角平面集合T；

Step4：根據(jù)三角平面集合T計(jì)算當(dāng)前平面的平面參數(shù)，如T的3個(gè)頂點(diǎn)坐標(biāo)分別為s1={u1, v1,d1}T、s4={u4,v4,d4}T和s9={u9,v9,d9}T，則平面參數(shù)為：

?????d1=afu1+bfv1+cfd4=afu4+bfv4+cfd9=afu9+bfv9+cf??????afbfcf

 . （7）

Step5：令T平面內(nèi)像素的平面都等于（af，bf,cf)，重復(fù)步驟4、5，直至T內(nèi)最后一個(gè)三角平面。

3.3　迭代傳播

3.3.1　局部一致性平行窗口模型

迭代傳播指的是圖像重復(fù)進(jìn)行代價(jià)聚合過(guò)程，目的是把隨機(jī)視差平面中正確的視差平面?zhèn)鞑ブ镣灰暡钇矫鎯?nèi)的其他像素。本文算法對(duì)迭代傳播進(jìn)行了優(yōu)化，將迭代次數(shù)減少為兩次，并舍棄了平面?zhèn)鞑ズ蜁r(shí)序傳播兩個(gè)傳播過(guò)程。為了驗(yàn)證優(yōu)化的正確性，本文提出了兩種模型。因?yàn)镻MS算法使用的是傾斜窗口，本文為與原算法保持一致，將包含平面?zhèn)鞑ゲ襟E的模型稱為局部一致性傾斜窗口模型，將缺少平面?zhèn)鞑ゲ襟E的模型稱為局部一致性平行窗口模型即本文算法。

本文用一張概念圖來(lái)表示本文的局部一致性窗口與隨機(jī)傾斜窗口的區(qū)別，如圖3所示。其中Ω1、Ω2和Ω3平面為局部一致性窗口，Ω4空間和Ω5空間為隨機(jī)傾斜窗口。在Ω1、Ω2和Ω3平面中，處于同一平面的像素具有相同的平面參數(shù)，保證了立體匹配的連續(xù)性約束條件。而在Ω4空間和Ω5空間中，每個(gè)像素的平面參數(shù)各異，不滿足連續(xù)性約束條件，需多次迭代傳播才能回歸到正確值。

圖3  局部一致性與隨機(jī)傾斜窗口對(duì)比

Fig.3  Comparison of local consistency and random window

下載: 原圖 | 高精圖 | 低精圖

3.3.2　空間傳播

空間傳播假設(shè)空間上鄰近點(diǎn)的像素很有可能處于同一平面內(nèi)。本文通過(guò)空間傳播使當(dāng)前像素得到鄰域像素中代價(jià)最小的平面參數(shù)，具體步驟如下：

Step1：對(duì)于當(dāng)前像素p(x,y)，其鄰近像素分別記為q'(x?1,y)與q''(x,y?1)，其平面分別記為fp、fq'和fq''；

Step2：基于平面計(jì)算匹配代價(jià)值m(p,fp)、m(p,fq')與m(p,fq'')，分別記為p、p'和p''；

Step3：選取最小匹配代價(jià)min{m,m',m''}代替像素p(x,y)點(diǎn)原匹配代價(jià)，并將平面參數(shù)更新為最小匹配代價(jià)的平面參數(shù)。

在左右視圖的每個(gè)像素點(diǎn)逐次重復(fù)上述4步，直至圖像最后一個(gè)像素點(diǎn)?？臻g傳播是將鄰域內(nèi)可能正確的平面參數(shù)傳遞給空間鄰近的像素，因此需要多次迭代才能將正確的平面參數(shù)賦給鄰域內(nèi)的所有像素。

3.3.3　視圖傳播

視圖傳播假設(shè)雙目視圖的左右圖像上的同名點(diǎn)不僅具有相同的視差值，而且匹配點(diǎn)間可能具有相似的視差平面。對(duì)于所有參考圖像素點(diǎn)p，比較其與目標(biāo)圖上同名點(diǎn)的平面的代價(jià)值。本文算法通過(guò)視圖傳播使像素獲得同名點(diǎn)間最優(yōu)平面參數(shù)。

Step1：取參考圖像素p(xl,yl)，其平面方程為：

d=apxl+bpyl+cp

 . （8）

Step2：若p點(diǎn)視差為dp則目標(biāo)圖上同名點(diǎn)坐標(biāo)為p'(xl?dp,yl)，將其帶入式（8）中，則有：

dp'=?apxl?bpyl?(cp+apdp)

 . （9）

Step3：通過(guò)公式（9）可得目標(biāo)圖上同名點(diǎn)p'的平面參數(shù)為(?ap',?bp',?(cp+apdp))。

Step4：計(jì)算p點(diǎn)在2個(gè)平面下的匹配代價(jià)，若m(p,fp')<m(p,fp)，則更新匹配代價(jià)，并令fp= fp'。反之，則保持原平面不變。

在這個(gè)過(guò)程中，通過(guò)計(jì)算得到的目標(biāo)圖同名點(diǎn)p'坐標(biāo)如果不是整數(shù)則需要四舍五入映射到最鄰近的圖像坐標(biāo)，這也是同名點(diǎn)間的平面相似而非相同的原因。

3.3.4　視差后處理

在經(jīng)過(guò)迭代傳播后，通過(guò)像素點(diǎn)的平面參數(shù)計(jì)算其視差值，可表示為：

dp=afppx+bfppy+cfp

 ， （10）

式中：afp，bfp和cfp為fp的平面參數(shù)，px與py為像素p的橫縱坐標(biāo)。

在視差優(yōu)化階段，本文算法采取左右一致性校驗(yàn)、視差填充和濾波等后處理步驟來(lái)提高視差圖的精度。

首先，通過(guò)左右一致性校驗(yàn)剔除誤匹配點(diǎn)。分別求出左右視差圖，對(duì)參考圖上的像素點(diǎn)p與目標(biāo)圖上匹配的像素點(diǎn)p'，執(zhí)行|dp?dp'|≤1的條件檢驗(yàn)，剔除不滿足條件的點(diǎn)。

然后，對(duì)于被剔除的異常點(diǎn)p，在其鄰域內(nèi)搜索最鄰近像素點(diǎn)q，將q點(diǎn)的坐標(biāo)和它在左右視圖上的平面flq、frq分別帶入公式（1）得到兩個(gè)視差值，取較小的視差值作為p點(diǎn)的視差。這種處理方法更符合實(shí)際情況，且當(dāng)處理的圖像為視頻流的一幀時(shí)，該方案能為遮擋區(qū)域的像素分配更合理的平面參數(shù)，使其能有效應(yīng)用于下一幀圖像。

最后，為削弱視差填充的負(fù)面影響，使用加權(quán)中值濾波來(lái)結(jié)合多方向視差信息。其中強(qiáng)魯棒點(diǎn)在濾波時(shí)會(huì)被直接跳過(guò)，算法轉(zhuǎn)而繼續(xù)尋找下一個(gè)誤匹配點(diǎn)執(zhí)行濾波操作。

4 測(cè)量實(shí)驗(yàn)與結(jié)果

本文采用Middlebury測(cè)試［25］平臺(tái)提供的第三版標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。其中樣本包括15組雙目視覺(jué)圖像對(duì)。編程語(yǔ)言為C++，硬件環(huán)境為Intel（R）Core（TM）i7-9750 CPU，16 GB內(nèi)存，系統(tǒng)為Windows 10。實(shí)驗(yàn)參數(shù)設(shè)置為γ=10.0，α=0.9，τcol=10.0，τgrad=2.0。其中γ為自適應(yīng)權(quán)重函數(shù)w(p,q)中自定義參數(shù)；α為ρ(q,q')中平衡顏色代價(jià)和梯度代價(jià)的自定義參數(shù)；τcol和τgrad為ρ(q,q')中截?cái)嗪瘮?shù)，使遮擋區(qū)域代價(jià)值在一個(gè)合理局部范圍。

客觀評(píng)價(jià)標(biāo)準(zhǔn)采用誤匹配率（bad，Ebad）與絕對(duì)值均差（avgErr，Eavg）。評(píng)價(jià)指標(biāo)bad的含義是當(dāng)真值圖和視差圖結(jié)果相差1 pixel以上時(shí)，判定為誤匹配點(diǎn)，表達(dá)式如式（11）所示：

Ebad=nN×100%

 ， （11）

式中：N為有效點(diǎn)總和，n為超出誤差線的匹配點(diǎn)總和。本文中non表示非遮擋區(qū)域，all表示全部區(qū)域。

評(píng)價(jià)指標(biāo)avgErr是計(jì)算非遮擋區(qū)域的真值圖的值gt與匹配點(diǎn)視差d（包含誤匹配點(diǎn)）的差的絕對(duì)值，最后統(tǒng)計(jì)絕對(duì)值與有效點(diǎn)的百分比，表達(dá)式如式（12）所示：

Eavg=∑i∣∣di?gti∣∣N?Inf×100%

 ， （12）

式中：Inf為無(wú)效點(diǎn)總和。

4.1　算法對(duì)比

4.1.1　本文算法與PMS算法對(duì)比

圖4為PMS算法與本文算法主觀效果圖，紅框內(nèi)區(qū)域?yàn)樾Ч嵘黠@區(qū)域。其中，PMS算法在Adirondack、Piano等圖像中出現(xiàn)零值區(qū)域，在ArtL、Playtable圖像中出現(xiàn)不連續(xù)區(qū)域、輪廓變形現(xiàn)象。相比而言，本文算法處理后的效果圖如Artl，PlaytableP，Adirondack等在邊緣、紋理、輪廓方面均有顯著提升。

圖4  不同算法在Middlebury 3.0圖像對(duì)上的實(shí)驗(yàn)結(jié)果。（a）參考圖像；（b）真實(shí)視差圖；（c）PMS算法；（d）本文算法。

Fig.4  Lifting effect comparison charts of different algorthms on Middlebry 3.0 image pairs. （a） Reference image； （b） Truth graph； （c） PMS algorithm； （d） Proposed algorithm.

下載: 原圖 | 高精圖 | 低精圖

表1為本文算法與PMS算法在非遮擋區(qū)域、全部區(qū)域誤匹配率以及絕對(duì)值均差的對(duì)比結(jié)果，表中數(shù)據(jù)為第3次迭代結(jié)果。其中PMS、Prop-sla和Prop-par分別表示PMS算法、局部一致性傾斜窗口和局部一致性平行窗口即本文算法，加粗?jǐn)?shù)據(jù)為對(duì)同一圖像處理效果的最優(yōu)數(shù)據(jù)。

表1  本文算法與PMS算法結(jié)果對(duì)比

Tab.1  Comparison of the results of the algorithm in this paper and the PMS algorithm

Data name non/% all/% Eavg/%

PMS Prop-sla Prop-Par PMS Prop-sla Prop-Par PMS Prop-sla Prop-Par

Adirondack 22.09 21.27 6.669 24.68 23.61 10.41 1.93 1.9 0.63

ArtL 15.48 14.14 13.25 25.42 24.82 27.23 1.36 1.23 1.19

Jadeplant 24.95 24.93 45.66 39.85 39.32 55.79 4.08 4.34 15.36

Motorcycle 14.49 13.73 11.67 21.68 21.09 18.6 1.12 1.09 1.01

MotorcycleE 19.93 17.51 13.92 27.22 24.64 20.84 1.4 1.29 1.18

Piano 27.03 25.95 25.67 34.95 33.52 33.16 1.59 1.46 1.45

PianoL 43.56 43.82 34.13 50 48.8 41.95 3.18 3.11 2.33

Pipes 17.76 16.94 15.39 30.97 30.1 28.55 2.03 1.88 2.01

Playroom 31.99 30.75 27.15 42.77 41.46 39.04 2.91 2.82 2

Playtable 19.53 19.8 17.54 25.94 26.46 24.89 1.19 1.25 1.13

PlaytableP 12.48 11.9 10.7 18.7 18.25 17.05 0.65 0.64 0.54

Recycle 21.42 21.3 16.65 25.11 25.4 19.72 1.57 1.59 1.01

Shelves 49.86 49.76 46.63 56.34 56.11 52.82 4.59 4.55 3.23

Teddy 6.809 7.609 6.037 14.81 14.46 13.91 0.64 0.65 0.48

Vintage 29.7 29.51 40.26 34.67 34.05 44.05 2.15 2.11 4.67

下載: 導(dǎo)出CSV

實(shí)驗(yàn)結(jié)果顯示，與PMS算法相比，在非遮擋區(qū)域，本文提出的局部一致性平行窗口和局部一致性傾斜窗口分別能取得13、12組的優(yōu)勢(shì)結(jié)果；在全部區(qū)域，能取得12組的優(yōu)勢(shì)結(jié)果；對(duì)于avgErr指標(biāo)，分別能取得14、11組的優(yōu)勢(shì)結(jié)果。同時(shí)，在非遮擋區(qū)域，本文算法有13組的最優(yōu)數(shù)據(jù)，這13組數(shù)據(jù)與PMS算法相比，總的誤匹配率降低了57%，平均誤匹配率降低4.39%，其中對(duì)單張圖像誤匹配率降低最多可達(dá)到15.42%（Adirondack）。在全部區(qū)域，本文算法有12組的最優(yōu)數(shù)據(jù)，這12組數(shù)據(jù)與PMS算法相比，總的誤匹配率降低了52%，平均誤匹配率降低4.33%，其中對(duì)單張圖像誤匹配率降低最多可達(dá)到14.27%，說(shuō)明本文算法在降低誤匹配率方面效果顯著。

4.1.2　本文所提兩種模型對(duì)比

為說(shuō)明本文算法舍棄平面?zhèn)鞑サ脑?，本文?duì)局部一致性平行窗口模型和局部一致性傾斜窗口模型進(jìn)行了對(duì)比，結(jié)果如圖5所示。實(shí)線為不包括平面?zhèn)鞑サ木植恳恢滦云叫写翱谀Ｐ图幢疚乃惴ǎ摼€為包括平面?zhèn)鞑サ木植恳恢滦詢A斜窗口模型。

圖5  本文提出的兩種模型對(duì)比

Fig.5  Comparison of the two models proposed in this paper

下載: 原圖 | 高精圖 | 低精圖

結(jié)合圖5和表1的數(shù)據(jù)可以看出，本文提出的局部一致性平行窗口模型在與包含平面?zhèn)鞑サ膬A斜窗口的對(duì)比中優(yōu)勢(shì)明顯。其原因是三角剖分使用的點(diǎn)集是由魯棒性高的支撐點(diǎn)組成，所以根據(jù)這些點(diǎn)進(jìn)行三角剖分得到的平面參數(shù)接近于正確解。而本文舍棄的平面?zhèn)鞑ナ峭ㄟ^(guò)設(shè)置視差和法向量變化范圍并隨機(jī)生成增量的方式來(lái)找一個(gè)代價(jià)更小的平面。這時(shí)平面?zhèn)鞑ハ喈?dāng)于一個(gè)噪聲敏感模型，既當(dāng)前像素及其周圍像素的平面參數(shù)與正確解偏離極小，平面?zhèn)鞑ブ须S機(jī)獲取視差增量及法向量增量的過(guò)程相當(dāng)于噪聲擾動(dòng)，當(dāng)鄰域內(nèi)都是“正確”解時(shí)，擾動(dòng)極易在圖像內(nèi)傳播，導(dǎo)致誤匹配率偏高。而且在相同迭代傳播次數(shù)的前提下，平行窗口因缺少平面?zhèn)鞑ミ^(guò)程，其效率比傾斜窗口更高。因此局部一致性平行窗口模型性能更優(yōu)。

4.1.3　本文算法與其他算法對(duì)比

為驗(yàn)證本文算法的優(yōu)越性，本文將實(shí)驗(yàn)結(jié)果與傳統(tǒng)算法和新穎算法做對(duì)比，其中GA-Net［26］（Guided aggregation net）為基于CNN的新穎立體匹配算法，ELASF［22］為基于ELAS的新穎立體匹配算法，而傳統(tǒng)算法使用的是將局部立體匹配算法和半全局立體匹配算法相結(jié)合的AD-Census［27］算法。相同情況下，圖6、圖7、圖8和表2是相同情況下本文算法與對(duì)比算法的主觀效果和客觀效果對(duì)比圖。

圖6  不同算法在Middlebury3.0圖像對(duì)上的實(shí)驗(yàn)結(jié)果。（a） 參考圖像；（b） 真實(shí)視差圖；（c） AD-Census算法；（d） ELASF算法；（e） GA-Net算法；（f） 本文算法。

Fig.6  Experimental results of different algorithms on Middlebury 3.0 image pairs. （a） Reference image； （b） Real disparity map； （c） AD-Census algorithm； （d） ELASF algorithm； （e） GA-Net algorithm； （f） Algorithm in this paper.

下載: 原圖 | 高精圖 | 低精圖

圖7  本文方法與對(duì)比算法在非遮擋區(qū)域的對(duì)比

Fig.7  Comparison of the method in this paper and the comparison algorithm in the non-occluded area

下載: 原圖 | 高精圖 | 低精圖

圖8  本文方法與對(duì)比算法在全部區(qū)域的對(duì)比

Fig.8  Comparison of the method in this paper and the comparison algorithm in all areas

下載: 原圖 | 高精圖 | 低精圖

表2  對(duì)比算法在不同區(qū)域的平均誤匹配率

Tab.2  Average mismatch rates of algorithms in different regions( % )

Ebad/% AD-census ELASF GA-net Proposed

non 26.19 22.23 26.91 21.89

all 34.59 30.53 30.17 29.71

下載: 導(dǎo)出CSV

圖6為不同算法的主觀效果圖，紅框內(nèi)區(qū)域?yàn)樾Ч嵘黠@區(qū)域。其中AD-Census算法的整體表現(xiàn)較差，如Artl、PlaytableP等出現(xiàn)紋理模糊、邊緣效果差的問(wèn)題。而ELASF算法對(duì)輪廓處理效果較差，如Pinao紋理不清晰，Vintage陰影處理較差。GA-Net算法視差圖視差值偏小導(dǎo)致整體亮度較暗，對(duì)紋理邊緣處理效果較差，如Japeplant。

圖7和圖8為本文算法與3種對(duì)比算法的對(duì)比圖，如圖所示，與對(duì)比算法相比，本文算法在大部分圖像中都能取得優(yōu)勢(shì)。其中，本文算法在非遮擋區(qū)域與全部區(qū)域與GA-Net算法對(duì)比分別在13、10組數(shù)據(jù)上取得優(yōu)勢(shì)，平均值如表2所示，分別提高約5.02%、0.46%。分析認(rèn)為，雖然GA-Net使用訓(xùn)練好的模型，但是當(dāng)應(yīng)用本文使用的數(shù)據(jù)集時(shí)，由于缺少特征信息導(dǎo)致切換場(chǎng)景時(shí)匹配效果下降，深度學(xué)習(xí)算法在陌生場(chǎng)景效果較差。而本文算法不需要進(jìn)行訓(xùn)練且能取得較好效果。

另外，本文算法與AD-Census與ELAF兩個(gè)傳統(tǒng)算法相比同樣能取得顯著優(yōu)勢(shì)。本文算法在非遮擋區(qū)域與全部區(qū)域與AD-Census算法相比都能在12組數(shù)據(jù)上取得優(yōu)勢(shì)，經(jīng)對(duì)15組數(shù)據(jù)計(jì)算，誤匹配率總降低分別為68.15%、73.11%，平均降低分別為4.3%、4.9%。對(duì)于ELASF算法，本文算法在非遮擋區(qū)域與全部區(qū)域分別能取得9、10組優(yōu)勢(shì)數(shù)據(jù)，經(jīng)對(duì)全部的15組數(shù)據(jù)計(jì)算，誤匹配率總降低分別為5.23%、12.22%。

4.2　不同迭代次數(shù)對(duì)比

為說(shuō)明本文算法效率上的提升，圖9給出了本文算法與PMS算法迭代11次的結(jié)果，其中紅色表示本文算法逐次迭代結(jié)果，其他顏色表示PMS算法的逐次迭代結(jié)果。兩種方法采用堆疊的方式顯示，直觀上當(dāng)條形柱全都被紅色覆蓋時(shí)，表示本文算法誤匹配率高于PMS的誤匹配率；反之，則低于PMS的誤匹配率。

圖9  本文算法與PMS算法的11次迭代結(jié)果

Fig.9  Results of 11 iterations of the algorithm in this paper and the PMS algorithm

下載: 原圖 | 高精圖 | 低精圖

由圖9可知，本文算法在多次迭代過(guò)程中不僅與PMS算法同樣保證了收斂性，而且效果更優(yōu)。對(duì)于多數(shù)圖像對(duì)，局部一致性平行窗口模型在完成第一次迭代時(shí)誤匹配率就已經(jīng)低于PMS的誤匹配率，這表明本文算法在更少的計(jì)算開(kāi)銷下，達(dá)到了更優(yōu)于PMS算法的性能。

表3對(duì)比了本文算法與PMS算法前3次迭代結(jié)果，加粗?jǐn)?shù)據(jù)項(xiàng)表示該次迭代最優(yōu)值。由表可知，無(wú)論使用PMS算法還是本文算法，第二次迭代傳播的誤匹配率會(huì)顯著降低。而在第二次迭代傳播的結(jié)果中，與PMS算法相比，局部一致性平行窗口取得了13組的優(yōu)勢(shì)（與第三次迭代結(jié)果相同），局部一致性傾斜窗口取得了12組的優(yōu)勢(shì)；同時(shí)局部一致性平行窗口有11組最優(yōu)數(shù)據(jù)（與第三次迭代結(jié)果相同），局部一致性傾斜窗口只有兩組最優(yōu)。通過(guò)第三次迭代結(jié)果減去第二次迭代結(jié)果可知，本文算法誤匹配率在MotorcycleE組升高最多為0.35%，在ArtL組降低最多為0.29%，誤匹配率平均降低0.1%；PMS算法在Adirondack組升高最多為0.74%，在MotorcycleE組降低最多為0.37%，誤匹配率平均上升0.01%。既PMS算法迭代3次時(shí)，其誤匹配率不會(huì)明顯升高，而局部一致性平行窗口也未有明顯變化。因此，相對(duì)于PMS算法提出的3次迭代達(dá)到最好的效果，本文算法則提出進(jìn)行2次迭代效果最好，且減少迭代次數(shù)能夠減少計(jì)算量從而提高算法效率。

表3  不同迭代次數(shù)的誤匹配率

Tab.3  Mismatch rate for different iterations( % )

Data name 第一次迭代 第2次迭代 第3次迭代

PMS Prop-sla Prop-par PMS Prop-sla Prop-par PMS Prop-sla Prop-par

Adirondack 20.08 16.43 9.820 21.35 20.37 6.574 22.09 21.27 6.669

ArtL 18.35 15.48 22.03 15.42 14.43 13.54 15.48 14.14 13.25

Jadeplant 28.23 27.58 49.50 25.25 24.84 46.54 24.95 24.93 45.66

Motorcycle 15.82 14.19 13.72 14.68 13.78 11.44 14.49 13.73 11.67

MotorcycleE 21.26 17.59 16.08 20.30 17.41 13.57 19.93 17.51 13.92

Piano 28.43 26.92 28.41 27.19 25.95 25.88 27.03 25.95 25.67

PianoL 43.32 40.45 37.01 43.79 42.37 34.41 43.56 43.82 34.13

Pipes 18.51 16.82 19.55 17.79 16.84 15.58 17.76 16.94 15.39

Playroom 33.01 30.22 31.27 32.12 30.48 27.07 31.99 30.75 27.15

Playtable 17.99 18.45 22.34 19.03 19.52 17.59 19.53 19.80 17.54

PlaytableP 12.45 11.75 14.65 12.43 12.07 10.90 12.48 11.90 10.70

Recycle 21.66 20.45 18.85 20.76 20.87 16.54 21.42 21.30 16.65

Shelves 50.53 50.10 46.20 50.09 49.76 46.29 49.86 49.76 46.63

Teddy 7.471 7.015 9.251 6.83 7.632 6.013 6.809 7.609 6.097

Vintage 31.64 30.20 45.19 29.78 29.12 41.14 29.70 29.51 40.26

下載: 導(dǎo)出CSV

5 結(jié)論

本文提出的基于局部一致性約束的立體匹配算法不僅能降低誤匹配率，而且減少了迭代次數(shù)，使算法效率得到提高。針對(duì)PMS算法忽略視差連續(xù)性約束這一重要假設(shè)的問(wèn)題，本文通過(guò)稀疏匹配得到魯棒性高的支撐點(diǎn)集，使后面求得的平面參數(shù)更加接近于正確解。通過(guò)三角剖分劃分點(diǎn)集為圖像中的像素點(diǎn)找到接近于正確解的平面，求出每個(gè)平面的平面參數(shù)并賦值給平面內(nèi)的點(diǎn)，在保證連續(xù)性約束的同時(shí)減少了后續(xù)迭代次數(shù)。另外，本文根據(jù)自身算法優(yōu)化迭代傳播過(guò)程，通過(guò)迭代傳播為每個(gè)像素點(diǎn)找到更準(zhǔn)確的平面，求出視差值并進(jìn)行視差后處理。在Middlebury數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：本文算法與PMS算法相比，平均誤匹配率降低了4.39%，其中對(duì)單個(gè)圖像誤匹配率最高降低15.42%。本文算法通過(guò)在初始階段為像素點(diǎn)找到接近于正確解的平面，解決了需要多次迭代找到正確解的問(wèn)題，在降低誤匹配率的同時(shí)減少了迭代次數(shù)，進(jìn)而減少了計(jì)算量。