結(jié)合SML與差分圖像的多聚焦圖像融合算法

由于光學(xué)系統(tǒng)景深的限制，很難將處于不同景深的目標(biāo)都清晰地顯示在所拍攝的圖像上。多聚焦圖像融合是解決這一問(wèn)題的有效途徑。多聚焦圖像融合將來(lái)自同一場(chǎng)景不同聚焦區(qū)域的兩幅或多幅圖像進(jìn)行融合，從而產(chǎn)生一幅全清晰的圖像，融合后的圖像與任何一幅輸入圖像相比都具有更大的信息量。多聚焦圖像融合多應(yīng)用于圖像處理、視覺(jué)感知和計(jì)算機(jī)視覺(jué)等領(lǐng)域［1］。

多聚焦圖像融合算法可以大致分為基于空間域的算法以及基于變換域的算法。其中，基于變換域的方法包括3個(gè)階段：圖像變換、系數(shù)融合以及逆變換［2］。在此類(lèi)算法中，常用的有基于多尺度分解下的融合方法例如金字塔變換［3］、小波變換［4］、非下采樣Shearlet變換［5］等，以及不同于傳統(tǒng)變換域方法的基于稀疏表示（SR）［6］和基于梯度域（GD）［7］的方法?；谧儞Q域的方法需要進(jìn)行融合圖像逆變換，計(jì)算復(fù)雜度高，而基于空間域的方法直接對(duì)源圖像進(jìn)行融合，易于實(shí)現(xiàn)圖像融合的實(shí)時(shí)性。這類(lèi)方法可以大致分為3種：基于塊的方法、基于區(qū)域的方法以及基于像素的方法［8］。在基于塊的方法中，首先將源圖像劃分成大小相等的塊，然后對(duì)每一塊進(jìn)行聚焦度量。然而塊的大小的劃分影響融合結(jié)果，容易產(chǎn)生塊效應(yīng)。在基于區(qū)域的算法中，利用分割技術(shù)對(duì)源圖像進(jìn)行區(qū)域劃分，再計(jì)算每一個(gè)區(qū)域的清晰度。但這一類(lèi)算法的性能受到分割技術(shù)的限制，融合圖像易產(chǎn)生偽影。為此，Zhang等人［9］提出了一種基于邊界的多聚焦圖像融合算法，將聚焦區(qū)域的檢測(cè)任務(wù)視為從源圖像中找到聚焦區(qū)域和散焦區(qū)域之間的邊界，根據(jù)找到的邊界，生成具有良好視覺(jué)效果的融合圖像，但其中的分水嶺算法對(duì)于尖銳的梯度敏感限制了該算法的性能。Li等人［10］提出一種基于引導(dǎo)濾波的多聚焦圖像融合算法，能夠保存多個(gè)輸入圖像的原始信息和互補(bǔ)信息，但由于不能夠正確識(shí)別出圖像的聚焦區(qū)域，造成融合圖像邊緣模糊。

針對(duì)上述算法出現(xiàn)的問(wèn)題，本文提出一種結(jié)合改進(jìn)拉普拉斯能量和（SML）和差分圖像的多聚焦圖像融合算法。SML在處理圖像邊緣和紋理細(xì)節(jié)上有較大的優(yōu)勢(shì)，但不能充分利用圖像的局部信息。針對(duì)這個(gè)不足，本文在進(jìn)行SML聚焦檢測(cè)后再利用引導(dǎo)濾波，得到更精確的聚焦度量結(jié)果。由于單一的SML聚焦檢測(cè)并不能夠識(shí)別圖像的全部顯著特征，因此結(jié)合差分圖像算法對(duì)源圖像進(jìn)行聚焦度量。通過(guò)兩種方法結(jié)合能夠提取更多的圖像特征，并通過(guò)對(duì)融合決策圖進(jìn)行不一致性處理，能夠較好地區(qū)分圖像邊界周?chē)募?xì)節(jié)信息。實(shí)驗(yàn)證明，該算法能夠保留圖像的邊緣、紋理等顯著特征，并在邊界融合上具有更好的視覺(jué)效果，融合時(shí)間較短，保證了算法的實(shí)時(shí)性。

2 所提出方法

本文算法流程如圖1所示，融合過(guò)程主要分為3個(gè)步驟。首先，利用SML和濾波差分對(duì)源圖像分別進(jìn)行聚焦區(qū)域檢測(cè)，得到聚焦特征圖像；接著，對(duì)聚焦特征圖像取絕對(duì)值最大得到初始融合決策圖，通過(guò)小區(qū)域去除策略消除噪點(diǎn)，并對(duì)聚焦區(qū)域進(jìn)行不一致處理，得到最終融合決策圖；最后，根據(jù)決策圖對(duì)源圖像逐像素加權(quán)平均，得到融合圖像。

圖1  融合算法框架

Fig.1  Framework of image fusion algorithm

下載: 原圖 | 高精圖 | 低精圖

2.1　聚焦區(qū)域檢測(cè)

聚焦度量用于評(píng)估局部像素銳度。對(duì)于一幅多聚焦圖像，聚焦區(qū)域比散焦區(qū)域更尖銳，聚焦度量的最大值意味著產(chǎn)生最佳的聚焦圖像，因此，在多聚焦融合領(lǐng)域，源圖像的聚焦區(qū)域必須產(chǎn)生最大的聚焦度量值，散焦區(qū)域必須產(chǎn)生最小的聚焦度量值［11］。在這種情況下，正確檢測(cè)源圖像的聚焦區(qū)域非常重要。本節(jié)提出的聚焦區(qū)域檢測(cè)主要包括SML聚焦度量和差分圖像兩部分。

2.1.1　SML聚焦度量

在空間域中常用的聚焦度量方法有方差（Variance）、空間頻率（Spatial frequency，SF）、梯度能量和（Energy of gradient，EOG）、改進(jìn)的拉普拉斯能量和（SML）、雙邊梯度強(qiáng)度法（Tenengrad）等［12］。文獻(xiàn)［13］對(duì)不同聚焦度量方法區(qū)分清晰圖像塊和模糊圖像塊的能力進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果表明，SML能夠代替SF作為圖像清晰度的測(cè)量，并且相比于其他方法提供了一種更好的相鄰像素的顯著相關(guān)性。故本研究最終選擇SML用來(lái)實(shí)現(xiàn)對(duì)源圖像的聚焦度量，其定義如下：

ML(x,y)=|2I(x,y)?I(x?step,y)?I(x+step,y)|+|2I(x,y)?I(x,y?step)?I(x,y+step)|

 ， （1）

式（1）中：ML為改進(jìn)的拉普拉斯算子；I(x,y)為源圖像的像素值；step是像素間的可變間距，受圖像噪聲和亮度變化影響，噪聲越小，亮度變化越小，則step就越小，這里step=1。

SML(x,y)=∑p=?PP∑q=?QQML(x+p,y+q)

 ， （2）

其中：SML為點(diǎn)(x,y)處的聚焦度量，(2P+1)×(2Q+1)為聚焦度量的窗口大小。

首先利用式（3）和式（4）對(duì)源圖像I1（圖2（a1）虛線(xiàn)左側(cè)為散焦區(qū)域，右側(cè)為聚焦區(qū)域）和I2（圖2（a2））進(jìn)行聚焦度量，得到聚焦圖S1和S2，如圖2（b）所示。

S1(x,y)=SML(I1(x,y))

 ， （3）

S2(x,y)=SML(I2(x,y))

 . （4）

圖2  SML聚焦檢測(cè)結(jié)果圖。（a）源圖像；（b）SML聚焦圖；（c）引導(dǎo)濾波優(yōu)化結(jié)果。

Fig.2  Results of SML. （a） Source images；（b） Focus maps of SML；（c） Refined maps of SML by guided filter.

下載: 原圖 | 高精圖 | 低精圖

為了解決SML不能充分利用圖像局部信息的問(wèn)題，采用復(fù)雜低并且具有局部特征保持特性的引導(dǎo)濾波器。當(dāng)引導(dǎo)圖像和輸入圖像不同時(shí)，高頻信息在引導(dǎo)圖像中直接輸出，使得輸入圖像擁有引導(dǎo)圖像的部分特征［14］。

He等人［15］提出了具有保邊平滑特性的引導(dǎo)濾波器，其關(guān)鍵在于構(gòu)造引導(dǎo)圖像I和濾波輸出圖像Q之間的局部線(xiàn)性模型，具體公式如式（5）所示：

Qi=akIi+bk , ?i∈ωk

 ， （5）

其中：i、k為像素索引；ωk是以像素k為中心、r為半徑的一個(gè)局部窗口；ak、bk為線(xiàn)性系數(shù)，在ωk中為常數(shù)。P為輸出圖像Q受到噪聲等污染后退化的圖像，通過(guò)最小化P和Q之間的誤差E，可求解出ak和bk的值。

E(ak,bk)=∑i∈ωk((akIi+bk?Pi)2+εa2k)

 ， （6）

式中：ε>0，為正則化參數(shù)，其作用是防止ak的值過(guò)大。

使用引導(dǎo)濾波后得到的聚焦圖像為MS1和MS2，如圖2（c）所示，該過(guò)程如式（7）和式（8）所示：

MS1(x,y)=Gr,ε(I1(x,y),S1(x,y),r,ε)

 ， （7）

MS2(x,y)=Gr,ε(I2(x,y),S2(x,y),r,ε)

 ， （8）

其中：Gr,ε表示引導(dǎo)濾波運(yùn)算，ε為使用引導(dǎo)濾波后的模糊程度，值越大，平滑效果越明顯。本文設(shè)置r=5,ε=0.3。

2.1.2　差分圖像

在多聚焦圖像中，聚焦區(qū)域比散焦區(qū)域包含更多的顯著特征信息，單純利用SML聚焦度量無(wú)法有效識(shí)別圖像的顯著特征，所融合生成的圖像質(zhì)量不佳，因此在利用SML進(jìn)行聚焦檢測(cè)的同時(shí)，本文結(jié)合濾波差分［16］對(duì)源圖像進(jìn)行聚焦檢測(cè)。

首先利用均值濾波對(duì)源圖像I1和I2進(jìn)行濾波處理，過(guò)程如式（9）和式（10）所示：

A1(x,y)=I1(x,y)*fm

 ， （9）

A2(x,y)=I2(x,y)*fm

 . （10）

其中：fm為均值濾波器，*表示卷積操作。

再將濾波后的圖像A1和A2與源圖像作差分取其絕對(duì)值，提取源圖像在像素點(diǎn)(x,y)的高頻信息D1和D2，如圖3（b）所示，該過(guò)程如式（11）和式（12）所示：

圖3  差分圖像聚焦檢測(cè)結(jié)果圖。（a）源圖像；（b）差分圖像；（c）引導(dǎo)濾波優(yōu)化結(jié)果。

Fig.3  Results of difference image. （a） Source images；（b） Difference images；（c） Refined maps of difference image by guided filter.

下載: 原圖 | 高精圖 | 低精圖

D1(x,y)=|I1(x,y)?A1(x,y)|

 ， （11）

D2(x,y)=|I2(x,y)?A2(x,y)|

 . （12）

引導(dǎo)濾波通過(guò)計(jì)算引導(dǎo)圖像的內(nèi)容進(jìn)行濾波輸出，能夠較好地保持邊緣、紋理等圖片信息［15］。因此，在濾波差分的基礎(chǔ)上，本文采用引導(dǎo)濾波得到聚焦圖像MD1和MD2，如圖3（c）所示，獲得了更多的高頻信息。該過(guò)程如式（13）和式（14）所示：

MD1(x,y)=Gr,ε(I1(x,y),D1(x,y),r,ε)

 ， （13）

MD2(x,y)=Gr,ε(I2(x,y),D2(x,y),r,ε)

 ， （14）

其中：Gr,ε表示對(duì)濾波差分后的圖像D1和D2進(jìn)行引導(dǎo)濾波運(yùn)算，引導(dǎo)濾波參數(shù)設(shè)置與SML聚焦度量的引導(dǎo)濾波參數(shù)設(shè)置相同。

2.2　融合決策圖生成

2.2.1　初始融合決策圖生成

通過(guò)上述聚焦區(qū)域檢測(cè)，分別計(jì)算得到源圖像I1和I2在兩種聚焦度量方法的聚焦度映射圖MS1、MS2、MD1和MD2。根據(jù)式（15）和式（16）生成初始決策圖IS和ID，如圖4（a）~（b）所示。

圖4  初始決策圖生成過(guò)程。（a）SML的初始決策圖；（b）差分圖像的初始決策圖；（c）圖4（a）經(jīng)小區(qū)域去除后的結(jié)果；（d）圖4（b）小區(qū)域去除后的結(jié)果。

Fig.4  Generation process of initial decision map. （a） Initial decision map of SML；（b） Initial decision map of difference image；（c） Result of Fig.4 （a） with small region removal strategy；（d） Result of Fig.4 （b） with small region removal strategy.

下載: 原圖 | 高精圖 | 低精圖

IS(x,y)={1,  if  MS1(x,y)>MS2(x,y)0,  otherwise

 ， （15）

ID(x,y)={1,  if  MD1(x,y)>MD2(x,y)0,  otherwise

 . （16）

初始決策圖IS和ID中還有一些沒(méi)有檢測(cè)出的噪點(diǎn)（圖4紅色框內(nèi)），使得黑色背景中包含白色像素，而在白色背景中也同樣還有黑色像素，其原因在于，在沒(méi)有高頻信息的區(qū)域下聚焦和散焦的狀態(tài)是相似的。因此，對(duì)初始決策圖分別利用小區(qū)域去除策略來(lái)解決這些問(wèn)題，其計(jì)算公式如式（17）和式（18）所示：

FS(x,y)=bwareaopen(IS(x,y),SAREA)

 ， （17）

FD(x,y)=bwareaopen(ID(x,y),SAREA)

 . （18）

Bwareaopen函數(shù)用于刪除二值圖像中面積小于SAREA的對(duì)象，其中SAREA=R×H×W，R是比率因子，H為源圖像高度，W為源圖像寬度。R的值決定了被刪除的區(qū)域大小，這里R=0.01。FS和FD分別為初始決策圖IS和ID采用小區(qū)域去除策略校正錯(cuò)誤檢測(cè)像素后的圖像，結(jié)果如圖4（c）~（d）所示。

2.2.2　決策圖優(yōu)化

基于空間域的多聚焦圖像融合算法在邊界處理上常出現(xiàn)塊效應(yīng)或邊界模糊等問(wèn)題，文獻(xiàn)［17］在聚焦區(qū)域檢測(cè)時(shí)將兩種聚焦度量方法相結(jié)合得到粗略的聚焦圖像，但不能很好地區(qū)分圖像邊界周?chē)募?xì)節(jié)信息，造成融合邊緣模糊。因此本文借助文獻(xiàn)［18］的方法在生成融合決策圖后，再通過(guò)不一致處理對(duì)融合決策圖進(jìn)行校正，使得對(duì)邊緣信息處理更為準(zhǔn)確，能夠更好地區(qū)分聚焦區(qū)域和散焦區(qū)域。

首先，對(duì)融合決策圖FS或FD進(jìn)行不一致檢查，過(guò)程如式（19）所示：

FI(x,y)={1,   if  FS(x,y)≠FD(x,y)0,   otherwise

 . （19）

接著，對(duì)于所有滿(mǎn)足FI(x,y)=1的不一致區(qū)域，選擇以(i,j)為中心的區(qū)域，記為RS和RD，計(jì)算公式如式（20）所示：

{FS(i,j)=1?FS(i,j),   if  std(RS)≠0FD(i,j)=1?FD(i,j),   otherwise

 ， （20）

其中std表示標(biāo)準(zhǔn)差運(yùn)算。

最后，得到最終決策圖FC如圖5（a）所示，過(guò)程如式（21）所示：

FC(x,y)=FS(x,y)=FD(x,y)

 . （21）

圖5  最終決策圖生成和圖像融合結(jié)果。（a）最終決策圖；（b）融合圖像。

Fig.5  Generation process of final decision map and result of image fusion. （a） Final decision map； （b） Fused image.

下載: 原圖 | 高精圖 | 低精圖

2.3　圖像融合

基于最終決策圖FC利用像素加權(quán)平均規(guī)則進(jìn)行融合，得到融合圖像F，結(jié)果如圖5（b）所示，其表達(dá)式為：

F(x,y)=FC(x,y)I1(x,y)+(1?FC(x,y))I2(x,y)

 . （22）

3 實(shí)驗(yàn)結(jié)果與分析

3.1　實(shí)驗(yàn)設(shè)置

為了評(píng)估所提出算法的性能，選取公共數(shù)據(jù)集中的30對(duì)多聚焦圖像作為測(cè)試圖像，如圖6所示，其中20對(duì)為彩色圖像來(lái)自L(fǎng)ytro多聚焦數(shù)據(jù)集，其余10對(duì)為灰度圖像，分別從主觀視覺(jué)效果和客觀定量評(píng)估對(duì)融合結(jié)果進(jìn)行分析。實(shí)驗(yàn)計(jì)算機(jī)配置為：Intel（R） Core（TM） i7-5500U CPU，實(shí)驗(yàn)平臺(tái)為Matlab2020a。將所提出算法與DSIFT［19］、CNN［20］、SIGPRO［21］、FGF［22］、CDL［23］等目前具有代表性的5種方法進(jìn)行了對(duì)比實(shí)驗(yàn)，對(duì)比方法中的參數(shù)設(shè)置均與各對(duì)應(yīng)文獻(xiàn)保持一致。

圖6  實(shí)驗(yàn)中使用的數(shù)據(jù)集圖像

Fig.6  Images of dataset used in experiment

下載: 原圖 | 高精圖 | 低精圖

3.2　聚焦度量評(píng)估

為了驗(yàn)證所提出的聚焦度量方法的有效性，選擇7組經(jīng)典且具有參考圖像的多聚焦圖像，將所提出的SML結(jié)合引導(dǎo)濾波的聚焦度量方法與EOG［24］、Tenengrad［25］、SF［26］、Variance、SML［27］等5種經(jīng)典聚焦度量方法進(jìn)行實(shí)驗(yàn)對(duì)比。利用融合圖像與參考圖像間的結(jié)構(gòu)相似性（SSIM）值作為聚焦度量評(píng)估指標(biāo)，衡量不同聚焦度量方法區(qū)分聚焦區(qū)域和散焦區(qū)域的能力。具體過(guò)程如下：

（1）計(jì)算多聚焦圖像A和B的聚焦程度，分別用MA和MB表示。

（2）根據(jù)式（23）得到源圖像的決策圖：

M(x,y)={1,   if  MA(x,y)>MB(x,y)0,   otherwise

 . （23）

（3）根據(jù)決策圖對(duì)源圖像進(jìn)行加權(quán)平均得到融合圖像。

（4）計(jì)算融合圖像與參考圖像之間的SSIM值。

不同聚焦度量方法融合以圖像“l(fā)ab”為示例，結(jié)果如圖7所示。從圖7可以看出，所提出的方法得到的融合圖像獲得了較高的融合質(zhì)量，能夠較好地處理圖像邊緣信息，邊緣輪廓也更加清晰。

圖7  不同聚焦度量方法融合“l(fā)ab”圖像

Fig.7  Fusion results of“l(fā)ab”image by different focus measures

下載: 原圖 | 高精圖 | 低精圖

表1為不同聚焦度量方法下的SSIM值，其中最好的結(jié)果用粗體顯示。由表1可以看出，所提出的聚焦度量方法在7組圖像對(duì)中均取得更優(yōu)的結(jié)果，這進(jìn)一步證明了所提出聚焦度量方法的有效性。

表1  不同聚焦度量方法下7組圖像的SSIM值

Tab.1  SSIM values of 7 groups by different focus measures

EOG Tenengrad SF Variance SML Proposed

book 0.971 3 0.989 9 0.971 1 0.977 5 0.984 9 0.996 2

Jug 0.955 6 0.978 8 0.955 5 0.982 1 0.945 0 0.988 0

rose 0.905 8 0.946 9 0.905 4 0.895 9 0.945 5 0.989 4

clock 0.957 0 0.977 8 0.957 2 0.965 1 0.969 5 0.982 0

disk 0.938 8 0.963 3 0.938 0.967 5 0.960 4 0.983 7

lab 0.970 0 0.982 1 0.970 0.989 4 0.978 7 0.993 5

pepsi 0.943 7 0.964 7 0.944 1 0.974 3 0.945 3 0.980 4

下載: 導(dǎo)出CSV

3.3　聚焦區(qū)域檢測(cè)評(píng)估

將一組彩色圖像和一組灰度圖像作為測(cè)試圖像，用以比較不同算法區(qū)分聚焦區(qū)域和散焦區(qū)域的性能，結(jié)果如圖8所示。由圖8可以看出，SIGPRO方法和CDL方法檢測(cè)到的聚焦區(qū)域不夠準(zhǔn)確，將聚焦區(qū)域的高頻信息錯(cuò)誤識(shí)別成散焦區(qū)域內(nèi)的像素；DSIFT方法受到背景區(qū)域梯度信息的影響，分割出的聚焦區(qū)域邊緣處理比較粗糙；雖然CNN和FGF方法能夠獲得較好的融合結(jié)果，但融合邊緣模糊。相較之下，所提出的方法通過(guò)結(jié)合兩種不同聚焦度量算法對(duì)邊緣信息處理更為準(zhǔn)確，能夠準(zhǔn)確區(qū)分聚焦區(qū)域和散焦區(qū)域，融合邊界輪廓更為清晰完整。

圖8  不同聚焦檢測(cè)方法所得到的融合結(jié)果和決策圖

Fig.8  Fusion result and decision map of different methods

下載: 原圖 | 高精圖 | 低精圖

3.4　主觀視覺(jué)評(píng)價(jià)

在多聚焦圖像融合領(lǐng)域，良好的視覺(jué)效果意味著有效的融合。實(shí)驗(yàn)選取1對(duì)彩色多聚焦圖像“Diver”和1對(duì)灰度圖像“Book”作為示例進(jìn)行視覺(jué)評(píng)估，實(shí)驗(yàn)結(jié)果分別如圖9、圖10所示。

圖9  “Diver”融合圖像與殘差圖像

Fig.9  Fusion results and residual images for “Diver” image

下載: 原圖 | 高精圖 | 低精圖

圖10  “Book”融合圖像與殘差圖像

Fig.10  Fusion results and residual images for “Book” image

下載: 原圖 | 高精圖 | 低精圖

圖9給出了不同融合方法下“Diver”彩色圖像的融合結(jié)果。為了更直觀地區(qū)分不同算法的融合性能，在融合結(jié)果下方列出了融合圖像與左聚焦源圖像進(jìn)行差分得到的差值圖像以及部分標(biāo)記區(qū)域的放大圖像。由圖9融合圖像可以看出，CNN方法和FGF方法在潛水器上方有一塊模糊區(qū)域，在鏡框邊緣、潛水器邊緣存在不同程度的模糊，影響整體圖像的融合效果；DSIFT方法在潛水器邊緣融合效果不佳，在潛水器上方較源圖像有輕微凹陷，整體看起來(lái)比較突兀；SIGPRO和CDL等方法的整體融合效果較好，但在圖像邊緣存在輕微模糊現(xiàn)象。此外，由圖9的差值圖像以及部分標(biāo)記區(qū)域的放大圖像還可以看出，F(xiàn)GF、CDL等方法存在不同程度的信息殘余（箭頭指出），即源圖像中散焦部分像素被轉(zhuǎn)移到其融合圖像中；DSIFT、CNN、SIGPRO、CDL以及本文提出的算法則沒(méi)有產(chǎn)生信息殘余。與其他方法相比，本文提出的方法融合效果較好，并未出現(xiàn)圖像模糊、邊緣偽影等問(wèn)題，在圖像背景部分和邊界區(qū)域附近幾乎沒(méi)有信息殘留，具有更良好的視覺(jué)效果。

不同融合方法在灰度圖像“Book”的融合結(jié)果如圖10所示。為了更好地對(duì)比不同算法的融合性能，在融合結(jié)果下方列出了融合圖像與左聚焦源圖像進(jìn)行差分得到的差值圖像以及部分標(biāo)記區(qū)域的放大圖像。通過(guò)觀察圖10的融合圖像可知，SIGPRO、FGF、CDL等方法的融合圖像在書(shū)頁(yè)處因?yàn)闆](méi)能夠正確識(shí)別出清晰區(qū)域，導(dǎo)致在融合結(jié)果圖中出現(xiàn)一小塊模糊區(qū)域；DSIFT方法的融合圖像沒(méi)能很好地進(jìn)行圖像邊緣配準(zhǔn)，在圖中大寫(xiě)字母O處出現(xiàn)邊緣缺失，損失了部分邊緣梯度信息；而CNN和本文提出的方法的整體融合效果較好。在圖10的差值圖像以及部分標(biāo)記區(qū)域的放大圖像中，SIGPRO、FGF、CNN等方法在書(shū)頁(yè)邊緣存在錯(cuò)誤檢測(cè)像素，造成融合圖像邊緣模糊和不自然；DSIFT和本文提出的算法能夠有效檢測(cè)聚焦區(qū)域，在殘差圖像左側(cè)像素值為0。這表明本文所提出的方法能夠較好地保留源圖像中的有用信息，融合邊界更完整清晰，同時(shí)有效避免了偽影問(wèn)題。

3.5　客觀定量評(píng)價(jià)

為了更好地對(duì)融合圖像進(jìn)行全面評(píng)估，除了通過(guò)主觀視覺(jué)評(píng)估之外，還采用客觀評(píng)價(jià)指標(biāo)對(duì)融合結(jié)果進(jìn)行定量分析。不同的多聚焦圖像融合算法在不同的評(píng)估指標(biāo)上可能有很大的差異，為了減少單個(gè)指標(biāo)的不完備性，使用多個(gè)指標(biāo)來(lái)評(píng)估融合圖像質(zhì)量。本文選取7個(gè)常用的融合質(zhì)量評(píng)估指標(biāo)來(lái)廣泛地評(píng)估其融合效果［28］，將這7個(gè)指標(biāo)分為4類(lèi)，分別是基于信息論的QNCIE、QMI、QFMI；基于圖像特征的QG、QM；基于結(jié)構(gòu)相似性的QY；以及基于人類(lèi)感知的QCB。選取的所有指標(biāo)均為數(shù)值越大，融合效果越好。

表2和表3為不同融合算法在彩色數(shù)據(jù)集和灰度數(shù)據(jù)集上的客觀性能。對(duì)于每種算法，分別取兩個(gè)數(shù)據(jù)集上所有圖像對(duì)的指標(biāo)平均值，并將每個(gè)指標(biāo)平均值中取得最優(yōu)的算法進(jìn)行字體加粗。

表2  不同方法下20組彩色圖像的平均評(píng)價(jià)指標(biāo)

Tab.2  Average evaluation metrics of 20 groups of color images under difference methods

QNCIE QMI QFMI QG QM QY QCB

DSIFT

CNN

SIGPRO

FGF

CDL

Proposed

0.845 4

0.842 9

0.844 8

0.843 0

0.844 7

0.845 6

1.187 6

1.151 2

1.178 8

1.132 7

1.177 5

1.189 7

0.608 0

0.605 2

0.607 5

0.601 6

0.595 1

0.610 3

0.726 5

0.725 0

0.726 1

0.720 7

0.707 9

0.727 3

2.640 4

2.396 5

2.592 5

2.172 6

2.642 6

2.641 2

0.987 6

0.987 0

0.987 8

0.985 5

0.975 4

0.988 7

0.809 3

0.808 3

0.810 4

0.799 9

0.790 1

0.809 5

下載: 導(dǎo)出CSV

表3  不同方法下10組灰度圖像的平均評(píng)價(jià)指標(biāo)

Tab.3  Average evaluation metrics of 10 groups of gray images under difference methods

QNCIE QMI QFMI QG QM QY QCB

DSIFT

CNN

SIGPRO

FGF

CDL

Proposed

0.848 3

0.847 1

0.848 1

0.846 0

0.848 0

0.849 0

1.251 3

1.231 0

1.244 5

1.211 2

1.247 7

1.260 1

0.656 3

0.660 5

0.657 5

0.659 4

0.647 4

0.665 1

0.719 8

0.723 5

0.719 7

0.722 5

0.710 1

0.725 9

2.524 7

2.428 4

2.515 6

2.302 2

2.541 5

2.539 4

0.972 1

0.981 8

0.979 5

0.980 5

0.962 5

0.980 4

0.797 3

0.801 9

0.795 0

0.797 6

0.774 8

0.798 0

下載: 導(dǎo)出CSV

從表2和表3可以看出，在彩色圖像中，本文所提出方法的QNCIE、QMI、QFMI、QG和QY均優(yōu)于其他5種算法，僅在QM和QCB略低于其他算法。在灰度圖像中，本文所提出方法的QNCIE、QMI、QFMI和QG均優(yōu)于其他5種算法，僅在QM、QY和QCB略低于其他算法。即本文所提出的方法在基于信息論、基于圖像特征、基于結(jié)構(gòu)相似性的指標(biāo)上都基本優(yōu)于其他算法，在基于人類(lèi)特征感知中的指標(biāo)平均值也僅以微小差距低于其他方法。綜合上述分析，在客觀評(píng)價(jià)指標(biāo)上所提出方法的性能優(yōu)于其他方法。

實(shí)驗(yàn)結(jié)果表明，本文所提出方法在主觀和客觀評(píng)價(jià)獲得了一致的結(jié)果，較好地保留了源圖像的信息量，融合圖像清晰程度較高，能夠有效地提取邊緣信息，總體取得了較好的融合效果。

3.6　時(shí)間成本

本節(jié)主要是計(jì)算出在灰度和彩色圖像上不同算法的平均時(shí)間，比較不同融合算法在時(shí)間成本上的差異，具體數(shù)值如表4所示，將運(yùn)行時(shí)間最短的算法進(jìn)行字體加粗。

表4  不同融合算法計(jì)算的平均時(shí)間

Tab.4  Average consuming time calculated by different algorithms( s )

DSIFT CNN SIGPRO FGF CDL Proposed

Color images 6.745 4 165.177 8 26.832 2 13.913 8 2.649 7 0.395 9

Grayscale images 11.911 1 163.302 8 10.212 5 4.553 0 2.293 5 0.462 1

下載: 導(dǎo)出CSV

從表4可以看出，不同算法在彩色和灰度圖像上耗時(shí)不同，本文所提出的方法與其他算法相比，不論是在彩色圖像還是在灰度圖像上，運(yùn)行時(shí)間都是最短，并且運(yùn)行時(shí)間小于0.5 s，能夠保證算法的融合實(shí)時(shí)性。

4 結(jié)論

根據(jù)聚焦區(qū)域檢測(cè)方法在多聚焦圖像融合算法上的優(yōu)勢(shì)，提出了一種基于SML和差分圖像的多聚焦圖像算法。通過(guò)結(jié)合兩種聚焦檢測(cè)方法，能夠更準(zhǔn)確識(shí)別多聚焦圖像的聚焦區(qū)域，生成高質(zhì)量的融合圖像。不同圖像得到的仿真實(shí)驗(yàn)結(jié)果表明，所提出的方法在主觀與客觀評(píng)估指標(biāo)都表現(xiàn)出較好的融合結(jié)果，互信息QMI、特征互信息QFMI和圖像梯度特征QG在彩色圖像上分別提高了0.17%、0.38%和0.11%，在灰度圖像上分別提高了0.7%、0.69%和0.33%，并且融合所需的時(shí)間最短。此外，該方法能夠減少細(xì)節(jié)信息和邊緣信息的丟失，在聚焦區(qū)域銜接處無(wú)偽影產(chǎn)生，并且運(yùn)行時(shí)間較短，證明了所提出算法的有效性和實(shí)時(shí)性。