景深是光學(xué)系統(tǒng)中最近和最遠(yuǎn)的清晰成像平面之間的距離。景深越大，該光學(xué)系統(tǒng)可清晰成像的范圍就越廣。由于光學(xué)鏡頭的景深限制，難以獲得全聚焦圖像，即其中往往存在一部分模糊區(qū)域。解決這一問(wèn)題的有效方法之一是多聚焦圖像融合（MFIF）。MFIF旨在將對(duì)同一場(chǎng)景中的不同物體分別進(jìn)行聚焦得到的多幅局部聚焦圖像進(jìn)行融合，得到所有物體都清晰的全聚焦圖像。MFIF可以有效的擴(kuò)展光學(xué)鏡頭的景深，使成像系統(tǒng)突破景深限制，以獲得更高質(zhì)量的圖像。

目前，在MFIF領(lǐng)域中，深度學(xué)習(xí)方法的效果明顯優(yōu)于傳統(tǒng)算法。近年來(lái)，基于深度學(xué)習(xí)的MFIF算法發(fā)展迅速，但科學(xué)家往往致力于設(shè)計(jì)越來(lái)越復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)、模塊和損失函數(shù)來(lái)提升算法的融合性能。這意味著必須花費(fèi)大量的時(shí)間來(lái)設(shè)計(jì)巧妙的網(wǎng)絡(luò)結(jié)構(gòu)，并完成足夠多的對(duì)比實(shí)驗(yàn)。而這不利于算法性能的提升，導(dǎo)致當(dāng)前的MFIF算法性能遇到了瓶頸。

為此，中科院蘇州生物醫(yī)學(xué)工程技術(shù)研究所付威威團(tuán)隊(duì)重新考慮了圖像融合任務(wù)，并將其建模為一種條件生成模型。該團(tuán)隊(duì)結(jié)合當(dāng)前圖像生成領(lǐng)域效果最好的擴(kuò)散模型（Diffusion Models），提出了一種基于擴(kuò)散模型的MFIF算法——FusionDiff（FusionDiff的圖像融合原理如圖1所示）。這是該擴(kuò)散模型在多聚焦圖像融合領(lǐng)域的首次應(yīng)用，為該領(lǐng)域的研究提供了新思路。

圖1.FusionDiff算法的圖像融合原理示意圖

經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，F(xiàn)usionDiff在融合效果和小樣本學(xué)習(xí)性能上均優(yōu)于其他MFIF算法。FusionDiff在8種評(píng)價(jià)指標(biāo)上與13種代表性的MFIF算法進(jìn)行了對(duì)比，取得了最好的融合效果（表1、2）。同時(shí)，F(xiàn)usionDiff是一種小樣本學(xué)習(xí)的MFIF算法，僅需要100對(duì)訓(xùn)練集就能夠取得良好的融合效果。表3展示了不同MFIF算法的訓(xùn)練集規(guī)模，F(xiàn)usionDiff的訓(xùn)練集規(guī)模降低為其他算法的2%以內(nèi)。這意味著該算法可能適用于樣本稀缺的應(yīng)用場(chǎng)景，如顯微圖像融合。

表1.在Lytro公開(kāi)測(cè)試集上所有算法的平均得分

表2.在MFFW公開(kāi)測(cè)試集上所有算法的平均得分

表3.不同MFIF算法的訓(xùn)練集規(guī)模

相關(guān)研究成果以FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models為題，發(fā)表在《專家系統(tǒng)與應(yīng)用》（Expert Systems with Applications）上。研究工作得到山東省自然科學(xué)基金和中國(guó)科學(xué)院青年創(chuàng)新促進(jìn)會(huì)的支持。

論文鏈接：https://doi.org/10.1016/j.eswa.2023.121664