研究背景

三維顯示相較于二維顯示可以提供更加豐富的信息，對真實世界場景進行實時三維重建作為元宇宙和物聯(lián)網(wǎng)領(lǐng)域的關(guān)鍵技術(shù)有著廣闊的應(yīng)用前景。全息三維顯示被認(rèn)為是一種理想的三維顯示方案，提升三維全息圖的計算速度和重建質(zhì)量可以為實時三維重建提供堅實的支持。目前用于實現(xiàn)真實場景的全息三維重建的方法面臨成像質(zhì)量低、速度慢。因此，如何連續(xù)獲取真實世界場景的三維信息并進行快速且高質(zhì)量的全息三維重建是值得研究的問題。

導(dǎo)讀

南昌大學(xué)成像與視覺表示實驗室研究團隊提出了一種由物理模型和人工智能驅(qū)動的真實世界場景的實時智能三維全息攝影系統(tǒng)，實現(xiàn)真實世界場景的高質(zhì)量全息三維重建。該成果以“Real-time intelligent 3D holographic photography for real-world scenarios”為題發(fā)表于光學(xué)領(lǐng)域頂級國際期刊Optics Express。

主要研究內(nèi)容

研究團隊利用深度相機獲取真實場景的三維信息，采用層析法將其劃分為30層。利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)建強度圖和深度圖到計算全息圖（CGH）的映射。利用角譜算法的可微性實現(xiàn)CNN的自監(jiān)督訓(xùn)練，使用復(fù)合損失函數(shù)計算重建圖像與目標(biāo)圖像的損失以優(yōu)化網(wǎng)絡(luò)參數(shù)。訓(xùn)練好的CNN可以在14.5 ms內(nèi)根據(jù)輸入的強度圖和深度圖生成1024 1024的三維全息圖。CGH被加載到空間光調(diào)制器上進行顯示，可以用肉眼觀察到具有明顯深度變化的三維重建結(jié)果，所提系統(tǒng)的原理圖和實物圖如圖1所示。

 

圖1. 所提系統(tǒng)的原理圖和實物圖。

所提卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程圖如圖2所示。訓(xùn)練過程中，網(wǎng)絡(luò)輸入包含三維場景信息的強度圖和深度圖到Net1進行編碼，Net1由Unet架構(gòu)實現(xiàn)并輸出目標(biāo)振幅和相位場。使用角譜算法將目標(biāo)振幅和相位場向前傳播z0，得到全息平面的振幅和相位場。之后，將全息平面的振幅和相位場輸入Net2并生成全息圖，Net2由一個全卷積殘差網(wǎng)絡(luò)實現(xiàn)。使用角譜算法將全息圖隨機重建到三維物體的一層，計算并最小化重建圖像與目標(biāo)圖像的損失。通過反向傳播更新Net1和Net2的參數(shù)。訓(xùn)練中使用了由均方誤差損失和感知損失組成的復(fù)合損失函數(shù)。

 

圖2. 所提卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程圖。