| gangzi0801 |
2023-02-21 22:47 |
北大開發(fā)混合物理模型與深度學習的結(jié)構(gòu)光超分辨重構(gòu)算法
近年來，超分辨率熒光顯微鏡的發(fā)展極大地推動了人類對亞細胞結(jié)構(gòu)的研究。其中，基于結(jié)構(gòu)光照明的超分辨率熒光顯微鏡（SR-SIM）憑借其光子轉(zhuǎn)化效率高等優(yōu)點，非常適合活細胞的超分辨率成像。然而，北京大學陳良怡實驗室2018年的工作提出，盡管結(jié)構(gòu)光的光子轉(zhuǎn)化成為超分辨的效率比其他類型的超分辨率顯微鏡更高，但是由于它存在的反卷積重建過程會放大圖像中噪聲產(chǎn)生偽影，從而影響超分辨率圖像的可信度和定量化分析。在其提出利用時空連續(xù)性作為先驗知識開發(fā)的基于海森正則化項的迭代重建方法后，其他許多研究組也開發(fā)了不同的抑制偽影的方法。已有的基于物理模型或通用先驗知識的方法能夠抑制噪聲導致的偽影，但背景失焦引起的蜂窩狀偽影、光照散射引起的偽影等不能完全抑制。而深度神經(jīng)網(wǎng)絡重建方法雖然能夠更好地抑制重建超分辨率圖像導致的各種偽影，但可能會產(chǎn)生局部失真和分辨率降低。 Y%cA2V\#m
$,v+i
-
2023年1月，北京大學未來技術(shù)學院陳良怡教授團隊結(jié)合了物理模型和深度學習兩種重建方法的優(yōu)點，通過利用全深度變分（TDV）網(wǎng)絡作為重構(gòu)目標函數(shù)的正則化項，將其與SIM物理模型相結(jié)合，提出了一種混合重建方法（TDV-SIM），能夠在抑制偽影的同時保持分辨率。在處理不同細胞結(jié)構(gòu)的圖像時，TDV-SIM較單純的深度學習方法能夠更好地保留真實信號，同時比基于物理模型的方法能夠更有效地去除偽影。相關工作以題為“Hybrid reconstruction of the physical model with the deep learning that improves structured illumination microscopy”（doi:10.1117/1.APN.2.1.016012）的論文發(fā)表于Advanced Photonics Nexus上。 a_M nQ@
~l(tl[
研究團隊將TDV-SIM與其他重建方法進行了比較，包括基于物理模型（Wiener 反卷積，HiFi-SIM，Hessian-SIM）和基于深度學習的方法（scU-Net，DFCAN）。在短曝光時候，研究人員觀察活細胞中肌動蛋白絲、內(nèi)質(zhì)網(wǎng)以及線粒體等結(jié)構(gòu)的動態(tài)變化發(fā)現(xiàn)，基于物理模型的降噪方法在低信噪比背景區(qū)域由于噪聲放大仍然產(chǎn)生偽影。另一方面，雖然基于深度學習方法重建偽影較低，但它的分辨率和結(jié)構(gòu)相似度值都會降低，同時常常在復雜結(jié)構(gòu)如肌動蛋白和內(nèi)質(zhì)網(wǎng)的交叉點處以及線粒體內(nèi)嵴處等地方產(chǎn)生不準確的推斷，也就是常說的“幻覺效應”。這些問題可以被結(jié)合了物理模型約束的TDV-SIM很好地抑制�？傮w來說，TDV-SIM可以重構(gòu)出更多的連續(xù)肌動蛋白絲，且偽影更少，其結(jié)構(gòu)相似度值和分辨率與傳統(tǒng)重建方法相當。 jsht2]iq3K
wq`Kyhk
在深度學習盛行的今天，AI for science已經(jīng)深入人心。盡管如此，團隊的研究發(fā)現(xiàn)，純數(shù)據(jù)驅(qū)動方法在預測不斷變化的不規(guī)則和復雜樣品結(jié)構(gòu)時存在困難，在這種情況下考慮成像系統(tǒng)的物理模型約束變得至關重要。正如研究人員展示的：在面對結(jié)構(gòu)復雜、動態(tài)的樣品時，TDV-SIM方法較純深度學習方法具有明顯的優(yōu)勢。總的來說，TDV-SIM從混合重建的角度出發(fā)，為低信噪比圖像的高分辨率高保真重建提供了一種新的解決方案。由于減少了成像時的光子劑量和相關的光毒性，提高了成像速度，延長了成像持續(xù)時間，TDV-SIM對于SR成像活細胞亞細胞結(jié)構(gòu)動力學至關重要。 n& &U9sf?
gx
R|S
北京大學軟件與微電子學院碩士生王建勇（已畢業(yè)）、重慶郵電大學計算機學院副教授范駿超、北京大學未來技術(shù)學院博士生周博為本文的共同第一作者。陳良怡和北京大學跨學部生物醫(yī)學工程系黃小帥研究員為本文通訊作者。本研究得到國家科技重大專項計劃、國家自然科學基金、北京市自然科學基金、臨港實驗室等經(jīng)費支持。 mK/P4]9g
eC:Q)%$%l
相關鏈接：https://www.spiedigitallibrary.org/journals/advanced-photonics-nexus/volume-2/issue-01/016012/Hybrid-reconstruction-of-the-physical-model-with-the-deep-learning/10.1117/1.APN.2.1.016012.full
|
|