算力是智能時代最重要的基石和引擎，而視覺是人類和機器感知世界最重要的途徑�！案兴阋惑w芯片”作為人工智能時代重要的基礎模塊，可以為手機、機器人、無人機等一系列小型化、便攜化終端設備賦能感知與計算的強大能力。清華大學電子系黃翊東教授團隊崔開宇課題組提出世界首款“物譜芯片”——光譜成像芯片2.0，即物質成像光譜卷積神經網絡芯片，是面向復雜視覺任務的感算一體芯片，也是首個可以用含有物質光譜信息的自然光直接作為輸入的光計算芯片，突破了現(xiàn)有光神經網絡大多都難以落地到實際應用的困境，真正實現(xiàn)真實世界的復雜視覺計算任務。

隨著大數據大模型對算力需求呈現(xiàn)遠超摩爾定律增長的趨勢,電子計算平臺的能耗大且計算速度有限，嚴重限制了邊緣設備上人工智能模型的發(fā)展。光神經網絡具有計算速度快、并行性高、功耗低的明顯優(yōu)勢，被認為是最有前途的下一代并行計算方案。然而受限于片上集成的規(guī)模問題以及對相干光源的依賴性，現(xiàn)有的光神經網絡大多都難以落地到實際的應用場景中，只能用在圖像邊緣檢測、手寫數字識別等簡單的任務上。

受生物視覺啟發(fā)的卷積神經網絡（Convolutional Neural Network，CNN），能夠提取圖像的高維特征并顯著降低神經網絡處理圖像數據所需的參數量，在圖像識別、分割、檢測等機器視覺任務中得到廣泛應用。崔開宇課題組提出新的感算一體式解決思路，即光譜卷積神經網絡（Spectral convolutional neural network, SCNN），如圖1所示，通過在圖像傳感器（CMOS imagesensor, CIS）表面大規(guī)模集成光譜調制結構，便能夠在光譜維度實現(xiàn)向量內積的大規(guī)模并行計算。將集成了光譜調制結構的圖像傳感器視為輸入層及第一卷積層，結合后續(xù)的小規(guī)模電計算卷積層，便能構成一個光電混合的神經網絡。

圖片:0CC91F2D793F9DC1433AB2B5516_E04876BE_2CC3E.png

圖1.現(xiàn)有的光神經網絡（ONN）與論文提出的光譜卷積神經網絡（SCNN）的對比

制備的基于光譜卷積神經網絡的物譜芯片如圖2所示，分別采用了光學超表面以及色素作為光譜調制結構，制備了兩款不同的物譜芯片，驗證了光譜卷積神經網絡框架的可行性。其中基于超表面的芯片具有更好的光譜調制能力，并且具有偏振、相位、入射角等全光場感知的潛力，而基于色素的芯片已實現(xiàn)了12吋晶圓的流片量產，具有更高的集成度和更低的加工制備成本。光譜卷積神經網絡方案主要有三點優(yōu)勢：（1）基于圖像傳感器實現(xiàn)的光計算卷積層集成度大、功耗低，且可以直接感知自然光（包含兩個空間維度和一個光譜維度的寬帶非相干光），不依賴于相干光源；（2）光計算卷積層為感算一體式，即圖像傳感器完成拍攝的同時也完成了計算，能夠在算力有限的邊緣設備與移動終端上完成高維光譜圖像的獲取與處理，實現(xiàn)“物質超成像”（Mattermeta-imaging），擺脫GPU、不被卡脖子，讓光譜成像的應用輕松下沉到終端；（3）光電混合的計算架構能夠兼顧光計算高速、并行、低功耗的優(yōu)勢以及電計算的靈活性，充分利用圖像傳感器作為目前最高集成度的光電探測陣列芯片，讓上百萬像素、上億像素相機的每一個像素點都可以計算。

圖片:CE64EF1006526ABED533BA83BA6_D248AD4B_19132D.png

圖2.分別采用光學超表面及色素實現(xiàn)的基于光譜卷積神經網絡的物譜芯片

為驗證光譜卷積神經網絡方案的有效性和靈活性，用同一個物譜芯片（3×3.5mm²）實現(xiàn)了病理診斷和人臉鑒偽兩個完全不同的現(xiàn)實世界復雜任務，如圖3所示。光譜信息可以反應物質的組成成分，且難以被偽造，利用光譜卷積神經網絡感知計算得到的光譜信息，可以實現(xiàn)像素級的活體檢測，并達到96.23%的準確率，進一步可以實現(xiàn)幾乎100%的圖像級人臉鑒偽準確率。在切片病理診斷上，不依賴于顯微鏡便能實現(xiàn)對正常甲狀腺組織切片及四種病變（包括癌變）甲狀腺組織切片的分辨，展現(xiàn)出了物譜芯片在術中病理實時診斷的應用潛力。

圖片:4764F4AAA9705065F6C3DAD2DBB_4B72639B_221C91.png

圖3.用同一個物譜芯片實現(xiàn)了病理診斷和人臉鑒偽兩個完全不同的現(xiàn)實世界復雜任務

綜上所述，物譜芯片，即物質成像光譜卷積神經網絡芯片，能夠直接處理自然圖像，在百萬至上億像素的空間維度實現(xiàn)高度并行的內積運算，通過引入的連續(xù)光譜維度感知自然圖像中包含的物質信息，即動態(tài)識別物質的組成成分并映射到特征空間中，實現(xiàn)全新“物質成像”的感算一體邊緣計算(In-sensor Edge Computing)，為機器視覺、邊緣計算終端設備賦能物質成像的全新功能，從而開啟一個超越人眼的物質元成像（Matter Meta-Imaging, MMI）神經網絡芯片的新范式。

相關研究成果以“非相干光感算一體的光譜卷積神經網絡芯片”（Spectral convolutional neural network chipfor in-sensor edge computing of incoherentnatural light）為題，于1月2日在線發(fā)表于《自然·通訊》（Nature Communications）。

清華大學電子系微納光電子學實驗室與王生進、李亞利團隊聯(lián)合培養(yǎng)博士生饒世杰和崔開宇副教授為論文共同第一作者，崔開宇和黃翊東為論文通訊作者。研究得到國家重點研發(fā)計劃、國家自然科學基金、北京量子信息前沿科學中心、北京量子信息科學研究院等的支持。

論文鏈接：https://doi.org/10.1038/s41467-024-55558-3