面向超快機(jī)器視覺的空時域光計(jì)算
隨著人工神經(jīng)網(wǎng)絡(luò)應(yīng)用的持續(xù)深化,機(jī)器視覺算法復(fù)雜度劇增,亟需高算力支持。然而,受制于摩爾定律放緩,現(xiàn)有電子計(jì)算性能趨于飽和,難以滿足大規(guī)模智能算法對算力和能效日益增長的需求。用光子替代電子作為智能計(jì)算載體有望對當(dāng)前視覺計(jì)算帶來革命性的突破。然而,現(xiàn)有智能光計(jì)算架構(gòu)往往依賴電子處理器作為計(jì)算中繼,嚴(yán)重削弱了光計(jì)算高速高并行的計(jì)算優(yōu)勢,難以賦能超快機(jī)器視覺應(yīng)用。 近日,清華大學(xué)電子系方璐副教授課題組建立了空時域超快智能光計(jì)算架構(gòu),提出了跨維度空時域匹配方法和聯(lián)合空時域矩陣向量光計(jì)算模型,首次實(shí)現(xiàn)了三維空時域智能光計(jì)算系統(tǒng),突破了數(shù)字內(nèi)存讀寫的掣肘,將動態(tài)機(jī)器視覺處理速度提升三個數(shù)量級(達(dá)到納秒量級)。 ![]() 圖1.空時域光計(jì)算模型 課題組通過刻畫多維光場傳播模型,首次建立空時域計(jì)算表征,同時在空間和時序維度完成連續(xù)光計(jì)算。針對空間光場和時序光場內(nèi)在維度失配問題,提出空間復(fù)用和光譜復(fù)用計(jì)算模型,匹配空時域光計(jì)算維度。進(jìn)一步建立時序矩陣乘加計(jì)算模型,擴(kuò)展空時域光計(jì)算維度。所有空間和時序計(jì)算操作均在光學(xué)模擬域完成,因此空時域光計(jì)算的速度不受制于電子內(nèi)存的傳輸和讀寫。該論文進(jìn)一步提出了多變量全光非線性函數(shù),成功構(gòu)建多層非線性神經(jīng)網(wǎng)絡(luò),支撐復(fù)雜視覺智能任務(wù)的高速推理。在多個視頻數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,空時域光計(jì)算能夠?qū)⒁曨l智能處理速度提升至數(shù)百兆赫茲量級,有望為后摩爾時代高性能智能計(jì)算以及瞬態(tài)科學(xué)現(xiàn)象的實(shí)時分析和控制等帶來新的契機(jī)。 ![]() |