清華大學(xué)在大規(guī)模光電智能計(jì)算方面取得進(jìn)展
隨著大模型等人工智能技術(shù)的突破與發(fā)展，算法復(fù)雜度劇增，對傳統(tǒng)計(jì)算芯片帶來了算力和功耗的雙重挑戰(zhàn)。近年來，以光計(jì)算為基礎(chǔ)、通過光電融合的方式構(gòu)建光電神經(jīng)網(wǎng)絡(luò)的計(jì)算處理方法已經(jīng)成為國際熱點(diǎn)研究問題，有望實(shí)現(xiàn)計(jì)算性能的顛覆性提升。然而，光電神經(jīng)網(wǎng)絡(luò)的前向數(shù)學(xué)模型由對光場的精準(zhǔn)物理建模得到，計(jì)算復(fù)雜度高、參數(shù)冗余度大；其學(xué)習(xí)機(jī)制沿用人工神經(jīng)網(wǎng)絡(luò)常用的梯度下降算法，面向大規(guī)模光電神經(jīng)網(wǎng)絡(luò)時(shí)優(yōu)化速度慢、資源消耗高、收斂效果差。因此，現(xiàn)有學(xué)習(xí)架構(gòu)僅能支撐小規(guī)模光電神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，其網(wǎng)絡(luò)容量和特征捕獲能力不足以有效處理ImageNet等大型復(fù)雜數(shù)據(jù)集。 Dk%+|c
#|8Ia:=s
近日，清華大學(xué)電子工程系方璐副教授課題組提出了面向大規(guī)模光電智能計(jì)算的“光學(xué)-人工雙神經(jīng)元學(xué)習(xí)架構(gòu)（DuAl-Neuron opTical-artificial lEarning,DANTE）”。其中光學(xué)神經(jīng)元精準(zhǔn)建模光場計(jì)算過程，人工神經(jīng)元以輕量映射函數(shù)建立跳躍連接助力梯度傳播，全局人工神經(jīng)元與局部光學(xué)神經(jīng)元以交替學(xué)習(xí)的機(jī)制進(jìn)行迭代優(yōu)化，在確保學(xué)習(xí)有效性的同時(shí)，大大降低了訓(xùn)練的時(shí)空復(fù)雜度，使得訓(xùn)練更大更深的光電神經(jīng)網(wǎng)絡(luò)成為可能。DANTE突破了大規(guī)模光電神經(jīng)網(wǎng)絡(luò)物理建模復(fù)雜、參數(shù)優(yōu)化困難等桎梏，網(wǎng)絡(luò)規(guī)模提升一至兩個(gè)數(shù)量級，訓(xùn)練學(xué)習(xí)速度提升兩個(gè)數(shù)量級。 mSeCXCrZlI
|r['"6
[attachment=122355] XSHK7vpMf
圖1.光學(xué)-人工雙神經(jīng)元學(xué)習(xí)架構(gòu)（DANTE） ?te~[_oT
受限于算力瓶頸與顯存容量，現(xiàn)有的單神經(jīng)元學(xué)習(xí)方法僅能實(shí)現(xiàn)百萬量級神經(jīng)元的光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練，難以滿足ImageNet等復(fù)雜大規(guī)模數(shù)據(jù)集的訓(xùn)練需求。課題組在空間光智能計(jì)算平臺上開展了大量仿真與物理實(shí)驗(yàn)驗(yàn)證，將現(xiàn)有百萬量級光電神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練時(shí)間從數(shù)十小時(shí)級縮短到了分鐘級。課題組進(jìn)一步基于DANTE，首次實(shí)現(xiàn)了億級神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練與推理，在CIFAR-10、ImageNet等多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡(luò)VGG-11和VGG-16相當(dāng)?shù)臏?zhǔn)確率。值得強(qiáng)調(diào)的是，在ImageNet基準(zhǔn)上成功訓(xùn)練光電神經(jīng)網(wǎng)絡(luò)具有重要意義。這展現(xiàn)了DANTE在支撐大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)上的巨大潛力，有望推動光電智能計(jì)算從基于MNIST基準(zhǔn)的原型驗(yàn)證階段邁入到使用現(xiàn)代ImageNet基準(zhǔn)來解決大規(guī)�，F(xiàn)實(shí)問題的全新時(shí)代。 FJQ=611@
q<[m(]:
[attachment=122354] J~}sQ{ 0
圖2.DANTE在CIFAR-10和ImageNet數(shù)據(jù)集上的訓(xùn)練與推理性能評測 u43W.4H13
研究成果以“光學(xué)-人工雙神經(jīng)元架構(gòu)訓(xùn)練大規(guī)模光電神經(jīng)網(wǎng)絡(luò)”（Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning）為題，于11月4日發(fā)表于《自然·通訊》（Nature Communications）期刊上。 !{q_ Q !
717S3knlv
|