清華大學(xué)突破智能光計(jì)算訓(xùn)練難題

清華大學(xué)電子工程系方璐教授課題組自動(dòng)化系戴瓊海院士課題組另辟蹊徑首創(chuàng)了全前向智能光計(jì)算訓(xùn)練架構(gòu)，研制了“太極-II”光訓(xùn)練芯片，實(shí)現(xiàn)了光計(jì)算系統(tǒng)大規(guī)模神經(jīng)網(wǎng)絡(luò)的高效精準(zhǔn)訓(xùn)練，該研究成果以“光神經(jīng)網(wǎng)絡(luò)全前向訓(xùn)練”為題，發(fā)表于《自然》期刊上。 0Y[LzLn  
Nature審稿人在審稿評(píng)述中指出“本文中提出的想法非常新穎，此類光學(xué)神經(jīng)網(wǎng)絡(luò)（ONN）的訓(xùn)練過程是前所未有的。所提出的方法不僅有效，而且容易實(shí)現(xiàn)。因此，它有望成為訓(xùn)練光學(xué)神經(jīng)網(wǎng)絡(luò)和其他光學(xué)計(jì)算系統(tǒng)的廣泛采用的工具�！� oe,I vnt  
巧用對(duì)稱，助力光計(jì)算擺脫GPU依賴 9a}rE  
近年間，具有高算力低功耗特性的智能光計(jì)算逐步登上了算力發(fā)展的舞臺(tái)。通用智能光計(jì)算芯片“太極”的問世便是其中的一個(gè)縮影，它首次將光計(jì)算從原理驗(yàn)證推向了大規(guī)模實(shí)驗(yàn)應(yīng)用，以160TOPS/W的系統(tǒng)級(jí)能效為大規(guī)模復(fù)雜任務(wù)的“推理”帶來了曙光，但未能夠釋放智能光計(jì)算的“訓(xùn)練之能”。  x~p8Mcv  
相較于模型推理而言，模型訓(xùn)練更需要大規(guī)模算力。然而，現(xiàn)有的光神經(jīng)網(wǎng)絡(luò)訓(xùn)練嚴(yán)重依賴GPU進(jìn)行離線建模并且要求物理系統(tǒng)精準(zhǔn)對(duì)齊。正因如此，光學(xué)訓(xùn)練的規(guī)模受到了極大的限制，光高性能計(jì)算的優(yōu)勢(shì)仿佛被禁錮在無形的枷鎖之中。 SXkUtY$  
在這個(gè)時(shí)候，方璐、戴瓊海課題組找到了“光子傳播對(duì)稱性”這把鑰匙，將神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的前向與反向傳播都等效為光的前向傳播。 "]h4L