硬件升級(jí)，芯片創(chuàng)新實(shí)現(xiàn)顛覆性改變 

幾年前，在軍方的資助下，美國(guó)研發(fā)出世界上第一臺(tái)億級(jí)像素相機(jī)，其運(yùn)用的“陣列外拼接成像原理”將千萬級(jí)像素照片進(jìn)行軟件拼接，CMOS圖像傳感器呈陣列式分布，相互錯(cuò)開、互補(bǔ)排列，最終通過后續(xù)軟件圖像拼接得到完整的大視場(chǎng)超高分辨率視頻和圖像。但高像素光學(xué)鏡頭的陣列排布大大增加了相機(jī)體積�！�

順著這個(gè)思路，當(dāng)像素提升到五億級(jí)時(shí)，尤其是需要視頻圖像時(shí)，相機(jī)系統(tǒng)體積會(huì)變得非常大，并且實(shí)時(shí)視頻拼接基本上不可能實(shí)現(xiàn)。”曾曉洋認(rèn)為，這個(gè)方案潛力有限，“走不遠(yuǎn)”。

什么才是“有后勁”“能發(fā)展”的思路？

經(jīng)過長(zhǎng)時(shí)間的研究，曾曉洋團(tuán)隊(duì)實(shí)現(xiàn)了一種創(chuàng)新性的億極像素成像技術(shù)�！巴瑯舆�是拼接成像原理，但我們使用了創(chuàng)新的共心復(fù)合尺度的光學(xué)成像方案，將陣列式的光學(xué)成像鏡頭大幅縮減為‘一’，采用兩級(jí)分光成像來進(jìn)行多路CMOS圖像傳感器成像�！边@樣，也對(duì)分光系統(tǒng)的精度提出了很高要求，不同光路對(duì)目標(biāo)進(jìn)行成像，如果精度 “差之毫厘”，拼接后圖像則“謬以千里”。

除了超高分辨率的照片，對(duì)這款高性能的云相機(jī)來說，拍同樣分辨率的實(shí)時(shí)視頻也“不在話下”。實(shí)時(shí)視頻對(duì)相機(jī)的計(jì)算速度和運(yùn)行效率都提出了更高的要求：每次成像都是上百?gòu)埱�萬級(jí)像素的照片高精度無縫拼接而成，而連續(xù)視頻應(yīng)該在每秒25幀畫面，這相當(dāng)于在一秒鐘之內(nèi)把拼接成像過程重復(fù)至少25次。顯然，這種情況下，相機(jī)系統(tǒng)的計(jì)算量大到人們難以想象的程度。

范益波副教授在億級(jí)像素顯示系統(tǒng)平臺(tái)前

目前，曾曉洋團(tuán)隊(duì)研發(fā)的三/五億像素的云相機(jī)系統(tǒng)實(shí)現(xiàn)了“共心復(fù)合尺度光學(xué)成像”和“硬件億級(jí)像素實(shí)時(shí)視頻圖像拼接”，十億級(jí)及以上像素的云相機(jī)系統(tǒng)關(guān)鍵技術(shù)也處于攻關(guān)狀態(tài)。

“平時(shí)在APP上追劇，視頻分辨率一般是1080P，超級(jí)會(huì)員能看到4K高清，再高分辨率也看不了了，網(wǎng)絡(luò)帶寬跟不上。而我們?cè)葡鄼C(jī)的像素分辨率是五億，這可是4K的百倍�！�

“超高的分辨率同時(shí)意味著超大的數(shù)據(jù)量，但目前無線傳輸系統(tǒng)的數(shù)據(jù)帶寬成為瓶頸問題。解決這一問題的辦法就是及時(shí)找到超高清圖像中的感興趣目標(biāo)部分�！痹鴷匝笳f，要把需要傳輸?shù)臄?shù)據(jù)量降下來，傳輸效率提上去，就得提高相機(jī)系統(tǒng)實(shí)時(shí)識(shí)別目標(biāo)的能力，針對(duì)特定目標(biāo)智能地進(jìn)行尋找、鎖定和識(shí)別。“而這就像在一倉(cāng)庫(kù)的糧食里面，有一粒是壞的，我們想把那粒壞的找出來，這太不容易了，所以要有智能化的方法�！睂⒎秶�縮小，再將特定區(qū)域特定目標(biāo)的相關(guān)影像進(jìn)行傳輸就容易得多了。“既能遠(yuǎn)視，也得有準(zhǔn)頭�！�

“世界首款海量數(shù)據(jù)視頻圖像硬件拼接專用芯片”、“人工智能處理硬件加速引擎專用芯片”，這兩款自主創(chuàng)新的芯片正是曾曉洋團(tuán)隊(duì)讓五億級(jí)像素云相機(jī)系統(tǒng)能拍照、拍視頻，能“有準(zhǔn)頭”的“獨(dú)門武器”�！肮�耗降下來、體積小下來全靠芯片技術(shù)，把上述兩款芯片做出來是實(shí)現(xiàn)我們整個(gè)系統(tǒng)技術(shù)突破的核心。”曾曉洋說，這也是復(fù)旦大學(xué)承接該項(xiàng)目的主要原因，是我們專用集成電路與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室的使命所在。