長期以來，機器學習被認為是一項有前途的技術，將改變現有的傳統光網絡，推動其向下一代智能和自主實體邁進。過去幾年里，工業(yè)界和學術界都見證了機器學習在光纖通信不同方面的應用，利用機器學習的研究顯著增加。研究者們在多個領域展開了積極探索，從網絡組件的設計到關鍵傳輸損傷的補償，再到網絡數據流量模式的預測。然而，盡管過去十年該領域的研究興趣空前高漲，開發(fā)的機器學習方法在現實世界光纖網絡中的實際部署、聲譽和影響仍未達到預期。

近日，清華大學深圳國際研究生院副教授費薩爾·納迪姆·汗（Faisal Nadeem KHAN）在研究中指出，在商業(yè)光纖網絡中廣泛部署基于機器學習解決方案的主要障礙在于一些尚未解決的非技術性限制因素，這些因素對實際網絡來說至關重要，但在很大程度上被利益相關者忽略。為此，團隊系統地確定了七個主要的非技術性障礙（圖1），包括遺留系統和流程的普遍存在、成本限制、專家勞動力的限制、數據可訪問性和隱私保護問題、機器學習模型的可解釋性以及透明性和問責性問題、缺乏機器學習輔助方法的標準和監(jiān)管政策、人為因素和認知偏見。

圖片:41070E3F3EE0B990108B3CCEDD7_906F2975_2487F.png

圖1.機器學習輔助方法在實際光纖網絡中面臨的七個關鍵非技術挑戰(zhàn)

為了證明此觀點，研究人員以光網絡中的網絡故障管理、端到端（E2E）通信系統優(yōu)化、光路傳輸質量（QoT）估計、光性能監(jiān)測（OPM）和網絡安全管理五個主要機器學習應用領域為例，詳細分析了面臨的非技術性障礙，并討論了上述障礙如何顯著削弱了機器學習輔助方法在實際光纖網絡中的部署前景。

研究還根據解決這些問題所面臨的難度對非技術挑戰(zhàn)進行了排名（圖2）。研究人員認為首先要克服的兩大挑戰(zhàn)是遺留問題和成本限制，因為改造現有光纖網絡基礎設施所需的財務影響至關重要。接下來，實現標準化和監(jiān)管框架是開發(fā)可在光網絡中普遍操作的機器學習輔助方法的關鍵問題，因為這需要工業(yè)界、標準化組織和監(jiān)管機構的共同努力，而這方面的努力目前仍然不足。第四個關鍵挑戰(zhàn)是提供全球訪問相關數據源的途徑，同時保護數據隱私和匿名性。然而，建立這樣的數據共享機制并為專有網絡數據定義明確的數據使用條款仍在進行中。接下來的兩個問題依次是機器學習模型的可解釋性/問責性問題和存在的故意/無意偏見問題，雖然這些問題不會從根本上阻礙機器學習輔助工具的實施，但解決這些問題對于在光網絡中實現可信的決策過程至關重要。最后，專家勞動力的限制在短期內是一個緊迫問題，因為世界各地的工業(yè)界、學術界和政府最近對培養(yǎng)基本的機器學習知識和技能表現出了興趣，這可能會在未來應對可用勞動力短缺問題時有所改善。

圖片:56DDFBF98ECB1582AE7EB1A1198_E7AC84AC_FF23.png

圖2.阻礙在光纖網絡中大規(guī)模部署機器學習解決方案的七個關鍵非技術性障礙的難度級別

更深層次地，團隊提供了一套廣泛的新穎解決方案，可以在解決現有的各個非技術挑戰(zhàn)中發(fā)揮重要作用，從而為未來光纖通信網絡中機器學習驅動的智能操作和決策的廣泛應用鋪平道路。

近日，相關研究成果以“非技術性障礙：通往AI驅動智能光網絡的最后一關”（Non-technological barriers: the last frontiertowards AI-powered intelligent opticalnetworks）為題，發(fā)表在《自然·通訊》（Nature Communications）。

費薩爾·納迪姆·汗（Faisal Nadeem KHAN）為論文作者。該研究得到了清華大學深圳國際研究生院科研啟動基金的支持。

論文鏈接：https://www.nature.com/articles/s41467-024-50307-y