帖子
勛章
關(guān)注
任務(wù)
ChatGPT 需要 Wolfram|Alpha 注入超強的計算知識  當(dāng)事情突然 "成功 "時會帶給我們意外的驚喜。早在2009年的時候，Wolfram|Alpha 就帶給了我們這樣的驚喜。這個驚喜發(fā)生在我們2020年的物理項目中�，F(xiàn)在又發(fā)生在了 OpenAI 的 ChatGPT 上。我研究神經(jīng)網(wǎng)絡(luò)技術(shù)已經(jīng)有很長一段時間了（實際上是43年）。 觀察過去幾年的發(fā)展，我也發(fā)現(xiàn) ChatGPT 的表現(xiàn)非常出色。最后，突然間我們發(fā)現(xiàn)，有一個系統(tǒng)可以成功地生成幾乎任何東西的文本，而這與人類可能寫出的東西非常相似。這是一個很驚喜且很有用的發(fā)現(xiàn)。 而且，我認(rèn)為它的成功可能在告訴我們一些關(guān)于人類思維本質(zhì)的非�；�的東西，我在別的地方也會討論一下這個話題。但是，盡管 ChatGPT 在自動完成主要的模擬人類的思維方式方面是一個了不起的成就，但其實并非所有有用的方面都可以做到如此 "像人類"，而有些方面反而更加正式和結(jié)構(gòu)化。事實上，我們的文明在過去幾個世紀(jì)的最偉大成就之一就是建立了數(shù)學(xué)、精確科學(xué)的范式，而現(xiàn)在最重要的是，創(chuàng)造了計算的概念，并創(chuàng)造了一個與純?nèi)祟愃季S所能實現(xiàn)的完全不同的能力塔。 幾十年來，我自己一直深入地參與計算范式的研究，單純地追求建立一種計算語言，可以正式的符號方式代表真實世界盡可能多的事物。在此過程中，我的目標(biāo)是建立一個能夠 "以計算方式協(xié)助" 我們想要達成目標(biāo)的系統(tǒng)，并增強其功能。我作為一個人在思考問題。但我也可以立即調(diào)用 Wolfram 語言和 Wolfram| Alpha ，利用一種獨特的 "計算超能力"，讓我做到各種超越人類能力范圍內(nèi)的事情。 這是一種非常強大的工作方式。關(guān)鍵是，這不僅對我們?nèi)祟惡苤匾�。它�?quot;類人類 - human like"的人工智能也同樣重要，甚至可能更重要。因其可以立即賦予人工智能那些我們認(rèn)為是計算知識的超能力，這種超能力可以利用結(jié)構(gòu)化計算和結(jié)構(gòu)化知識這樣的非人類力量。這些對于 ChatGPT 究竟意味著什么我們還在探索中。但很明顯，這可能會帶給我們驚喜的發(fā)現(xiàn)。Wolfram|Alpha 所做的事情與 ChatGPT 非常不同，其方式也非常不同。 但它們有一個共同點：自然語言。這意味著 ChatGPT 可以像人類一樣與 Wolfram|Alpha "對話"—— Wolfram|Alpha 可將從 ChatGPT 獲得的自然語言轉(zhuǎn)化為精確的、符號化的計算語言，并在此基礎(chǔ)上運用其計算知識能力。幾十年來，在思考人工智能時，一直存在著 "統(tǒng)計方法" 和 "符號方法" 的兩極分化，前者是 ChatGPT 使用的方法，后者是 Wolfram|Alpha 的出發(fā)點。 但現(xiàn)在，結(jié)合在 ChatGPT 上獲得的成功，以及我們在使 Wolfram|Alpha 理解自然語言方面所做的所有工作，我們終于有機會將這兩種方法結(jié)合起來，最后可能得到一個比任何一種方法都要強大的結(jié)果。 一個簡單的范例 ChatGPT 的核心是一個生成語言輸出的系統(tǒng)，它 "遵循" 網(wǎng)絡(luò)上和教材中的內(nèi)容，以及其他用于訓(xùn)練的材料的模式。值得注意的是，這種輸出類似人類的輸出，這種類似不是某個小范圍的部分，而且是在整體輸出。 它可以表達連貫的內(nèi)容，它所學(xué)到的概念往往以有趣和意想不到的方式出現(xiàn)。它生成的內(nèi)容 "在統(tǒng)計學(xué)上是合理的"，至少在語言學(xué)層面上是合理的。但是，盡管這看起來很厲害，但肯定不意味著它提出的所有事實和計算都一定是正確的。這是我剛剛注意到的一個例子（而且沒錯，ChatGPT 有內(nèi)在的隨機性，所以如果你再進行一遍嘗試，你可能不會得到同樣的結(jié)果）：  聽起來很有說服力。但事實證明它👆是錯誤的，因為 Wolfram|Alpha 告訴我們：  當(dāng)然，公平地說，這正是 Wolfram|Alpha 擅長的事情：可以根據(jù)其結(jié)構(gòu)化、精選的知識將其轉(zhuǎn)化為精確的計算。 但巧妙的是，人們可以考慮 Wolfram|Alpha 在這方面自動幫助 ChatGPT。可以通過編程方式向 Wolfram|Alpha 提問：  現(xiàn)在再次向 ChatGPT 提問，并附上這個結(jié)果：  ChatGPT 非常有禮貌地接受更正，如果您再次提出問題，它就會給出正確答案。顯然，可以有一種更簡化的方式讓 Wolfram|Alpha 來回處理，但很高興看到即使是這種非常簡單的純自然語言方法也基本上已經(jīng)奏效了。 但是，為什么 ChatGPT 一開始就把這件事弄錯了呢？如果它在訓(xùn)練的某個地方（例如從網(wǎng)絡(luò)上）看到了芝加哥和東京之間的具體距離，它當(dāng)然可以做對。但在這種情況下，神經(jīng)網(wǎng)絡(luò)可以輕松完成的那種泛化——比如從城市之間距離的許多例子中——是不夠的；需要一個實際的計算算法。 Wolfram|Alpha 處理事情的方式完全不同。它采用自然語言，然后，假設(shè)它可能，將其轉(zhuǎn)換為精確的計算語言（即 Wolfram 語言），在這種情況下：  城市的坐標(biāo)和計算它們之間距離的算法是 Wolfram 語言中內(nèi)置計算知識的一部分。而且，是的，Wolfram 語言具有大量的內(nèi)置計算知識——這是我們數(shù)十年工作的結(jié)果，我們仔細(xì)整理了現(xiàn)在大量不斷更新的數(shù)據(jù)，實施（并經(jīng)常發(fā)明）方法和模型以及算法——并系統(tǒng)地為所有事物建立一個完整連貫的計算語言。 再舉幾個例子 ChatGPT 和 Wolfram|Alpha 以截然不同的方式工作，并且具有截然不同的優(yōu)勢。但為了了解 ChatGPT 可以在哪些方面利用 Wolfram|Alpha 的優(yōu)勢，讓我們來討論一下 ChatGPT 本身不能正確完成的一些情況。和人類一樣，ChatGPT 經(jīng)常遇到困難的一個領(lǐng)域是數(shù)學(xué)。  這是一個有趣的、散文式的回應(yīng)。但實際結(jié)果是錯誤的：  但是，如果 ChatGPT "咨詢一下" Wolfram|Alpha，它當(dāng)然能夠做出正確的選擇。讓我們嘗試稍微復(fù)雜一點的東西：  乍一看，這個結(jié)果看起來不錯，我傾向于相信它。然而，事實證明這又是錯誤的，因為 Wolfram|Alpha 告訴我們：  所以用 ChatGPT 做數(shù)學(xué)作業(yè)，可能不是一個好主意。它可以給出一個看似很合理的答案：  但是如果沒有 "真正理解數(shù)學(xué)"，ChatGPT 基本上不可能可靠地得到正確答案。在這種情況下，答案又是錯誤的：  盡管如此，ChatGPT 甚至可以對"它是如何得到答案的"做出一個看起來非常合理的解釋。而且，相當(dāng)迷人（也很有趣），它給出的解釋與不懂?dāng)?shù)學(xué)的人犯的錯誤非常相似：  在各種情況下，"沒有真正理解事物的含義"會造成麻煩：  這聽起來很有說服力。但這是不正確的：  ChatGPT 似乎已經(jīng)在某個地方正確地學(xué)習(xí)了這些底層數(shù)據(jù)；但它"對含義的理解"還不足以讓它正確地對數(shù)字進行排名：  而且，是的，可以想象找到一種方法來"修復(fù)這個特定的錯誤"。但關(guān)鍵是，像 ChatGPT 這樣基于生成語言的人工智能系統(tǒng)的基本思想并不適合需要進行結(jié)構(gòu)化計算的情況。換句話說，它需要"修復(fù)"幾乎無限數(shù)量的"錯誤"才能修補 Wolfram|Alpha 以其結(jié)構(gòu)化方式實現(xiàn)的幾乎無窮小的一角。 "計算鏈"變得越復(fù)雜，您就越有可能必須調(diào)用 Wolfram|Alpha 才能正確處理。這里 ChatGPT 產(chǎn)生了一個相當(dāng)混亂的答案：  而且，正如 Wolfram|Alpha 告訴我們的那樣，它的結(jié)論是不正確的：  每當(dāng)涉及到特定（例如定量）數(shù)據(jù)時——即使是相當(dāng)原始的形式——事情往往更像是一個" Wolfram|Alpha 故事"。 下面是一個示例，其靈感來自長期以來最受歡迎的 Wolfram|Alpha 測試查詢"土耳其有多少只火雞？"：  同樣，這似乎（咋一看）完全有道理，甚至引用了相關(guān)來源。但事實證明，這些數(shù)據(jù)基本上只是"編造的"：  不過，非常棒的是，ChatGPT 可以很容易地"請求事實來核實"：  現(xiàn)在通過 Wolfram|Alpha API提供這些問題的答案：  現(xiàn)在我們可以要求 ChatGPT 修復(fù)其原始回應(yīng)，注入此數(shù)據(jù)（甚至以粗體顯示它的修正）：  當(dāng)涉及實時（或位置等相關(guān)）數(shù)據(jù)或計算時，"注入事實"的能力特別棒。ChatGPT 不會立即回答這個問題：  但這里有一些相關(guān)的 Wolfram|Alpha API 輸出：  如果我們將其提供給 ChatGPT，它會生成一個不錯的"論文風(fēng)格"結(jié)果：  有時計算和"類人類"之間存在有趣的相互作用。這是 Wolfram|Alpha 提出的一個異想天開的問題（它甚至?xí)䴔z查您是否想要"軟冰" - Soft serve，也稱為軟冰，是一種冷凍甜點，類似于冰淇淋，但由于在冷凍過程中引入了空氣，因此更柔軟且密度更低。）：  ChatGPT 起初對量的概念有點困惑：  但隨后它似乎"意識到"這么多冰淇淋是相當(dāng)愚蠢的：  前進的道路 機器學(xué)習(xí)是一種強大的方法，尤其是在過去十年中，它取得了一些非凡的成功——ChatGPT 是最新的成功案例。比如：圖像識別、語音轉(zhuǎn)文字、語言翻譯等。在每一種情況下，以及更多情況下，都超過了一個門檻——通常是突然之間。有些任務(wù)從"基本不可能"變成了"基本可行"。但結(jié)果基本上從來都不是"完美"的。也許某些東西在 95% 的時間里都運作良好。 但是盡管嘗試，其他 5% 仍然難以捉摸。出于某些目的，人們可能會認(rèn)為這是一種失敗。但關(guān)鍵是，通常有各種重要的使用案例，95%是"足夠好"�？赡苁且驗檩敵鍪悄撤N無論如何都沒有真正"正確答案"的東西。 可能是因為人們只是試圖嘗試表面的可能性，然后人類或系統(tǒng)算法會從中挑選或改進。一次生成一個標(biāo)記文本的數(shù)千億參數(shù)神經(jīng)網(wǎng)絡(luò)可以做 ChatGPT 可以做的事情，這真是太了不起了。鑒于這一戲劇性的——意想不到的——成功，人們可能會認(rèn)為，如果可以繼續(xù)并"訓(xùn)練一個足夠大的網(wǎng)絡(luò)"，那么絕對可以用它做任何事情。但它不會那樣工作。關(guān)于計算的基本事實——尤其是計算不可約性的概念——清楚地表明它最終是不可能的。 但更相關(guān)的是我們在機器學(xué)習(xí)的實際歷史中所看到的：它會有很大的突破（比如 ChatGPT ）；改進不會停止。所以至關(guān)重要的是，我們將會發(fā)現(xiàn)一些例子在可以完成的情況下取得成功，并且不會因不能完成的事情而受阻。是的，在很多情況下，"原始 ChatGPT "可以幫助人們寫作、提出建議或生成對各種文檔或交互有用的文本。 但是，當(dāng)涉及到設(shè)置必須完美的事物時，機器學(xué)習(xí)并不是做到這一點的方法——就像人類也不是那樣。這正是我們在上面的例子中看到的：ChatGPT 在"像人類部分"方面做得很好，沒有精確的"正確答案"。但是，當(dāng)它處理某些精確的事情時，它常常會倒下。但這里的重點是，有一個很好的方法可以解決這個問題——通過將 ChatGPT 連接到 Wolfram|Alpha 及其所有計算知識的"超級能力"。在 Wolfram|Alpha 內(nèi)部，一切都被轉(zhuǎn)化為計算語言，并轉(zhuǎn)化為精確的 Wolfram 語言代碼，在某種程度上必須"完美"才能可靠地使用。 但關(guān)鍵是 ChatGPT 不必生成它。它可以生成其常用的自然語言，然后 Wolfram|Alpha 可以使用其自然語言理解能力將該自然語言翻譯成精確的 Wolfram 語言。在很多方面，有人可能會說 ChatGPT 從來沒有"真正理解"事物；它只是"知道如何生產(chǎn)有用的東西"。但對于 Wolfram|Alpha，情況就不同了。因為一旦 Wolfram|Alpha 將某些東西轉(zhuǎn)換為 Wolfram 語言，它就會得到一個完整、精確、正式的表示，人們可以從中可靠地計算東西。 不用說，有很多"人類感興趣"的東西我們沒有正式的計算表示——盡管我們?nèi)匀豢梢杂米匀徽Z言談?wù)撍鼈儯M管可能不準(zhǔn)確。對于這些，ChatGPT 憑借其令人印象深刻的功能獨樹一幟。但就像我們?nèi)祟愐粯�，ChatGPT 有時也需要更正式、更精確的"助力"。但關(guān)鍵是它不必"正式和精確"地表達它想要的內(nèi)容。因為 Wolfram|Alpha 可以用相當(dāng)于 ChatGPT 的母語——自然語言來與之交流。 當(dāng) Wolfram|Alpha 轉(zhuǎn)換為其母語 Wolfram 語言時，它會負(fù)責(zé)"增加形式和精確性"。這是一個非常好的情況，我認(rèn)為它具有很大的實際潛力。而且這種潛力不僅存在于典型的聊天機器人或文本生成應(yīng)用程序的水平。它擴展到諸如進行數(shù)據(jù)科學(xué)或其他形式的計算工作（或編程）之類的事情。從某種意義上說，這是獲得兩個世界最好的直接方法：ChatGPT 的像人類世界和 Wolfram 語言的計算精確世界。 ChatGPT 直接學(xué)習(xí) Wolfram 語言怎么樣？嗯，是的，它可以做到這一點，事實上它已經(jīng)開始了。最后，我完全希望像 ChatGPT 這樣的東西能夠直接在 Wolfram 語言中運行，并且在這方面非常強大。這是一個有趣而獨特的情況，由于 Wolfram 語言作為一種全面的計算語言的特性而成為可能，它可以用計算術(shù)語廣泛地談?wù)撌澜绾推渌胤降氖挛铩olfram 語言的整個概念是獲取我們?nèi)祟愃伎嫉氖挛�，并能夠通過計算來表示和處理它們。普通的編程語言旨在提供告訴計算機具體做什么的方法。 Wolfram 語言——作為一種全面的計算語言——所涉及的東西遠(yuǎn)不止于此。實際上，它旨在成為一種人類和計算機都可以"計算思考"的語言。許多世紀(jì)以前，當(dāng)數(shù)學(xué)符號被發(fā)明時，它首次提供了一種流線型的媒介，可以在其中對事物進行"數(shù)學(xué)思考"。它的發(fā)明很快導(dǎo)致了代數(shù)和微積分，并最終導(dǎo)致了所有各種數(shù)學(xué)科學(xué)。 Wolfram 語言的目標(biāo)是為計算思維做類似的事情，盡管現(xiàn)在不僅僅是人類——并啟用計算范式可以打開的所有"計算 X"領(lǐng)域。我自己從 Wolfram 語言作為一種"用來思考的語言"中受益匪淺，并且很高興看到在過去的幾十年里，由于人們通過 Wolfram 的媒介"以計算方式思考"而取得了如此多的進步。那么 ChatGPT 呢？好吧，它也可以進入這個。我還不確定這一切將如何運作。但這與 ChatGPT 學(xué)習(xí)如何進行 Wolfram 語言已經(jīng)知道的計算無關(guān)。它是關(guān)于 ChatGPT 學(xué)習(xí)如何更像人們一樣使用 Wolfram 語言。 這是關(guān)于 ChatGPT 提出"創(chuàng)意論文"的類比，但現(xiàn)在不是用自然語言而是用計算語言編寫的。我一直在討論人類撰寫的計算論文的概念——以自然語言和計算語言的混合形式進行交流�，F(xiàn)在的問題是 ChatGPT 能夠編寫這些內(nèi)容——并且能夠使用 Wolfram 語言作為提供"有意義的交流"的一種方式，不僅對人類，而且對計算機。而且，是的，有一個潛在有趣的反饋循環(huán)涉及 Wolfram 語言代碼的實際執(zhí)行。但關(guān)鍵點在于，與普通編程語言不同，Wolfram 語言代碼所代表的"思想"的豐富性和流動性更接近于 ChatGPT 在自然語言中"神奇"處理的那種東西。 或者，換句話說，Wolfram 語言——就像自然語言一樣——是一種具有足夠表現(xiàn)力的東西，以至于人們可以想象在其中為 ChatGPT 編寫一個有意義的"提示"。是的，Wolfram 語言可以直接在計算機上執(zhí)行。但作為 ChatGPT 提示，它可以用來"表達一個想法"，其"故事"可以繼續(xù)。它可能會描述一些計算結(jié)構(gòu)，讓 ChatGPT 根據(jù)它通過閱讀人類編寫的這么多東西所學(xué)到的東西，去"即興演奏"人們可能會在計算上對這種結(jié)構(gòu)說些什么——這將"對人類會很有趣"。 ChatGPT 的意外成功突然打開了各種令人興奮的可能性。但就目前而言，有機會通過 Wolfram|Alpha 賦予 ChatGPT 計算知識超能力。因此，它不僅可以產(chǎn)生"似是而非的像人類輸出"，還可以產(chǎn)生利用封裝在 Wolfram|Alpha 和 Wolfram 語言中的整個計算和知識塔的輸出。 [ 此帖被小火龍果在2023-04-07 17:06重新編輯 ]
|
