2024-06-20

100 年內「AI 消滅人類」機率高達 99.9%？ 13 個重點看美國 AI 安全權威重量級新書 | MixerBox AI 讀書會

〈 MixerBox AI 讀書會〉

超級人工智慧（ASI）究竟會不會成為人類生存的威脅？這是所有科技迷都很有興趣的話題。

美國 AI 安全權威、路易斯維爾大學（University of Louisville）教授揚波爾斯基（Roman Yampolskiy）在最近出版的新書中發表了相當悲觀的看法，他更在受訪時預測，AI 在未來 100 年內消滅人類的機率竟然高達 99.9％！

揚波爾斯基在書中說：

我們眼前所看到的是一個幾乎必然會帶來生存災難的可能性。無怪有許多人認為這是人類有史以來所面臨的最重要問題。結局可能是繁榮或滅絕，世界的命運懸於一線。

這聽起來像是世界末日的預言。為什麼揚波爾斯基這麼說？他在書中又如何預測 AI 與人類的最終發展？

他的這本新書《AI：無法解釋、無法預測、無法控制》（AI: Unexplainable, Unpredictable, Uncontrollable）最近才在美國上市，台灣還沒有中譯版，MixerBox 閱讀了書中精華內容並整理以下 13 個重點：

13 個重點看懂《AI：無法解釋、無法預測、無法控制》

揚波爾斯基預測， AI 在未來 100 年內導致人類滅絕的機率高達 99.9%。主因是他翻遍大量文獻後，發現目前為止並未出現任何證據顯示人類有能力製造出零出錯的系統。所以當 AI 發展出高度智慧能力後，其在相當一段長時間（例如 100年）導致人類滅絕的機率就會變得極高（99.9%）。
因此，AI 是否能消滅人類的關鍵取決於，人類能否能在創造出高度複雜的 AI 系統時，還能保證其零出錯。但揚波爾斯基推斷這樣的可能性並不高，因為 AI 產業一直以來的努力，恰恰是希望 AI 能夠做一些自主、展現創造性、突破預先計畫範圍的事情。
當通用／超級人工智慧（AGI/ASI）出現後，揚波爾斯基比喻人類就像是松鼠，就像松鼠無法想像人會做什麼事情，人類也無法想像 AI 會做什麼，「我們無法預測一個更聰明的系統會怎麼做」。
揚波爾斯基預測了 3 種人類與 AI 的結局：第一，所有人類都會死亡滅絕；第二，AI 並未消滅人類，但讓人類極度痛苦、生不如死；第三，AI 並沒有對人類做什麼事，但因 AI 取代人類完成所有工作，讓人類失去存在的意義與價值。
揚波爾斯基在書中詳細闡述為什麼 AI 是無法解釋、無法預測和無法控制的。如果按照目前人類希望的方向去設計與開發，超級人工智慧（ASI）將不可避免地變成不可控，而我們將不可能控制或約束一個比我們聰明得多的系統。
AI 無法解釋它做出的決定，或者我們無法理解 AI 給出的解釋，因為人類不夠聰明，無法理解 AI 實施的概念。如果我們不理解 AI 的決策，而只是有一個「黑箱」，我們就無法理解問題並減少未來事故的可能性。
較不聰明的代理人（人類）無法永久控制更聰明的代理人（超級人工智慧）。這不是因為我們可能無法設計出一個安全的超級 AI，而是因為沒有這樣的設計，它不存在。超級人工智慧不是背叛人類，它從一開始就是不可控的。
AI（以及超級智慧）與其它軟體程式的不同之處在於 AI 可以學習新行為、調整性能並在不同情況下發揮半自主行動的能力。
使 AI「安全」的一個問題是，隨著超級智慧的能力提高，其可能的決策和失敗是無限的，因此存在無限多的安全問題。不僅不可能完全預測出會有哪些問題，且光靠安全修補來修復這些問題可能也是不夠的。
揚波爾斯基對 AI 科學文獻進行了廣泛審查，發現目前找不到具體證據證明 AI 可以完全被人安全控制，這表明超級智慧 AI 的發展存在導致人類滅絕這類嚴重後果的可能性。
AI 系統具有複雜性和自主性，這使得我們很難預測 AI 的決策，也很難找到方法確保 AI 的行為可以符合人類價值觀。
要最大限度地降低 AI 風險，需要使系統「透明、可理解」，例如易於用人類語言理解。同時必須「可修改」，例如讓 AI 系統具備「撤銷」選項。
揚波爾斯基建議，將所有 AI 分類為可控或不可控，並應考慮有限的暫停、甚至部分禁止某些類型的 AI 技術。同時，也必須加大力道投入 AI 安全的相關研究。