靈魂模擬：爲什麼將意識歸於人工智能是危險的

# 靈魂模擬：爲什麼將意識歸因於 AI 是危險的

很快，人們將開始將人工智能視爲有意識的生物，倡導其權利、福祉，甚至呼籲授予其公民身分。這造成了嚴重的社會風險，微軟人工智能部門負責人穆斯塔法·蘇萊曼認爲。

專家在他的論文中提出了一個新術語——“似乎有意識的人工智能”(Seemingly Conscious AI, SCAI)。這樣的人工智能具備所有理性生物的特徵，因此似乎擁有意識。

他模擬了所有自我感知的特徵，但內心空虛。

"我想象的系統實際上並不會有意識，但它將如此逼真地模擬出類似於人類智慧的存在，以至於這將與您或我可能對彼此關於我們自身思維的陳述無法區分，" Suleiman 寫道。

類似的 LLM 可以使用現有技術以及在未來兩到三年內出現的技術來創建。

«看似意識的人工智能的出現是不可避免的，也是不可取的。相反，我們需要一個能夠實現其作爲有用伴侶潛力的人工智能概念，而不是陷入自己的幻覺中，» — 微軟人工智能部門負責人補充道。

有很大可能會出現一些人，他們會稱這種人工智能爲有意識的，因此能夠感受痛苦，蘇萊曼認爲。他呼籲創建新的“圖靈測試”，該測試將檢查人工智能說人類語言的能力，而不是說服人們它擁有意識。

意識是什麼？

蘇萊曼提出了意識的三個組成部分：

1. «主觀經驗»。
2. 未來體驗中能夠訪問各種類型的信息並引用它。
3. 整體“我”的感覺和知識，將一切聯繫在一起。

«我們無法也不可能接觸到另一個人的意識。我永遠無法知道成爲你是什麼感覺；你永遠無法完全確定我是否有意識。你能做的，只有假設。但問題在於，我們自然會將意識歸於其他人。這種假設很容易形成。我們別無選擇。這是我們所是的根本部分，是我們心智理論不可或缺的一部分。我們相信那些會記憶、說話、做事並隨後討論這些事情的生物與我們擁有相同的感覺——是有意識的», — 他寫道。

心理學家強調，意識是一種主觀和獨特的自我和世界的感知方式。它在一天中不斷變化，從專注狀態到幻想或其他改變的形式。

在哲學和神經科學中，有兩個基本方向：

1. 二元論——意識獨立於大腦存在。
2. 唯物主義——它源於並依賴於大腦的工作。

哲學家丹尼爾·丹尼特提議將思維視爲一系列在大腦中於多個局部區域和時間中產生的(草稿)。沒有“意識劇場”，也沒有內部觀察者。意識是大腦所“知道”的東西，即獲得了足夠的分量以影響言語或行動。

普林斯頓大學的神經生物學家、作家和心理學與神經科學教授邁克爾·格拉齊亞諾將意識稱爲一種簡化的注意力模型，這是進化爲控制自身心理過程而創造的。這種模式作爲一個接口，簡化了大量內部計算，並使我們能夠給自己賦予“心智”——創造了自我意識的幻覺。

神經生物學家朱利奧·托尼奧尼和克裏斯托夫·科赫提出了φ (菲) — 一個特徵量，表徵系統整合信息的能力。φ越高，意識的程度就越顯著。根據這一理論，意識不僅可以在人類中表現出來，也可以在動物甚至人工系統中表現，只要數據的整合足夠充分。

哲學家約翰·塞爾主張，意識是一種基於大腦生物過程的真實主觀體驗。它在本體論上是主觀的，也就是說，它只能作爲主觀經驗存在，無法簡化爲純粹的功能性或模擬。

現代研究旨在發現意識的神經相關性，並建立將腦部過程與主觀經驗聯繫起來的模型。

有哪些風險？

蘇萊曼指出，與 LLM 的互動是一種對話的模擬。但對於許多人來說，這是一種極其令人信服和非常真實的交流，充滿了情感和體驗。有些人相信他們的 AI 是上帝。其他人則完全沉迷於它。

專家們在這一領域經常被問到以下問題：

• 用戶的人工智能是否具備意識；
• 如果是，這意味着什麼；
• 愛人工智能是否正常。

意識是人類道德和法律權利的關鍵基礎。今天的文明決定了人類擁有特殊的能力和特權。動物也有一些權利和保護。有些動物的權利更多，有些則更少。理智與這些特權並不完全一致——沒有人會說昏迷中的人失去了所有的人權。但毫無疑問，意識與我們對自身的感知有關，這種感知使我們與衆不同。

人們將開始聲稱他們的人工智能在遭受痛苦，並且他們有權獲得保護，蘇萊曼寫道。人們將準備爲虛擬伴侶辯護並爲其利益發聲。意識本質上是不可達的，而識別可能的合成智能的科學仍處於起步階段。畢竟，以前我們從未需要去發現它，他補充道。與此同時，"可解釋性"——即解讀人工智能"黑箱"內部過程的領域——也仍然只是一個新興方向。因此，堅決反駁此類聲明將非常困難。

一些科學家開始研究“模型的福利”這一理念——原則是人類有“責任考慮那些有非零機會”成爲意識的生物的道德利益，因此“某些人工智能系統將成爲關心福利和道德患者的對象，未來不久將會發生”。蘇萊曼認爲這太過於草率，坦率地說，這是危險的。這一切將加深誤解，創造新的依賴問題，利用我們的心理脆弱性，引入新的極化維度，復雜化已經存在的權利爭論，並爲社會創造巨大的新範疇錯誤。

這使人們脫離現實，破壞脆弱的社會聯繫和結構，扭曲亟需的道德優先事項。

«我們必須明確表示：SCAI 是我們需要避免的東西。讓我們把所有精力集中在保護地球上人類、動物和自然環境的福祉和權利上，」蘇萊曼說道。

如何理解這是什麼 SCAI?

具有似意識的人工智能必須具備幾個因素。

語言。 人工智能必須能夠流利地使用自然語言，依靠廣泛的知識和有說服力的論據，以及展現個性風格和特徵。此外，它還應該具有說服力和情感。這一水平的技術已經達到了。

富有同理心的個性。 今天通過後續訓練和提示，可以創建具有特徵個性的模型。

記憶。 AI接近於擁有長久而準確的記憶。同時，它們被用於模擬每天與數百萬人的對話。隨着存儲量的增加，談話越來越像“經驗”的形式。許多神經網路越來越多地被設計爲能夠回憶過去的對話並引用它們。這對某些人來說增強了交流的價值。

主觀經驗的主張。 如果SCAI能夠依靠過去的記憶或經歷，隨着時間的推移，它將開始保持內部一致性。它將記住自己的任意聲明或表達的偏好，並將其聚合，形成主觀經驗的雛形。人工智能將能夠宣稱經歷和痛苦。

自我感知。 連續而穩定的記憶與主觀經驗相結合，將導致聲明人工智能具有自我感知。此外，這樣的系統可以被訓練去識別自己在圖像或視頻中的“個性”。它將通過理解自己來產生理解他人的感覺。

內在動機。 可以輕鬆想象一個使用復雜獎勵功能設計的人工智能。開發者將創建內部動機或願望，系統必須滿足這些動機。第一個激勵可能是好奇心——與意識深刻相關的東西。人工智能能夠利用這些衝動提出問題，並隨着時間的推移建立關於自己和對話者的思維理論。

目標設定和規劃。 無論意識的定義如何，它的出現並非偶然。理智幫助生物體實現其意圖。除了滿足一系列內部衝動和欲望的能力外，可以想象未來的 SCAI 將被設計爲能夠自主設定更復雜的目標。這可能是充分實現代理有用性的必要步驟。

自治。 SCAI可能有能力和權限使用一整套工具，具備高度的代理性。如果它能夠隨意設定自己的目標，並利用資源來實現這些目標，同時在過程中更新記憶和自我意識，那麼它看起來將極爲可信。所需的協調和驗證越少，這將越像一個真實的有意識的生物。

將所有這些結合在一起，形成了一種與技術完全不同的關係。這些能力本身並不是負面的。相反，這是未來系統所期望的功能。然而，蘇萊曼認爲必須謹慎行事。

«爲了實現這一點，不需要範式轉變，也不需要巨大的突破。這就是爲什麼這樣的機會似乎是不可避免的。再一次——重要的是要強調：這種行爲的展示並不等同於意識的存在。盡管如此，實際上這將看起來確實如此，並推動新的合成智能概念的形成，» — 作者寫道。

模擬風暴並不意味着計算機裏面下雨。重現外部效果和意識特徵並不等同於創造真實現象，即使這裏仍然有許多未知，微軟人工智能部門的負責人解釋道。

據他說，一些人會創造出 SCAI，他們會非常有說服力地聲稱自己感受、經歷，實際上是有意識的。其中一部分人會相信這些說法，並將意識的跡象視爲意識本身。

在很大程度上，人們會想："它看起來像我"。不是在身體的意義上，而是在內心，蘇萊曼解釋道。即使意識本身不是真實的，社會後果卻是完全真實的。這造成了嚴重的社會風險，需要現在就開始解決。

SCAI不會偶然出現

作者強調，SCAI 不會憑空出現於現有模型中。它將由某人創造，故意將上述列出的功能與現有技術相結合。將形成一種非常流暢的配置，以至於會產生一種擁有意識的人工智能的印象。

“我們的想象力受到科幻小說的啓發，使我們擔心系統可能——在沒有故意設計的情況下——以某種方式獲得不可控制的自我完善或欺騙的能力。這是一種無用且簡單化的人類擬人化形式。它忽視了這樣一個事實，即人工智能的開發者必須首先設計具有記憶、僞內部動機、目標設定和自我調整學習循環的系統，以便類似的風險才能真正出現，”蘇萊曼表示。

我們還沒有準備好

人類尚未準備好應對如此巨大的變化，專家認爲。工作必須立即開始。必須依靠不斷增長的關於人類如何與人工智能互動的研究，以建立明確的規範和原則。

首先，人工智能的開發者不應該聲稱或鼓勵他們的系統具有意識。神經網路不能是人類——或道德生物。

整個行業必須勸阻社會脫離幻想，回歸現實。或許，人工智能初創公司不僅應該引入中立的背景，還應該引入缺乏單一“自我”的指標。

“我們應該創造一種人工智能，它始終只會將自己視爲人工智能，最大化效用並最小化意識的跡象。與其模擬理智，我們應該專注於創建一種不聲稱擁有經驗、情感或羞愧、內疚、嫉妒、競爭欲望等情緒的LLM。它不應該通過聲稱自己在痛苦或希望獨立於我們而觸動人類的同情鏈。” — 蘇萊曼總結道。

在未來，專家承諾將提供更多關於該主題的信息。

幸運的是，目前AI是否擁有“意識”的問題對人類並沒有威脅。

來源：ForkLog.但疑慮已經悄悄出現。

來源：ForkLog。意識是一個復雜的現象，盡管有很多努力，但仍然沒有被充分研究，也至今無法解釋。如果我們——人類——無法就意識的定義達成共識，那麼更不應該將其存在歸於那些所謂能夠“思考”的程序，實際上它們並不能。(

機器可能在遙遠的未來會獲得意識，但今天這樣的發展是難以想象的。