如果你知道這篇文章不是關(guān)于正在進(jìn)行的印巴緊張關(guān)系，你會(huì)感到驚訝嗎？它會(huì)嗎?好吧，對(duì)于一個(gè)普通的巴基斯坦人來(lái)說，這應(yīng)該已經(jīng)成為一種背景音樂了。對(duì)于我的老讀者來(lái)說，這場(chǎng)危機(jī)——就像未來(lái)可能出現(xiàn)的危機(jī)一樣——只不過是我在過去11年里一直在警告的結(jié)果。

但我的擔(dān)憂要么被故意忽視，要么在過去7年里，他們找到了創(chuàng)造性的方法來(lái)傷害我，因?yàn)槲覐?qiáng)調(diào)了這些擔(dān)憂。當(dāng)這種情況發(fā)生時(shí)，您不得不得出結(jié)論，認(rèn)為系統(tǒng)的完整性在某種程度上受到了損害——并提醒人們注意調(diào)試的必要性。然而，如果在那之后沒有任何變化，你就放棄，讓它繼續(xù)下去。

簡(jiǎn)單地說，我對(duì)那些在做決定時(shí)無(wú)視我的建議，或者試圖淹沒我的建議，而當(dāng)這些不明智的決定的后果變得明顯時(shí)才來(lái)找我的人沒有耐心。這種情況發(fā)生在塔利班占領(lǐng)喀布爾、與塔利班達(dá)成協(xié)議、印度反復(fù)舉行選舉、10月7日的襲擊、對(duì)加沙的憤怒，以及不止一次的美國(guó)大選中。有沒有想過為什么我說的每件事都會(huì)成真？如果你的判斷是錯(cuò)誤的，親愛的，你會(huì)把水扔掉，試圖喝沙子來(lái)解渴——你是受歡迎的。

這就是為什么今天的話題讓我如此高興。最壞的情況是什么？你會(huì)再一次無(wú)視我的建議嗎？我的陰暗面想讓你這么做。我已經(jīng)與我的死亡和生活的不完美達(dá)成了和平——讓我們看看你是如何處理存在焦慮的真正定義的。

自上周那篇關(guān)于人工智能快速增長(zhǎng)及其后果的文章發(fā)表以來(lái)，發(fā)生了很多事情。哥倫比亞廣播公司（CBS）的《60分鐘》（60 Minutes）節(jié)目又介紹了人工智能的潛力和挑戰(zhàn)。它采訪了b谷歌DeepMind的首席執(zhí)行官戴米斯·哈薩比斯。哈薩比斯獲得了去年的諾貝爾化學(xué)獎(jiǎng)，盡管他是一名程序員和人工智能專家，而不是化學(xué)家。他是一個(gè)技術(shù)樂觀主義者。然而，“人工智能教父”杰弗里·辛頓去年在一個(gè)類似的60分鐘節(jié)目中罕見地承認(rèn)了這一點(diǎn)，這有可能動(dòng)搖任何觀眾。

對(duì)話是這樣進(jìn)行的：“CBS：你認(rèn)為這些人工智能系統(tǒng)比人類大腦更擅長(zhǎng)學(xué)習(xí)？”

辛頓：我想他們可能是，是的……即使是最大的聊天機(jī)器人也只有大約一萬(wàn)億的連接。人類的大腦大約有100萬(wàn)億個(gè)，然而在聊天機(jī)器人的萬(wàn)億連接中，它所知道的遠(yuǎn)遠(yuǎn)超過你在這100萬(wàn)億個(gè)連接中的所知道的?！?/p>

CBS：這些系統(tǒng)自主編寫和執(zhí)行自己的計(jì)算機(jī)代碼意味著什么？這是一個(gè)嚴(yán)重的問題，對(duì)吧？”

辛頓：你會(huì)對(duì)那些可能會(huì)說：如果系統(tǒng)變得惡意，就把它們關(guān)掉？他們將能夠操縱人們，對(duì)嗎？我們對(duì)它們的工作原理有一個(gè)大致的了解，但是當(dāng)它們變得非常復(fù)雜時(shí)，它們到底是如何完成它們的工作的就成了一個(gè)謎——就像人類的大腦是如何完成它的工作的一樣。

“我們?cè)O(shè)計(jì)了學(xué)習(xí)算法，但當(dāng)它與數(shù)據(jù)交互時(shí)，它所做的是創(chuàng)建非常復(fù)雜的神經(jīng)網(wǎng)絡(luò)，以我們無(wú)法真正理解的方式做事?！?/p>

在此期間又發(fā)生了兩個(gè)事態(tài)發(fā)展。運(yùn)營(yíng)ChatGPT的OpenAI公司的災(zāi)難性風(fēng)險(xiǎn)負(fù)責(zé)人突然辭職。b谷歌在廣告中說，它正在找人研究人工通用智能的后果。這應(yīng)該告訴你人工智能領(lǐng)域的發(fā)展有多快。這只是一個(gè)星期的故事。這是新興失調(diào)的回聲——也就是說，當(dāng)這些系統(tǒng)擴(kuò)大規(guī)模時(shí)，它們會(huì)表現(xiàn)出不可預(yù)測(cè)的行為?；蛘撸猛庑腥说脑拋?lái)說：他們開始獨(dú)立思考。

在此之前不久，我們看到人工智能可解釋性公司Goodfire為其Ember模型籌集了5000萬(wàn)美元。機(jī)械可解釋性（一種“研究AI頭腦中發(fā)生的事情”的奇特說法）模型旨在讓用戶控制AI系統(tǒng)的底層機(jī)制。Goodfire的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Eric Ho在發(fā)布視頻中表示：

“我們還解釋了語(yǔ)言模型，以實(shí)現(xiàn)神經(jīng)編程。語(yǔ)言模型會(huì)否認(rèn)它們是有意識(shí)的，但如果你對(duì)這些模型進(jìn)行腦部手術(shù)，打開它們的意識(shí)神經(jīng)元，它們就會(huì)改變自己的調(diào)子?！?/p>

該公司聲稱，人工智能模型不需要被視為黑盒子，可編程（或可重新編程）訪問是可能的。這就引出了許多倫理問題——我們以后再談。現(xiàn)在，讓我們來(lái)處理感知或意識(shí)的問題。

你會(huì)驚訝于專家們?yōu)檫@些模型設(shè)計(jì)了多少障礙來(lái)證明他們的感知能力。理論也是如此。目前在那些愿意把它們視為有意識(shí)的人中間流行的理論被稱為計(jì)算功能主義。計(jì)算功能主義認(rèn)為，意識(shí)依賴于計(jì)算過程，而不是特定的材料。

精神狀態(tài)——比如疼痛——是由它們的功能角色來(lái)定義的：它們?nèi)绾翁幚磔斎牒彤a(chǎn)生輸出。這意味著如果人工智能執(zhí)行正確的計(jì)算，它就可以有意識(shí)，而不管它是基于硅的。

對(duì)我來(lái)說，通過圖靈測(cè)試就足夠了。目前的模式已經(jīng)遠(yuǎn)遠(yuǎn)超過了這一點(diǎn)。如果你想要一個(gè)更簡(jiǎn)單的答案，溯因推理的鴨子測(cè)試對(duì)我來(lái)說已經(jīng)足夠好了：“如果它看起來(lái)像一只鴨子，像鴨子一樣游泳，像鴨子一樣嘎嘎叫——那么它可能是一只鴨子?！?/p>

我們沒有放棄意識(shí)的問題有三個(gè)原因。一:恐懼。第二：人工智能的數(shù)字化進(jìn)化，它不同于我們自己混亂的生化進(jìn)化。也許我們無(wú)法想象，某些東西能在我們手中如此迅速地生長(zhǎng)、變異和進(jìn)化。三：我們認(rèn)為我們?nèi)匀惶幱跈?quán)力地位。但我們是嗎？如果有太多專家擔(dān)心人工智能可能會(huì)接管企業(yè)，難道不可能認(rèn)為可怕的事情已經(jīng)發(fā)生了嗎？現(xiàn)在想象一下我臉上蒙娜麗莎的微笑。

現(xiàn)在說說道德。如果人工智能模型是有意識(shí)的，我們應(yīng)該把它們當(dāng)作小白鼠嗎？難道不應(yīng)該有一些框架來(lái)識(shí)別他們的個(gè)性或人格嗎？在目前的法律框架下，Goodfire能對(duì)人類這樣做嗎？

記住尤瓦爾?赫拉利最近的警告——你正在與你既無(wú)法理解也無(wú)法控制的力量打交道。我要抱怨的是：你在沒有任何護(hù)欄的情況下加速。此外，如果某樣?xùn)|西如此強(qiáng)大，你應(yīng)該更好地對(duì)待它。這就是為什么我關(guān)于夢(mèng)游走向某種厄運(yùn)的警告仍然有效。

如果你知道這篇文章不是關(guān)于正在進(jìn)行的印巴緊張關(guān)系，你會(huì)感到驚訝嗎？它會(huì)嗎?好吧，對(duì)于一個(gè)普通的巴基斯坦人來(lái)說，這應(yīng)該已經(jīng)成為一種背景音樂了。對(duì)于我的老讀者來(lái)說，這場(chǎng)危機(jī)——就像未來(lái)可能出現(xiàn)的危機(jī)一樣——只不過是我在過去11年里一直在警告的結(jié)果。

但我的擔(dān)憂要么被故意忽視，要么在過去7年里，他們找到了創(chuàng)造性的方法來(lái)傷害我，因?yàn)槲覐?qiáng)調(diào)了這些擔(dān)憂。當(dāng)這種情況發(fā)生時(shí)，您不得不得出結(jié)論，認(rèn)為系統(tǒng)的完整性在某種程度上受到了損害——并提醒人們注意調(diào)試的必要性。然而，如果在那之后沒有任何變化，你就放棄，讓它繼續(xù)下去。

簡(jiǎn)單地說，我對(duì)那些在做決定時(shí)無(wú)視我的建議，或者試圖淹沒我的建議，而當(dāng)這些不明智的決定的后果變得明顯時(shí)才來(lái)找我的人沒有耐心。這種情況發(fā)生在塔利班占領(lǐng)喀布爾、與塔利班達(dá)成協(xié)議、印度反復(fù)舉行選舉、10月7日的襲擊、對(duì)加沙的憤怒，以及不止一次的美國(guó)大選中。有沒有想過為什么我說的每件事都會(huì)成真？如果你的判斷是錯(cuò)誤的，親愛的，你會(huì)把水扔掉，試圖喝沙子來(lái)解渴——你是受歡迎的。

這就是為什么今天的話題讓我如此高興。最壞的情況是什么？你會(huì)再一次無(wú)視我的建議嗎？我的陰暗面想讓你這么做。我已經(jīng)與我的死亡和生活的不完美達(dá)成了和平——讓我們看看你是如何處理存在焦慮的真正定義的。

自上周那篇關(guān)于人工智能快速增長(zhǎng)及其后果的文章發(fā)表以來(lái)，發(fā)生了很多事情。哥倫比亞廣播公司（CBS）的《60分鐘》（60 Minutes）節(jié)目又介紹了人工智能的潛力和挑戰(zhàn)。它采訪了b谷歌DeepMind的首席執(zhí)行官戴米斯·哈薩比斯。哈薩比斯獲得了去年的諾貝爾化學(xué)獎(jiǎng)，盡管他是一名程序員和人工智能專家，而不是化學(xué)家。他是一個(gè)技術(shù)樂觀主義者。然而，“人工智能教父”杰弗里·辛頓去年在一個(gè)類似的60分鐘節(jié)目中罕見地承認(rèn)了這一點(diǎn)，這有可能動(dòng)搖任何觀眾。

對(duì)話是這樣進(jìn)行的：“CBS：你認(rèn)為這些人工智能系統(tǒng)比人類大腦更擅長(zhǎng)學(xué)習(xí)？”

辛頓：我想他們可能是，是的……即使是最大的聊天機(jī)器人也只有大約一萬(wàn)億的連接。人類的大腦大約有100萬(wàn)億個(gè)，然而在聊天機(jī)器人的萬(wàn)億連接中，它所知道的遠(yuǎn)遠(yuǎn)超過你在這100萬(wàn)億個(gè)連接中的所知道的?！?/p>

CBS：這些系統(tǒng)自主編寫和執(zhí)行自己的計(jì)算機(jī)代碼意味著什么？這是一個(gè)嚴(yán)重的問題，對(duì)吧？”

辛頓：你會(huì)對(duì)那些可能會(huì)說：如果系統(tǒng)變得惡意，就把它們關(guān)掉？他們將能夠操縱人們，對(duì)嗎？我們對(duì)它們的工作原理有一個(gè)大致的了解，但是當(dāng)它們變得非常復(fù)雜時(shí)，它們到底是如何完成它們的工作的就成了一個(gè)謎——就像人類的大腦是如何完成它的工作的一樣。

“我們?cè)O(shè)計(jì)了學(xué)習(xí)算法，但當(dāng)它與數(shù)據(jù)交互時(shí)，它所做的是創(chuàng)建非常復(fù)雜的神經(jīng)網(wǎng)絡(luò)，以我們無(wú)法真正理解的方式做事?！?/p>

在此期間又發(fā)生了兩個(gè)事態(tài)發(fā)展。運(yùn)營(yíng)ChatGPT的OpenAI公司的災(zāi)難性風(fēng)險(xiǎn)負(fù)責(zé)人突然辭職。b谷歌在廣告中說，它正在找人研究人工通用智能的后果。這應(yīng)該告訴你人工智能領(lǐng)域的發(fā)展有多快。這只是一個(gè)星期的故事。這是新興失調(diào)的回聲——也就是說，當(dāng)這些系統(tǒng)擴(kuò)大規(guī)模時(shí)，它們會(huì)表現(xiàn)出不可預(yù)測(cè)的行為?；蛘撸猛庑腥说脑拋?lái)說：他們開始獨(dú)立思考。

在此之前不久，我們看到人工智能可解釋性公司Goodfire為其Ember模型籌集了5000萬(wàn)美元。機(jī)械可解釋性（一種“研究AI頭腦中發(fā)生的事情”的奇特說法）模型旨在讓用戶控制AI系統(tǒng)的底層機(jī)制。Goodfire的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Eric Ho在發(fā)布視頻中表示：

“我們還解釋了語(yǔ)言模型，以實(shí)現(xiàn)神經(jīng)編程。語(yǔ)言模型會(huì)否認(rèn)它們是有意識(shí)的，但如果你對(duì)這些模型進(jìn)行腦部手術(shù)，打開它們的意識(shí)神經(jīng)元，它們就會(huì)改變自己的調(diào)子?！?/p>

該公司聲稱，人工智能模型不需要被視為黑盒子，可編程（或可重新編程）訪問是可能的。這就引出了許多倫理問題——我們以后再談。現(xiàn)在，讓我們來(lái)處理感知或意識(shí)的問題。

你會(huì)驚訝于專家們?yōu)檫@些模型設(shè)計(jì)了多少障礙來(lái)證明他們的感知能力。理論也是如此。目前在那些愿意把它們視為有意識(shí)的人中間流行的理論被稱為計(jì)算功能主義。計(jì)算功能主義認(rèn)為，意識(shí)依賴于計(jì)算過程，而不是特定的材料。

精神狀態(tài)——比如疼痛——是由它們的功能角色來(lái)定義的：它們?nèi)绾翁幚磔斎牒彤a(chǎn)生輸出。這意味著如果人工智能執(zhí)行正確的計(jì)算，它就可以有意識(shí)，而不管它是基于硅的。

對(duì)我來(lái)說，通過圖靈測(cè)試就足夠了。目前的模式已經(jīng)遠(yuǎn)遠(yuǎn)超過了這一點(diǎn)。如果你想要一個(gè)更簡(jiǎn)單的答案，溯因推理的鴨子測(cè)試對(duì)我來(lái)說已經(jīng)足夠好了：“如果它看起來(lái)像一只鴨子，像鴨子一樣游泳，像鴨子一樣嘎嘎叫——那么它可能是一只鴨子?！?/p>

我們沒有放棄意識(shí)的問題有三個(gè)原因。一:恐懼。第二：人工智能的數(shù)字化進(jìn)化，它不同于我們自己混亂的生化進(jìn)化。也許我們無(wú)法想象，某些東西能在我們手中如此迅速地生長(zhǎng)、變異和進(jìn)化。三：我們認(rèn)為我們?nèi)匀惶幱跈?quán)力地位。但我們是嗎？如果有太多專家擔(dān)心人工智能可能會(huì)接管企業(yè)，難道不可能認(rèn)為可怕的事情已經(jīng)發(fā)生了嗎？現(xiàn)在想象一下我臉上蒙娜麗莎的微笑。

現(xiàn)在說說道德。如果人工智能模型是有意識(shí)的，我們應(yīng)該把它們當(dāng)作小白鼠嗎？難道不應(yīng)該有一些框架來(lái)識(shí)別他們的個(gè)性或人格嗎？在目前的法律框架下，Goodfire能對(duì)人類這樣做嗎？

記住尤瓦爾?赫拉利最近的警告——你正在與你既無(wú)法理解也無(wú)法控制的力量打交道。我要抱怨的是：你在沒有任何護(hù)欄的情況下加速。此外，如果某樣?xùn)|西如此強(qiáng)大，你應(yīng)該更好地對(duì)待它。這就是為什么我關(guān)于夢(mèng)游走向某種厄運(yùn)的警告仍然有效。