Computer Power and Human Reason: From Judgement to Calculation，Joseph Weizenbaum，W.H. Freeman & Company，January 1976
盡管ChatGPT是2022年底才出現的新事物，足夠以假亂真的人工智能卻並不新，對人工智能的反思也不新。1968年即已投入實踐的ELIZA，就是一款能夠和人流暢對話、開解苦悶，甚至讓當時的精神科醫師都在熱議人機如何協作、人會不會被取代的人工智能。在那些為技術進展而歡欣鼓舞的時人看來，ELIZA的出現標志著強人工智能，或者說所謂的技術“奇點”，幾乎已是觸手可及。讓人意外的是，ELIZA的開發者約瑟夫·魏岑鮑姆（Joseph Weizenbaum）幾乎沒有太多的遲疑，就斷然放棄了這一前路一片光明的方向。
不僅如此，魏岑鮑姆走上了截然相反的道路。1976年，他出版《計算機權力和人類理性：從決斷到計算》（以下簡稱《權力》）一書，先自數理和技術，再到哲學和法律，又從科學和政治，對以ELIZA為代表的人工智能展開甚為全面、深刻、尖銳的批判。今日觀之，依舊代表了這一議題極高的水準。遺憾的是，盡管偶爾還有少許著述會一帶而過這本奇書，半個世紀之後再度狂熱的今人，大體已經遺忘了魏岑鮑姆這位奇人。當二十一世紀的“ELIZA”再臨，我們值得徹底地重讀魏岑鮑姆的自白，仔細地聆聽其警語。
奇人其人
1923年，魏岑鮑姆出生在德國柏林的一個村莊。生長於斯，歸根於斯，並在中間大約三十年的時間裡深刻改變了人工智能。魏岑鮑姆在這一領域的工作具備天馬行空般的獨創性和開放性。一方面，ELIZA是當時的技術和工程前沿水平的代表，是理論推演和繁密機巧的精細綜合。另一方面，《權力》體現了對十數個彼此相隔甚遠的領域的熟稔———先從波蘭尼寫到圖靈機，再從軟件開發的日常回歸霍爾姆斯大法官（Holmes, Jr.）的判決。在爬梳千頭萬緒的論證理路之前，需要概述魏岑鮑姆的成長環境、學術場域和社會氛圍的影響。
約瑟夫·魏岑鮑姆（Joseph Weizenbaum）
《權力》有從起點出發推演展開的綿長邏輯鏈條，也有不時迸發的對純真年代不再的失落喟嘆。無論是邏輯的起點，還是偶然的感傷，隱約都能窺見根植於鄉村生活的，對自然主義和神秘主義的不懈復歸。開篇伊始，魏岑鮑姆就從耕地的犁寫起，速覽了一部人類在工具理性主義中不斷迷失、日益袖手的歷史。這部歷史中有著裡程碑意義的兩個端點，一是鐘表，一是計算機。鐘表為何如此重要？在其發明之前，人對時間的理解根植於生活世界的直接經驗——廣闊原野的物候，往復輪轉；在其發明之後，人逐步疏遠了自然的時間，取而代之的，是一個與生活世界平行的、理性的、可度量的、科學的、人造的時間模型。面對誘惑力和成癮性毫不遜色於鐘表的計算機，魏岑鮑姆難以自抑對素樸的柏林和新英格蘭鄉村生活的深深留戀。無怪乎在全書接近結尾時，他擲地有聲地論斷：人和人工智能終究有別的邏輯根本，是人工智能終究缺乏每一個人類嬰兒都必須經歷的“走出伊甸園”的社會化過程。在推進全書最為核心的論證時，作為一名計算機科學傢，魏岑鮑姆並沒有將其邏輯起點建築在各色的不完備和測不準定理之上——盡管他相當熟悉這些定理，也在書中多次引述了這些定理——而是將“母親和嬰兒間不可分離的相互性”，以及這一紐帶所必然經歷的“悲劇性的分離”作為整個論證的前提。
田園牧歌和精神分析隻是《權力》一小部分的主題。魏岑鮑姆的主要任務，還是與諸多至今仍在影響人工智能發展的學者對話，並嘗試挫敗他們的野心。他要對話的學科和學者很多，有一部分還是他當時在麻省理工學院的同事好友。無論是同樣橫跨許多學科的司馬賀（Herbert Simon）和諾姆·喬姆斯基（Noam Chomsky），還是用心理學等交叉學科方法解析人類智能的伯爾赫斯·斯金納（Burrhus Skinner）和艾倫·紐厄爾（Alan Newell），抑或是最早開辟人工智能技術“奇點”和具身智能領域的諾伯特·維納（Nobert Werner）和特裡·文諾格拉德（Terry Winograd），在魏岑鮑姆看來，都太過狹隘地將人的智能視為僅僅是在完成信息處理的任務。或者說，都過分篤信了作為一時顯學的控制論的視角：將人的智能等同於設置特定的目標以後，根據信息輸入選擇理性的策略的機器。這一任務並不容易。當一個時代的眾多學科都在熱烈擁抱一個充滿希望的新范式，且因此不斷取得突破時，批判性的對話註定荊棘叢生。可想而知，僅僅依賴隱喻般的“走出伊甸園”的論證不太可能說服這些學者。魏岑鮑姆必然需要深入對方的腹地，“用魔法打敗魔法”，以控制論范式自毀其根基。在《權力》當中，他也確實這樣努力過了。
返璞歸真的願望和學術場域的辯駁都很珍貴，但魏岑鮑姆深知，為了阻止人與自然的分離，為了防止工具理性主義的宰制，也是為了喝止人在技術面前受到誘惑放棄自我判斷的能力，這些都還不夠。他還需要和大眾對話，還需要和當權者對話。在當時美國的社會氛圍下，既有對科學的狂信成癮，亦有少許萌芽的批判。二者的聲浪大小全然不成比例。在當時美國的社會現實裡，既有勾連學界驅動人工智能研究的軍工復合體，也有在越戰反戰聲浪下對人工智能技術的揭露批判。受軍事部門資助用於監控、傷害、殺戮的人工智能驅馳無礙。魏岑鮑姆其言其行，可謂體現出一種無可救藥的理想主義。他不僅是在用心最深的一本著作中背離了自己的專業，勉力追逐理想中的自然主義和神秘主義；他也不僅是直面當時最為炙手可熱的顯學，盡力辯駁在十幾個學科都已取得耀眼成就的革命范式；他還要去揭露大眾在思考技術時的盲點，直陳大眾既不了解、也不研習技術本身，隻是按照自身主觀賦予技術的屬性來“思考”技術；他甚至還要扳停軍工技術前方的道閘，疾呼停止語音識別技術的研發。隻從立場出發，當時的人幾乎沒有誰會喜歡《權力》。然而，或許正是因為超越了當時幾乎所有人的一己之見，《權力》的生命力才有可能超越一時一地。
多岐路，今安在？
《權力》何以瑰奇？歸根結底，還是其對人工智能的批判甚為全面、深刻且尖銳，足以啟示今人。魏岑鮑姆的經歷、智識、成就和勇氣，包括其創作和叛離了半個世紀前的“ChatGPT”，終究隻是理解批判的背景音。充分闡發《權力》為何足以啟示今人，不僅需要重述其間論證，還要闡明這些論證如何關系到今日依然重要的議題。《權力》的論證頗為連貫，又甚為綿長。就此，扼要將其約簡至三個部分。每一部分采取不同學科的視角，分別聚焦人工智能的可信賴性、權力濫用和可問責性。半個世紀以來，這些議題一直都很重要。誤入歧路的危險（放任人工智能辜負信賴、宰制擅權且無法負責）始終存在。
首先從理論計算機科學的視角出發，從根本上質疑人工智能的可信賴性。魏岑鮑姆的論證思路是：通過論證人和人工智能之間存在根本的鴻溝，闡明有的事情隻能由人來承擔，而不能由人工智能來承擔。為此，需要分別闡明人的根本和人工智能的根本，然後解析二者間的鴻溝。人的根本，特別是無法為工具理性主義所徹底洞察的根本，在於其個體性、無意識和“走出伊甸園”的社會化過程。先說個體性。《權力》在此佯作退讓：采取同時期控制論的視角和術語，承認人對世界的理解可以視為在其信念結構中完成對世界知識的表征。之後圖窮匕見商榷之意：因每個人的信念結構彼此不同，且無法通約，對世界知識的表征在根本上是一個具備個人性的過程。也就是說，不可通約的信念結構間的差異，這一“根本的私密性”，導致了理解的個人性。探討人工智能的所謂“理解”，因而隻能是對語詞的“驚人的”挪用。再是無意識。從其個人體驗、眾多學者和藝術傢的創作體驗以及同時期對左右腦功能差異的研究出發，《權力》較早強調了人的無意識對人工智能批判的意義。按其斷言，即使未來科學能夠解析人的每一個神經元，其依舊不足以理解由夢、直覺、靈感、天啟和創造力混合而成的這片“海平面下的混沌”。進而言之，即使人工智能能夠以左腦的方式表征信息、形成理解，也永遠不可能以右腦的方式運作。最後是作為邏輯起點，造成個人性和無意識的社會化過程。這一過程起自母親和孩子間“悲劇性的分離”，在教育、婚姻、戰爭和愛恨情仇當中不斷深化。沒有經歷人的社會化過程的計算機，無法由此形成根本性的私密的信念結構，也不具備由此蘊育的無意識的混沌。計算機的根本是圖靈機能夠加以計算的任務。個體性、無意識和神秘主義都落在能夠計算的任務范圍之外，從而落在由計算機運行的人工智能能夠理解的范圍之外。既然人工智能不能理解人的根本，人的根本要事就隻能由人來做，而不能依賴人工智能去做。
其次以哲學和法律為主要視角，反思人工智能的發展催生權力濫用的兩種機制。具體來說，從技術哲學出發，人工智能放任了制定和執行法則的權力的濫用；從司法裁判出發，人工智能在默會、不成文、地方性的知識面前充滿了傲慢。盡管計算機不能做到應當由人去做的許多事情，但在圖靈機能夠計算的范圍之內，其有著制定和執行法則的絕對的權力。任何表面上的桀驁不馴都來源於人的錯誤，總是能夠通過“捉蟲（Bug）”的方式加以改正。除此之外，其總是遵循邏輯，總是流暢運行，總是按照程序員的意旨忠實地運行。循此，魏岑鮑姆直陳其凜然的機鋒——既然絕對的權力導致絕對的腐敗，掌握制定和執行法則的絕對權力的程序員，也將不可避免地濫用其權力。這一點既體現在程序員以人工智能“革新”“重塑”“顛覆”社會的本能般的沖動當中，也體現在其普遍的倫理冷感和隨波逐流當中。當其如魯莽的醉漢般論證人工智能足以解析人的狀況時，他們不過是不斷地尋找能夠證明自身正確的線索或啟示的、狀似理性的賭徒。半個世紀以來，這樣沖動的無思和無知仍舊愈演愈烈，儼然熊熊之勢。《權力》之後引用霍爾姆斯大法官在迪亞茲訴岡薩雷斯案（Diaz v. Gonzalez）一案中的說理，闡明人工智能的另一種傲慢。此間論證可由一句質問加以概括：如果人和人工智能之間的差別不會比霍爾姆斯大法官所言的美國文化和日本文化之間的差異更小——二者間有著“不同的關切、默示的預設、不成文的實踐、以及其他至少一千種不同的影響因素”，由人工智能來為人的事做判決，怎麼可能會是正當的做法，又怎麼可能不是權力的濫用呢？
最後是從軟件工程和科學政治的實踐視角出發，預見人工智能在可解釋性和可問責性上的缺失。人工智能越界做了人做的事，人工智能濫權為人做了判決，這些本身都不那麼可怕。真正可怕的是我們無法知曉人工智能的當前狀況，無法要求應當為其濫用負責的人來負責，從而，也就無法阻止所有的越界、濫權和災禍的發生。《權力》在此的論證甚為用心、用情。畢竟，能夠在半個世紀前如此熟稔軟件工程，又同時處在軍工復合體的勾連關節處的人本就不多。按其所述，軟件開發中的封裝實踐導致我們最終難以知曉人工智能的狀況，政治在科學實踐背後的隱蔽運作導致人工智能責任者的悄然隱沒。先是軟件工程和可解釋性。所謂封裝，指的是將復雜的計算機代碼“打包”，使程序員得以在毋需知曉包裹內部細節的情況下加以利用。封裝當然是顯著促進了人工智能等復雜軟件的發展，也早已成為軟件工程實踐的標準動作。盡管如此，每一次封裝，都是事實上造成了一個黑箱；每一次對封裝的利用，都是搬來一個新的黑箱；每一次對利用了封裝的代碼的再利用，都是在堆疊黑箱。隨著黑箱之上不斷堆疊新的黑箱，質變終將到來，人終將徹底喪失理解一個人工智能的能力。這一在半個世紀前開始露頭的問題，今日早已催人袖手。如果隻有兩百行代碼的ELIZA已然不那麼容易理解，更何況是簡介其概況就需要近兩百頁的ChatGPT？再是科學政治和可問責性。同樣可以一言以蔽之：計算機和人工智能，幫著在國內外狂轟濫炸、肆意監控的美國軍事和情報機關幹了不少臟活。無論是開展為越南村莊的“戰略價值”，或者說值得轟炸的程度打分的研究項目，還是資助基於人工智能的語音識別，為大規模的無差別監控儲備技術，為美國政府辯護的聲音都可以輕描淡寫地說：“隻有行動，沒有行動者；隻有壞事，而沒有壞人。”於是，人工智能的責任悄然蒸發了。魏岑鮑姆在此以讀者幾乎震耳欲聾的語氣疾呼：人工智能背後存在著行動者！今天，面對越界、濫用和為禍的人工智能，我們依然在呼喚可解釋性和可問責性。或者說，我們依然在孜孜不倦地探明壞事究竟如何發生，如何讓壞人對此負責。
直面的勇氣
即使隻是一個經過約簡的論證，我們依舊足以感知其撲面而來的廣度、深度和力度。既然涉及人之為人、權力節制和解釋問責等大問題，可想而知，魏岑鮑姆的主張不會隻有原則口號——即使在半個世紀前這也已是陳詞濫調，也不會隻是大概沒有人相信會奏效的政策和制度補丁。他的主張不僅僅是從自己開始，從人工智能的開發者轉為批判者開始，也不隻是少許具體但有力的對策，包括停止語言識別的研究和禁止人工智能用於判決。在此之上，他的主張不僅包括將研究的焦點從“能不能”轉向“該不該”，即使人工智能能夠做許多事情，人工智能也不應該去做這些事情，還包括摒棄對工具理性主義的迷信，直面深海中的混沌。每個人、學術社群和整個社會，都應該重拾勇氣。
個人需要勇敢地直面混沌。也就是說，發揚人的根本，阻止鴻溝消弭。個人性、無意識和社會化是人區別於人工智能的根本所在。發揚或者復歸能夠對此加以促進的自然主義、神秘主義和具身主義，相應足以成為人主動區隔於人工智能的策略所在。有趣的是，從人的立場出發闡明的區隔策略，恰好也是半個世紀至今人工智能立場下的技術難點和熱點。不要在與現實平行的、理性的、懸浮的模型中理解生活世界，而是去親身感知一度遭到疏遠的自然，是一種區隔策略。與此同時，如何為人工智能建立所謂“世界模型”（World Model），使其能夠掌握人的常識、場景和對世界的體驗，是人工智能至今尚未解決，2023年以來甚為熱門的技術問題。不要把人抽象地視為可通約的信息處理機器，而是承認每個人之間不可通約的根本的私密性，認可在每個人的社會化過程當中湧現的夢、直覺、靈感、啟示等無意識，是又一種區隔的策略。與此同時，如何理解人工智能等心智問題，能否談論、如何談論人工智能是否具備內部性、無意識和超越體驗，亦是ChatGPT展現其能力以來更加熱門的議題。不要認為一切理解都包含於心靈的理念之中，而是承認許多知識蘊含在物理的肌肉、關節和韌帶之中，認可心靈和身體的平等二分，是另一種區隔的策略。與此同時，如何開發所謂的“具身人工智能”（Embodied AI），為人工智能賦予如人一般行動的肌肉、關節和韌帶，也是人工智能至今仍在探索，2023年以來同樣甚為熱門的問題。值得一提的是，《權力》並不認為人必然能夠成功。其論斷在當時天馬行空，在今日猶未落後：如果未來出現能夠完整模擬人的身體的數字機器人，策略將不再奏效。
計算機社群需要勇敢地直面黑暗。《權力》在五十年前就指出：程序員在人工智能研發當中的倫理冷感和隨波逐流，在接受本科和研究生時期的計算機專業教育時就紮下了根。魏岑鮑姆在教育上有切身的體驗，話說得也很重。按其所感，計算機專業的學生和教師都在很大程度上忽視了一個整全的人格對這門學科的重要性。對學生來說，一方面，計算機科學和人工智能並不困難，這是一門“隻需要一點點指導，一個有著合理水平的條理的頭腦就可以嫻熟的手藝”；另一方面，這門簡單的手藝可以提供即時的反饋和極具誘惑的控制感，這樣的後果就是，“他們自認為是真正地掌握了一門有著相當的力量和重要性的技藝，實則隻知其皮毛，對其實質一無所知”。結果，無論是學生自己，還是他們的教師，都很容易把即時反饋的權力掌控之下的成癮和敗壞誤認為是興趣和使命感，從而放任學生走上無思和無知的沖動歧路。計算機專業的教師同樣面臨歧路的誘惑。一方面，教授一門充斥著推導和計算的學科很容易帶來虛幻的知識優越感，使其誤認為這是一門更“硬”的學科，對人文社科領域的新知閉目塞聽。另一方面，當學生和教師一同陷入傲慢且沖動的陷阱，他們也就割斷了自身從所謂的“軟”學科汲取養分的可能性，從而也就放棄了培育整全人格的可能性。由此，計算機學科的技術精英魯莽地挪用概念、濫用權力、敗壞倫理，常常可以從教育方案中覓得根源。五十年後，餘音回響，愈而響亮。
最後，整個社會需要勇敢地直面風險。這是一部批判工具理性、批判人工智能、批判權力宰制的書，這也是一部為人的無意識、內在的私密性和默會的私密性在技術發展過程中的根本重要性正名的書，從而，也是一本為整個社會勇敢直面風險鼓與呼的書。偶然、黑暗和混沌不隻是壞事。當工具理性主義的宰制浸潤社會，當人和人工智能間的鴻溝逐漸滅失，當我們從計算理性的極致——納粹的“最終解決方案”中沒有得到足夠的教訓，擁抱偶然、直面黑暗和接受混沌不僅不是壞事，還很有可能是維護人之為人的必行之事。值得一提的是，魏岑鮑姆對計算機和人工智能、納粹的大屠殺和工具理性主義之間的深層關聯的探討，較齊格蒙·鮑曼（Zygmund Bauman）的經典論述還要早了好些年。在發出技術的納粹即將再臨，結局很可能是又一場不可避免的大屠殺（Holocaust）的警語之後，《權力》結尾處提出了最為深刻地體現其無可救藥的理想主義的主張。或許難以做到，然而必須做到。值得照錄如此：“無論是一名教師，還是其他的任何人，如果他想要在他人面前成為一個整全的人的范例，他必須自己首先努力成為一個整全的人。如果沒有直面自身的內部世界和外部世界的勇氣，不可能成為整全的人。僅僅憑借工具主義的理想不能實現這一點。正是這裡存在著人和機器之間的關鍵差別：為了變得整全，人必須永遠地是內心世界和外部世界的探險者。他的生活充滿了風險，但這些是他有著勇氣去接受的風險，因為，就像一個探險者那樣，他學會了相信他自己，相信他自己能夠去忍受、去克服的能力。當一個人談到機器的時候，機器的風險、勇氣、信任、忍耐和克服，又有什麼意思呢？”
結語：我們時代的魏岑鮑姆
我們重讀了半個世紀前的“ChatGPT”的發明者的自白。《權力》至今依然代表著人工智能治理議題上的極高水準。這有三層意義。一是其中所關註的許多議題至今依然很重要。無論是可信賴性、可解釋性、可問責性等治理議題，還是世界模型、具身智能等技術色彩更強的議題，2023年以來都還在爭論不休。二是在這些議題上的論證依然具備極高的水準。盡管論證所援引的部分學術工作已經有些陳舊，建立在基礎理論、人文哲學和實踐體悟之上的思辨整體來看有著持久的生命力。三則是每個時代都不多見的、極強的道德感召力。
進而言之，半個世紀後再面對相似的問題，從中依然可以得到不少現實的啟發。魏岑鮑姆涉及了很多相對具體的建議。既有改革計算機專業課程的設置，加入對可信賴性、可解釋性、可問責性等倫理問題的討論。這已是當前國內外計算機專業都在探索的改變。也有增強每個人的道德勇氣：比起思考“能不能”，要多去思考“應不應該”。如果見到壞人用人工智能做壞事，勇敢地說“不”。在此之上更加值得思考的，是這個時代能否再有魏岑鮑姆。或者說，我們的時代是否也會產生一部融貫廣博人文、精深科技和道德勇氣的奇書？