人工(gōng)智能治理原則發布，但隻是“看上去(qù)很美”

近年來，人工(gōng)智能的快速發展得到了全社會的高度關注，同時也引起了種種擔心和憂慮。作爲對公衆的回應，若幹科學組織先後宣布了相關的倫理規範（見參考文獻2-4）。今年6月17日，國家新一(yī)代人工(gōng)智能治理專業委員(yuán)會發布了《新一(yī)代人工(gōng)智能治理原則——發展負責任的人工(gōng)智能》（以下(xià)簡稱《治理原則》，詳見文末），提出了人工(gōng)智能治理八條原則。這份文獻展現了國内科技工(gōng)作者在這個重要議題上的責任感和使命感，在内容上也和國際上的其它文獻基本一(yī)緻，代表了主流學術界在這個問題上的認識。

讀過我(wǒ)(wǒ)前面文章的諸位知(zhī)道我(wǒ)(wǒ)在人工(gōng)智能的研究目标和技術路線上的非主流立場，因此大(dà)概不會奇怪我(wǒ)(wǒ)在人工(gōng)智能治理這個問題上也有不同看法。我(wǒ)(wǒ)三年前在《人工(gōng)智能危險嗎(ma)？》文中(zhōng)就讨論過有關問題，這裏試圖更加全面地對這種少數派觀點加以進一(yī)步解說，以示這不是“爲了不同而不同”。下(xià)面的分(fēn)析和結論直接針對《治理原則》，但也适用于其它已發布的規範。

首先要聲明的是這些異議不說明我(wǒ)(wǒ)完全否認《治理原則》和其他文獻的價值。我(wǒ)(wǒ)完全理解并尊重各位同仁的動機及努力，而且基本同意諸文件中(zhōng)提出的各項目标。我(wǒ)(wǒ)隻是認爲這些文件所代表的主流觀點在對人工(gōng)智能的認識上缺乏前瞻性，因此提出的各種措施不足以保證這些目标的實現。

一(yī)、該誰負責？

既然大(dà)家的目标都是“發展負責任的人工(gōng)智能”（我(wǒ)(wǒ)對此并無異議），那麽首先要确定誰該爲一(yī)個人工(gōng)智能系統的行爲後果負責。

即使不提旨在定義“責任主體(tǐ)”的哲學或法學理論，這個問題也已經在若幹應用領域中(zhōng)成爲不可回避的了。這裏的“責任”可能是好事，也可能是壞事：人工(gōng)智能系統“創作”的詩歌、樂曲、繪畫等等版權該歸誰？如果自動駕駛汽車(chē)交通肇事，誰該受罰？《治理原則》提出要“建立人工(gōng)智能問責機制，明确研發者、使用者和受用者等的責任”（其他文獻中(zhōng)的建議也類似）。我(wǒ)(wǒ)的問題是：人工(gōng)智能系統本身有可能需要負責任嗎(ma)？

要說清這一(yī)點不得不回到我(wǒ)(wǒ)多次提過的“AI頭号問題”：“人工(gōng)智能”在這裏是什麽意思？不是我(wǒ)(wǒ)喜歡咬文嚼字，而是因爲目前在這個名頭下(xià)的各種系統實在是有根本差異。就責任歸屬而言，起碼有三種非常不同的系統需要區别開(kāi)來。

A．計算系統：在計算機理論中(zhōng)，“計算”指一(yī)個确定的輸入輸出關系，因此一(yī)個“計算系統”的功能是完全在其設計過程中(zhōng)決定了的。如果用這個辦法來設計一(yī)輛自動駕駛汽車(chē)，那就要求設計者考慮到所有可能的路況和天氣，并爲汽車(chē)在每種情況下(xià)指定相應的操作。

這也就是說如果出現錯誤行爲，責任常常要由設計者來負。除了設計錯誤和器件故障之外(wài)，使用者也可能要負責任，比如說如果一(yī)輛自動駕駛汽車(chē)被用來運毒品，汽車(chē)設計者一(yī)般來說是沒有責任的。

B．學習系統：這是目前最常被稱爲“人工(gōng)智能”的類型。這樣的系統也是被造出來實現特定的輸入輸出關系，但由于關系太複雜(zá)，設計者無法一(yī)一(yī)考慮，以此就靠一(yī)個學習算法從大(dà)量的訓練樣本中(zhōng)總結出一(yī)般規則。

這樣一(yī)來，在傳統的建造者和使用者之外(wài)，又(yòu)出現了第三種責任人：訓練者。在某些問題上，訓練者的責任大(dà)于（學習算法的）設計者和（訓練結果的）使用者，比如說系統的“偏見”就有可能是訓練數據選擇不當造成的。在具體(tǐ)應用環境中(zhōng)，訓練者的角色往往是由建造者或使用者所兼任的，因此常常不被單列出來作爲責任人，盡管這個角色的職責和另兩個是有明确差别的。

就上述兩種系統而言，《治理原則》提出的應對是基本恰當的。但要由建造者和使用者負責的不僅僅是人工(gōng)智能系統，而是所有自動化系統、信息加工(gōng)系統，或者說計算機應用系統，因此這些原則和這些領域中(zhōng)一(yī)直被遵循的倫理原則并無重大(dà)差别。真正有特别需求的人工(gōng)智能系統恰恰是不在前述兩類範圍之内的下(xià)面一(yī)類。

C．适應系統：這種系統終生(shēng)都在學習，因此始終不形成固定的輸入輸出關系，同時所有使用者也都是訓練者，因爲使用過程也都成爲了學習材料。之所以要把這類系統與學習系統區分(fēn)開(kāi)來，是因爲盡管決定這類系統行爲的先天因素可以由其設計者和建造者負責，後天因素卻沒有明确的責任人。由于系統的終身經曆都會影響其行爲，那麽除非有人能掌控其全部經曆的所有細節，沒人能夠決定其行爲并需要對其後果負責。

盡管适應系統目前不在主流人工(gōng)智能研究的範圍之内，大(dà)概沒人可以否認這種可能性，而且确實有少數研發中(zhōng)的系統屬于此類，包括我(wǒ)(wǒ)自己的納思系統。

即使不提這些，現有的工(gōng)作已經有這方面的征兆。前一(yī)段某公司将一(yī)個有一(yī)定學習能力的聊天程序放(fàng)在互聯網上，沒料到不久它就學了一(yī)堆偏見和髒話(huà)。誰該對這個後果負責呢？當然是某些和它對話(huà)的人把它教壞了的，但這可能涉及到很多人，每一(yī)個人又(yòu)都不能負全責。

就這個具體(tǐ)案例而言，還可以責備那個（那些）把程序上網的決策者對後果缺乏預見性，但如果考慮到未來的适應系統可以直接和外(wài)部世界相互作用（比如機器人）或通過觀察和閱讀來學習，其行爲的責任人就更難确定了。如果一(yī)個人工(gōng)智能系統從《三國演義》裏面學會了耍陰謀，該讓誰負責？

這裏的情形實際上和一(yī)個人已經很像了。某人的某些行爲可能主要歸因于其遺傳基因或身體(tǐ)條件，這些一(yī)般被看作自然因素，無須有人負責，而在人工(gōng)智能系統中(zhōng)類似的因素是由設計者和建造者負責的。

在系統“出生(shēng)”後，其初始經驗一(yī)般是很大(dà)程度上被他人（父母、監護人、老師等等）控制的，因此這些控制者要在一(yī)定程度上爲系統所習得的行爲負責。當系統逐漸“成熟”并離(lí)開(kāi)受控環境（“走入社會”）之後，其行爲的責任就會逐漸轉移到系統自身之上，這一(yī)方面是因爲沒有任何其他人可以負這個責任，另一(yī)方面是适應系統具有一(yī)定的“責任能力”，即能夠根據對後果的預期選擇自身行爲。

一(yī)個真正有智能的系統一(yī)定是有适應性的，因此一(yī)個“負責任的人工(gōng)智能”必須能爲其自身的某些行爲負責，而不是把責任全部歸于其設計者、建造者、訓練者、使用者，盡管那些人也都有各自的責任。

二、誰的倫理？

不管誰負責，我(wǒ)(wǒ)相信絕大(dà)多數人（包括我(wǒ)(wǒ)自己）都同意研發人工(gōng)智能的根本動機是造福人類而非危害人類。這在《治理原則》中(zhōng)表述爲“人工(gōng)智能發展應以增進人類共同福祉爲目标；應符合人類的價值觀和倫理道德”。這盡管聽(tīng)上去(qù)完全正确，落實起來可不容易。

首先，把“人類的價值觀和倫理道德”都存儲在一(yī)個人工(gōng)智能系統中(zhōng)不解決任何問題。要實際規範系統的行爲，倫理指令必須具體(tǐ)、清晰、明确。而隻要我(wǒ)(wǒ)們仔細分(fēn)析幾個具體(tǐ)問題，就會發現想要“符合人類的價值觀和倫理道德”絕不簡單。試舉幾例：

如果一(yī)個人工(gōng)智能系統通過分(fēn)析用戶所提供的信息發現了某些隐含或導出信息，這是不是侵犯隐私？如果是，那“隐私”的界限在哪裏？（凡是沒有明确陳述的都算？）

自動汽車(chē)在遭遇車(chē)禍時應當無條件保證車(chē)内乘客的安全嗎(ma)？如果有例外(wài)，那麽條件是什麽？（這是倫理學“電車(chē)難題”和戀人測試“掉河裏先救誰”的升級版。）

人工(gōng)智能應該被用于軍事用途嗎(ma)？殺人當然不對，但殺壞人除外(wài)吧？如果殺少數人可以挽救多得多的人呢？（這時問“殺不殺？”和“救不救？”的效果是不同的。）

盡管《治理原則》和其它文獻中(zhōng)所列的原則的确在很大(dà)程度上代表了普世價值，但在大(dà)量具體(tǐ)問題上人類内部還是沒有共識的，更不必說這些原則在具體(tǐ)執行時常常是互相沖突的（騙人不對，但若能改善病人的心情呢？）在這種情況下(xià)，誰有權代表人類爲人工(gōng)智能提供倫理指令？即使有這樣的權威，是否可能依此擺脫所有倫理困境？我(wǒ)(wǒ)們今天認定的倫理原則是否幾十年後（還不要說更久）依然有效？想想我(wǒ)(wǒ)們自己的曆史吧！

即使不談對人類倫理的不同理解，這裏仍有大(dà)問題在：人類倫理是用于規範人際關系的，因此不完全适用于規範“機際關系”或人機關系。

爲純粹的學術目的，我(wǒ)(wǒ)們可以讓一(yī)個由适應性系統組成的社群中(zhōng)完全自發地生(shēng)成某種倫理規範：爲了共存和合作，這些系統有需求來建立和維護彼此都可以接受的規範，以實現社會行爲的穩定性和可預測性。一(yī)個完全無法無天的系統一(yī)定是無法有效地和其它系統合作的。

這樣形成的“規矩”會和人類倫理有共同點（比如大(dà)概都會在一(yī)定程度上接受“己所不欲勿施于人”這種類比推理），但不一(yī)定完全一(yī)樣。至于和人的關系，即使将來人類在一(yī)定程度上承認人工(gōng)智能系統的社會地位和權利，也不可能認爲它們和人類完全一(yī)樣（因爲本來就不一(yī)樣），這就是說不會完全像對待人一(yī)樣對待它們。因爲這些理由，人工(gōng)智能的倫理規範一(yī)定是直接根植于這些系統自身經驗的，否則不會真的有用。

總而言之，我(wǒ)(wǒ)完全同意人工(gōng)智能需要依照某種倫理規範來行爲，但不認爲可以靠灌輸一(yī)套人類倫理規範給它們就可以解決問題。植入或教給它們若幹倫理律令是可能的，但必須允許系統通過對自身經驗的總結和整理對其進行具體(tǐ)化，這也就使得個體(tǐ)差異和試錯學習不可避免，正像發生(shēng)在人類的倫理教育中(zhōng)那樣。

三、如何治理？

對于适應性系統來說，盡管先天設計仍然重要（一(yī)個“精神不正常”的AI是難以用倫理來規範的），但“講道德”“愛人類”等目标更多地要通過後天教育來逐漸實現，因爲無論如何精細的設計都無法窮盡未來的可能情況，也不可能有足夠的數據來通過有限的訓練對所有情況做出準備。

如何教育一(yī)個具有适應性的人工(gōng)智能系統是一(yī)個超出本文範圍的題目。在這裏我(wǒ)(wǒ)隻列出我(wǒ)(wǒ)的看法，而把詳細的讨論留給未來：

人類可以通過控制或影響适應性系統的經驗來對其進行教育，以建立滿足人類要求的動機、知(zhī)識、技能結構。

這種教育過程會和對人類兒童的教育類似，隻是沒有其中(zhōng)生(shēng)物(wù)性的部分(fēn)，因爲人工(gōng)智能隻有心理建構過程而沒有生(shēng)理發育過程。

  這種教育過程和目前機器學習的訓練過程有根本差别，不是單純的統計推理。

  由于未來環境不可精确預測，無論怎樣的教育方案都無法保證被教育的系統不犯錯誤（包括倫理方面的），而隻能保證它會從錯誤中(zhōng)學習（盡管仍有可能學到錯誤結論）。

  系統的價值觀和倫理準則是不斷被系統自身根據經驗修正和調整的。經驗不同的系統會有不同的觀點，但可以通過互動建立一(yī)定程度的共識

  針對人工(gōng)智能的教育學和心理學會成爲獨立學科。

  參考文獻1對其中(zhōng)某些觀點有進一(yī)步展開(kāi)，但除了一(yī)些基本原則之外(wài)，我(wǒ)(wǒ)不認爲可能在把這種系統造出來之前能完全保證它的安全性，這就像萊特兄弟(dì)在造出飛機之前無法制定完善的飛行安全條例一(yī)樣。

  目前有一(yī)種流行的觀點，認爲除非保證符合所有倫理、道德、法律方面的期望，人工(gōng)智能研究根本就不該進行。

  在我(wǒ)(wǒ)看來這就像是說如果一(yī)對夫妻不能證明他們未來的孩子不會犯法，就不給他們發“準生(shēng)證”一(yī)樣荒謬。我(wǒ)(wǒ)不是反對基于倫理考慮對研發進行限制，尤其同意不該将不成熟的技術 。冒險投入實際應用，但禁止制造原子彈和禁止研究原子物(wù)理學不是一(yī)回事。

  盡管具有适應性的人工(gōng)智能确有其危險，但其巨大(dà)的理論和應用潛力仍足以讓我(wǒ)(wǒ)們接受這個挑戰。

總結

  要有效治理人工(gōng)智能，我(wǒ)(wǒ)們先應該對這個治理對象有一(yī)個盡量全面、準确的認識。考慮到未來人工(gōng)智能将要具有的适應性和自主性，對《治理原則》代表的主流方案需要進行下(xià)列修正：

  在治理對象中(zhōng)注重人工(gōng)智能系統本身，而不是僅僅考慮其設計者、制造者、訓練者、使用者等等傳統治理對象；

  在治理手段中(zhōng)注重教育、倫理、法律等等後天培養、規範、獎懲措施，而不是寄希望于設計一(yī)個保證不可能犯錯的人工(gōng)智能系統；

  在倫理建設中(zhōng)注重通過影響系統經驗構建相關動機、知(zhī)識、能力，而不是試圖原樣植入或灌輸人類倫理價值指令。

  我(wǒ)(wǒ)相信這些修正會提高人工(gōng)智能的“安全可靠可控”水平，但不認爲這是個可以一(yī)勞永逸地解決的問題，更不同意靠禁止或放(fàng)緩人工(gōng)智能研究可以使人類更安全。

參考文獻

1. Jordi Bieger, Kristinn R. Thorisson and Pei Wang, Safe baby AGI, Proceedings of the Eighth Conference on Artificial General Intelligence, Pages 46-49, Berlin, July 2015

2. The Ethically Aligned Design（https://standards.ieee.org/industry-connections/ec/autonomous-systems.html）, prepared in 2016 by IEEE Standards Association

3. The Asilomar AI Principles（https://futureoflife.org/ai-principles/?cn-reloaded=1）, developed in conjunction with the 2017 Asilomar conference

4. The Ethics Guidelines for Trustworthy Artificial Intelligence (AI)（https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines）, prepared in 2019 by the High-Level Expert Group on Artificial Intelligence of the European Commission 

《治理原則》全文如下(xià)：

  新一(yī)代人工(gōng)智能治理原則——發展負責任的人工(gōng)智能

  全球人工(gōng)智能發展進入新階段，呈現出跨界融合、人機協同、群智開(kāi)放(fàng)等新特征，正在深刻改變人類社會生(shēng)活、改變世界。爲促進新一(yī)代人工(gōng)智能健康發展，更好協調發展與治理的關系，确保人工(gōng)智能安全可靠可控，推動經濟、社會及生(shēng)态可持續發展，共建人類命運共同體(tǐ)，人工(gōng)智能發展相關各方應遵循以下(xià)原則：

一(yī)、和諧友好。人工(gōng)智能發展應以增進人類共同福祉爲目标；應符合人類的價值觀和倫理道德，促進人機和諧，服務人類文明進步；應以保障社會安全、尊重人類權益爲前提，避免誤用，禁止濫用、惡用。

二、公平公正。人工(gōng)智能發展應促進公平公正，保障利益相關者的權益，促進機會均等。通過持續提高技術水平、改善管理方式，在數據獲取、算法設計、技術開(kāi)發、産品研發和應用過程中(zhōng)消除偏見和歧視。

三、包容共享。人工(gōng)智能應促進綠色發展，符合環境友好、資(zī)源節約的要求；應促進協調發展，推動各行各業轉型升級，縮小(xiǎo)區域差距；應促進包容發展，加強人工(gōng)智能教育及科普，提升弱勢群體(tǐ)适應性，努力消除數字鴻溝；應促進共享發展，避免數據與平台壟斷，鼓勵開(kāi)放(fàng)有序競争。

四、尊重隐私。人工(gōng)智能發展應尊重和保護個人隐私，充分(fēn)保障個人的知(zhī)情權和選擇權。在個人信息的收集、存儲、處理、使用等各環節應設置邊界，建立規範。完善個人數據授權撤銷機制，反對任何竊取、篡改、洩露和其他非法收集利用個人信息的行爲。

五、安全可控。人工(gōng)智能系統應不斷提升透明性、可解釋性、可靠性、可控性，逐步實現可審核、可監督、可追溯、可信賴。高度關注人工(gōng)智能系統的安全，提高人工(gōng)智能魯棒性及抗幹擾性，形成人工(gōng)智能安全評估和管控能力。

六、共擔責任。人工(gōng)智能研發者、使用者及其他相關方應具有高度的社會責任感和自律意識，嚴格遵守法律法規、倫理道德和标準規範。建立人工(gōng)智能問責機制，明确研發者、使用者和受用者等的責任。人工(gōng)智能應用過程中(zhōng)應确保人類知(zhī)情權，告知(zhī)可能産生(shēng)的風險和影響。防範利用人工(gōng)智能進行非法活動。

七、開(kāi)放(fàng)協作。鼓勵跨學科、跨領域、跨地區、跨國界的交流合作，推動國際組織、政府部門、科研機構、教育機構、企業、社會組織、公衆在人工(gōng)智能發展與治理中(zhōng)的協調互動。開(kāi)展國際對話(huà)與合作，在充分(fēn)尊重各國人工(gōng)智能治理原則和實踐的前提下(xià)，推動形成具有廣泛共識的國際人工(gōng)智能治理框架和标準規範。

八、敏捷治理。尊重人工(gōng)智能發展規律，在推動人工(gōng)智能創新發展、有序發展的同時，及時發現和解決可能引發的風險。不斷提升智能化技術手段，優化管理機制，完善治理體(tǐ)系，推動治理原則貫穿人工(gōng)智能産品和服務的全生(shēng)命周期。對未來更高級人工(gōng)智能的潛在風險持續開(kāi)展研究和預判，确保人工(gōng)智能始終朝着有利于社會的方向發展。