提示：本文是微軟全球執行副總裁沈向洋和微軟公司總裁施博德合著的《計算未來》一書的讀書筆記的第二篇。該書中二位作者對於人工智能的倫理原則一共是提出了六大項。本文是討論第二大項：可靠性。本文的結構邏輯是以本書的內容而來的，略微做了調整。可以算是一篇駁論文。所以我沒有另外梳理自己的邏輯。相應的內容可以去參考我寫的關於這本的第一篇論文，就是關於隱私的那篇。
目錄
1問題的提出
2 什麼是可靠性呢？
3 人類為人工智能立法
4 外部世界，是人工智能系統建設不能封神的決定因素
5全球共享信息的人工智能系統毫無可能
6 人類是人工智能系統的護法金剛
7 對人工智能系統的控制與反控制將是未來戰爭的一個主題
8 結語：最高級的控制是人類對自己生產條件的掌握
正文部分
1問題的提出
第二個大原則，作者認為是可靠。
他們認為人工智能系統應確保運行可靠安全。
具體來說，人工智能技術的複雜性，引發了人們對人工智能的擔心，擔心人工智能系統可能會在不可預見的情況下造成傷害，或者被人惡意操縱，實施有害行為。與其他任何技術一樣，人工智能能否取得人們信任，最終取決於基於人工智能的系統，能否可靠安全和一致的運行，不僅是在正常情況下，更包括在不可預見的或受到攻擊的情況下。
現在無人駕駛方面的交通事故一出現就成為新聞，而且網上也有人開始討論無人駕駛交通事故的法律問題，這都說明人們開始對這方面的影響給以關注。
2 什麼是可靠性呢？
那麼什麼是可靠性呢？
我們知道在現實中百分百的可靠的工業品是沒有的。大到核電站，小到自行車，都可能出現這樣，那樣的問題從而給人帶來人身危險。可是到今天，這些東西人們還是在使用。比如，人們並沒有因為騎自行車出現大量的交通事故而停止自行車的使用。所以，確定可靠的概念就是第一步的工作。
當今普遍認為：所謂可靠，是指某一產品、系統在規定的條件下，規定的時間內，完成規定功能的能力稱為可靠性。
這裡的產品可以泛指任何系統、設備和元器件。產品可靠性定義的要素是三個“規定”：“規定條件”、“規定時間”和“規定功能”。
“規定條件”包括使用時的環境條件和工作條件；例如同一型號的汽車在高速公路和在崎嶇的山路上行駛，其可靠性的表現就不大一樣，要談論產品的可靠性必須指明規定的條件是什麼。可靠性這個概念最大的問題是以設備的運行效果為標準，而這就割裂了與人的聯繫，排除了機器設備的使用中人的因素。比如，在一個狹小的環境內如果集中了太多的機器，那麼操作者可能就會因為環境的狹小而受到空氣質量的影響。這點在傳統鋼鐵製造業是非常明顯的。鋼企的設備進行生產是沒有問題的，但是其產生的粉塵卻對生產工人有致命的危險。或者是由於缺乏環保設備，造成對外的環境汙染。雖然從生產上說設備是具有可靠性的。但是這種可靠性是以製造了環境汙染為代價的。因此，可靠性不能作為一個孤立的因素來考慮。設備的可靠性其實第一個標準應該是 人的標準，既不能傷害到人。而這個人無論是否是使用者。例如交通事故中大量的無辜人士成為受害者，而肇事司機卻早已經不見蹤影，逍遙法外。
“規定時間”是指產品規定了的任務時間；隨著產品任務時間的增加，產品出現故障的概率將增加，而產品的可靠性將是下降的。因此，談論產品的可靠性離不開規定的任務時間。例如，一輛汽車在在剛剛開出廠子，和用了5年後相比，它出故障的概率顯然小了很多。
“規定功能”是指產品規定了的必須具備的功能及其技術指標。所要求產品功能的多少和其技術指標的高低，直接影響到產品可靠性指標的高低。例如，電風扇的主要功能有轉葉，搖頭，定時，那麼規定的功能是三者都要，還是僅需要轉葉能轉能夠吹風，所得出的可靠性指標是大不一樣的。
可靠性包含了耐久性、可維修性、設計可靠性三大要素。
耐久性：產品使用無故障性或使用壽命長就是耐久性。例如，當空間探測衛星發射後，人們希望它能無故障的長時間工作，否則，它的存在就沒有太多的意義了，但從某一個角度來說，任何產品不可能100%的不會發生故障。
可維修性：當產品發生故障後，能夠很快很容易的通過維護或維修排除故障，就是可維修性。像自行車、電腦等都是容易維修的，而且維修成本也不高，很快的能夠排除故障，這些都是事後維護或者維修。而像飛機、汽車都是價格很高而且非常注重安全可靠性的要求，這一般通過日常的維護和保養，來大大延長它的使用壽命，這是預防維修。產品的可維修性與產品的結構有很大的關係，即與設計可靠性有關。
設計可靠性：這是決定產品質量的關鍵，由於人——機系統的複雜性，以及人在操作中可能存在的差錯和操作使用環境的這種因素影響，發生錯誤的可能性依然存在，所以設計的時候必須充分考慮產品的易使用性和易操作性，這就是設計可靠性。一般來說，產品的越容易操作，發生人為失誤或其他問題造成的故障和安全問題的可能性就越小；從另一個角度來說，如果發生了故障或者安全性問題，採取必要的措施和預防措施就非常重要。例如汽車發生了碰撞後，有氣囊保護。
實際上這個可靠性只有從人的角度上來說，它才有人工智能系統是否可靠的問題，在這點上人工智能系統一傳統的工具機器沒有區別。
規定的功能，那麼這個功能呢，至少能夠滿足人的需要規定的時間，這個時間只有在人活動的範圍內才有意義，這個世界是對人而言的，當然還有規定的條件規定的條件往往是人的波動界限，或者是他設定的條件。比如潛艇，那麼潛艇在水下活動，那麼水下，這就是人設定的條件。易使用性也是相對於人來說的，是相對於人的活動來說的。使用過於複雜，自然將使用者擋於門外。而且這點也是現代大工業的基本要求，容易使用的本質是降低了人的勞動在產品生產中的作用，自然也就降低了人賦予勞動產品的勞動量和價值量。而可維修性照完全是與人的實踐相一致的原則，人能夠來處理機器裡面的問題，那就是你這個系統本身不能夠脫離人。設計可靠性給人工智能系統上留下了無數的為人類進入的後門，方便人類隨時出入，從而把控人工智能。從設計的考慮到容易操作。這些都需要以人的行為角度為標準。所以我們說可靠性本身是屬於人的。在這裡我們依然可以說古希臘哲學的一個根本角度就說技術是為人的人是萬物的尺度這個概念在。在人工智能系統中，人的因素依然是存在的，因此，超乎人類的人工智能是不可能的。
反過來說，系統當中，天然存在的不可靠性，也會反過來為系統的發展提供了更更多的參考點、出發點。人工智能系統的研發人員會發現他更多的問題，實質上具有更多的成長點。所以在這個角度上講，我們並不能完全否定他的不可靠性
如果我們把複雜的人工智能系統，作為一個複雜系統來看。這個系統自身就會存在著不可靠性。這個不可靠性從系統這些這個角度上來講，它實質上就是不確定性。那麼系統的內在的特點就是，系統的確定性和不確定性的對立統一的關係。不確定性是在複雜系統天然存在的。所以，你想完全規避不確定性，這是不可能的。不確定性必然帶來的不可靠性。當然不確定性並不等於不可靠性，但是不確定性和不可考生有很大的重合性。所以作為複雜系統。人工智能系統自身必然要帶有不可靠性的特點。我們說的可靠性更多是可靠性更強些，更加符合我們的預期。或者說更為符合我們的認識。從哲學上講這種可靠性其實就是傳統認識論中的可知性問題。進一步說，工程學中的這點可靠性是實踐性和認識性的統一。實踐能夠達到人的認識，那麼就是可靠的，反之，就是不可靠的。越是具體的科學，馬克思主義的哲學越能被證明。
3 人類為人工智能立法
那麼如何保證人工智能系統擁有安全可靠的系統呢？《計算未來》的兩位作者認為，首先必須要有明確的設計原則，這個原則就是人工智能系統在可預見的情況下，必須有一整套行為規劃。在這套規範當中運行。由於人工智能系統以數據驅動其行為方式以及其是否有能力在複雜狀況下可靠而安全的運行。很大程度上取決於開發人員在設計和測試過程中所預期到的情況和環境，例如用於檢測錯位物體的人工智能系統，在照明不足的條件下，很可能難以識別物體。因此。設計人員應該在普通光線和暗光線環境中都進行測試，為確保系統能夠安全地對意外的情況作出反應，同時不造成意外性能故障。更不會以與預期不符的方式進行隱蔽在系統開發和實施過程過程中嚴格的測試是必不可少的。
從規則上來講，任何規則自身都是帶有缺陷的，不可能存在絕對完美無暇的完美無缺的規則。所以就這個角度上來說。那麼，如果任何一個智能系統它只要是在規則的範圍內運行，那麼它出現不可靠性的情況就是必然的。不出現不可靠性是偶然的。但是我人工只能系統又必須只能在一定的規則下規則範圍內運行。這是它的宿命。
更不要說所有的規則都是逐漸摸索，建立的，而每一次摸索都是一個坎坷都是一個問題。也就是說規則的摸索出現，實際上是有不可靠而來的
在這裡我們還是看到西方的工具理性主義，人工智能建設思想尚沒有西方非理性主義哲學那一套否定規律的想法。畢竟人工智能系統的運行規則，對人工智能系統來說，實際上就是運動規律，如果我們遵守了，如果我們認可了西方哲學否定定規律存在的非理性主義哲學來說那麼。人工智能系統幾乎就是混亂不堪的。當然在這裡，西方傳統之非理性哲學幾乎是看不到。但是他們改變了模式，提出一個至高無上的時代新神——人工智能系統。說機器人可以像人一樣有感情，那不就是在說人嗎？
但是他們卻不對這個具有神一樣至高無上能力的人工智能系統進行細緻的闡述。因為一致一碰到具體問題。就必然要露出馬腳，或者說神是不能具體的。
可是人工智能系統在目前來說還是具體的
那些一直認為人工智能系統可以發展成為一個超越人類，且會控制人類的人工智能系統的人們卻忘了這套人工智能系統是依靠人類制定的規則來運行的。換言之。既然是依靠人類制定的規則運行的，那麼，如果其可靠，說明正好符合人類的認識。而人類可以認識的對象，當然也可以控制了。正如前面所說，規則的可靠性正是人們的實踐性和認識性的統一。反之，如果超出人類的控制，那麼就意味著人類不能認識面前這個對象了。試問，這套人工智能系統怎麼會在人類可以認識的、可以控制的規則中發展出不可控制、不可認識呢？這裡的悖論自然是，一旦人工智能系統出現超越人類的控制，自然就等於出現了不可靠的特徵。而其基礎是植根於可靠性原則的規則之上的，這樣，就意味著我們之前的人類制定的人工智能的規則是不可靠的了。而且是根本不可靠，因為它完全超越了人的認知——控制是以對對方的認知為前提的，是人類認識對象的行為重複性行為。
人類為人工智能系統制定規則，就像人類為人工智能系統立法。立法者法者是高於於被規範的對象的。如果說人工智能系統成為人類的主宰，那就等於說人類為不可知的事物確定規則——這，有意義嗎？歷史上人確實是為神的世界立法的。但是，神的世界不過是顛倒的方式的人的世界，是人創造了神的世界，當然人為神的世界立法，而不是反是。
4 外部世界，是人工智能系統建設不能封神的決定因素
兩位作者另外說：“在設計和測試過程中，還應預料到，並防止意外系統交互或不法行為影響運行。如網絡攻擊的可能性。要保護人工智能系統的安全性，開發人員需要識別異常行為，並防止被操縱，例如導入可能對人工智能行為產生負面形象的惡意數據”。
這其實是兩點內容，一個是防止外部的攻擊，另一個是惡意的數據。在今天，外部的攻擊，比如黑客攻擊，幾乎是無法避免的。如果想把黑客攻擊消滅掉，那麼只能改變人類社會的根本制度才可以。這個觀點對於超級神一般的人工智能系統的思想是又一個致命的打擊。因為這個思想是以在人工智能系統之外另有其他系統存在為基礎的。而神的特點是全知全能。如果說在人工智能系統之外還有系統，且不說這個系統是什麼，例如黑客，那麼，這就意味著你的系統不可能是全知全能的了。因為你的建設是始終以有外部世界的存在為前提的。
致於惡意的數據輸入，如果從總體來看，人工智能系統自身就會吸納大量的垃圾信息。這些碎片化的垃圾信息幾乎是人工智能系統誕生那天起就存在的。而是否惡意，是否是垃圾信息，其實如果站在不同的角度，那又完全不一樣。從目前猖獗的電信詐騙分子的角度看，那些垃圾信息就是必要的，並非是垃圾，他們正是利用概率事件來捕獲被傷害的對象。而模糊不清的，甚至是完全無意義的信息也是整個人類人工智能系統所不可改變的。信息的冗餘是信息存在的條件。信息被幹擾也是信息存在的條件。世界上哪裡有純粹的信息傳播渠道呢？而信息對於人工智能系統來說好比靈魂之於肉體。
5全球共享信息的人工智能系統毫無可能
“我們相信，以下措施可以提高人工智能系統的安全性和可靠性。
”對於訓練和運行人工智能產品和服務的數據和模型，進行系統性的質量和適當性評估並系統地分享關於訓練數據潛在不足的信息。“
作者還認為：”當人工智能系統用於做出與人相關的相應決定時，應要求對整體系統運行提供充分說明，特別是有關訓練數據和算法已發生的訓練失敗以及產生的理論和重大預測等。”
且先不說是否可以對人工智能系統做出系統性評估——截止到目前為止，就是我們的互聯網也已經非常巨大了。更何況最簡單 劃分，我們的互聯網還分為明網和暗網兩大體系。我們的真的可以對這個系統進行全面的評估？
其次，最為關鍵的是，恐怕二位微軟的總裁在這裡也只是嘴上說說，那就是分享數據的問題。而大家現在已經知道互聯世界存在的數據霸權、算法霸權等等，更不要說西方人自我設限地高舉知識產權這個大棒。你們怎麼可能和別人分享數據呢？如果做不到信息的共享，毫無疑問，安全的可靠的人工智能其實也不能出現。從建設全球性的安全可靠的人工智能系統來說，信息的共享也是必要的。二位說的肯定沒有錯。但是，關鍵是二位所代表的西方資產階級治下的人工智能系統能否跟全世界分享自己的信息呢？我們幾乎是不相信微軟會這麼作的。原因很簡單，當然是為了錢。
信息分享對於個體而言，幾乎對這些並不在乎。比如，我們使用網絡，對於網絡自己是如何運行的，並不關注。因為那是另外的專業。人們只是希望使用的非常方便，簡潔，類似傻瓜相機那樣的。而現實是網絡平臺公司也不會告訴每一個用戶它們是怎麼運行的。使用 的自己儘管使用，而運行的則儘管運行。如果彼此並不傷害，那就行。
從這點看，如果全世界不能統一語言，而統一語言就意味著抹殺太多的傳統的文化，我們是不能建設一個可靠的人工智能系統的。起碼在地球這個範圍上是這樣的。從國際政治看，民族國家，而非全球化的世界，才是西方資產階級最適宜的政權形式。因此，截止到今年，英美為首的西方國家，其上層精英已經表現出了強烈的反全球化的特徵。特朗普提倡美國優先，大搞貿易保護，封鎖墨西哥和美國的邊境線是最為明確的做法了。當政權的邊界高高築起到時候，全球化的政治進程自然受到約束和阻礙，這樣，想建設一個可以共享信息的全球化的人工智能系統幾乎毫無可能。
另外，全球化的統一的人工智能系統必然需要統一的電力能源的 供應，這在目前完全沒有可能出現。美國自己的電力系統就不互相同屬。沒有統一的電力系統，怎麼可能建立統一的人工智能系統？如果不建設統一的人工智能系統，自然不能共享信息，自然不能使這個系統安全可靠。因此，全球化的統一的人工智能系統是人工智能系統安全可靠的必要條件。而問題是，資產階級現在就橫亙在這個面前阻擋著。反過來說，單是這一條，超人類的人工智能系統就不可能出現。
6 人類是人工智能系統的護法金剛
接下來第二點，作者們認為是”通過相關流程，對人工智能系統的運行情況進行記錄和審計以幫助理解持續進行的現場監控。“這是讓人類始終在人工智能系統旁邊作守護神的意思。作者的根本思想是人類和人工智能系統是二分的。一邊是人工智能系統，另一邊是人類。這些如果是對具體的系統來說，我們不否認其合理性。但是，人工智能系統，就目前來說，已經不是一個簡單的事物，你可以在那裡像觀察機器儀表那麼簡單了。
7 對人工智能系統的控制與反控制將是未來戰爭的一個主題
第四點，作者認為是：“人工智能被用於做出與人相關的決定的。應讓相關領域的專家參與設計和運行。評估在危急情況下人工智能系統應何時以何種方式尋求人類幫助以及人工智能控制的系統如何。以有意義和簡明的方式將控制權交給人類。“在所有的建議中，這第四條是我最為震驚的。這點與前面我提到的那條令我震驚的信息是一致的。就是在關鍵時刻要把控制權交給人類。如果我們的設計是以這個原則為標準的話，那麼設計出超人類的人工智能系統就永遠也不可能實現。因為一旦出現了威脅人類的情況，我們就將控制權交還給人類了。自然，機器人等人工智能就還是會被我們人類踩在腳下。但是這並不否認以機器人為代表的人工智能系統進行自我繁衍，比如，用機器人來製造機器人等。但是這並不意味著這個系統就會成為人類的主宰，這完全是兩碼事。
作者還另外的表達了這樣的意思：“人工智能的目的在於提高和增強人類的能力。因此人工智能系統的部署方式、部署時間以及是否適宜繼續使用人工智能，這些關鍵決定應由人類主導。人工智能系統往往並不能看到或理解更大的社會圖景。因此，人類的判斷對於識別人工智能系統潛在的盲點和偏見非常關鍵。開發人員在構建和佈置系統時，應意識到這些挑戰，與客戶共享相關信息，幫助客戶監控和理解系統行為，以便客戶快速識別和糾正任何可能出現的意外行為。”
“例如在人工智能研究領域，一個旨在幫助決定肺炎患者是否需要住院的系統“學習”到哮喘患者死於肺炎的概率低於一般人群。這一結果令人驚訝，因為人們通常，認為哮喘患者比其他人更容易死於肺炎。系統發現的這一關聯性並沒有錯，但是它並沒有注意到哮喘患者死於肺炎的死亡率較低的主要原因是他們的風險更高，因此能夠比其他患者更快和更全面地獲得護理。如果研究人員沒有注意到人工智能系統做出了一個誤導性的推論，那麼該系統就可能會建議哮喘患者不要進行住院治療，而這一結論與數據揭示的真相背道而馳。從這個例子我們可以明顯的看到在人工智能有必要由人類（特別是具有相關專業知識的人員）進行評估和觀察。”
可以說，這是西方近些年來關於人工智能系統哲學的最為衝突的兩大觀點：一方面是未來會衍生出超乎人類的人工智能系統。另一方面則是，人工智能系統的建設必須建立在控制權始終掌握在人類手裡的原則之上。這二者完全是自相矛盾的。一個控制權始終在人類手裡的人工智能系統肯定不會是超人類的，這點無需解釋。反之，一個可以成為人類主宰的人工智能系統又怎麼會建立在以人類的控制權為原則的基礎上？可是更為悖論的是，如果這個系統不建立在以人類的控制權為基礎之上，我們現在又怎麼建設人工智能系統呢？換言之，我們現在的建設原則肯定是如二位作者所言是建立在人類掌握人工智能系統的控制權這一原則上的。因此，讓這一原則基礎上產生出脫離人類控制，反倒可以控制人類的人工智能系統，那就完全是自相矛盾！
不過，這還不是我最為吃驚的，更讓我吃驚的是，在關鍵時刻將人工智能系統的控制權交給人類這一貌似合理實則背後充滿了保守氣息的建設倫理。比如在當今法國開始的黃背心抗議運動是在網絡上徵集發起的。政府想談判都找不到對手。但是持續的數週抗議卻讓法國政府狼狽不堪。那麼，此時的網絡的控制權究竟是交給誰呢？政府可以關閉網絡嗎？可以說這個關鍵時刻將人工智能控制權交給人類的思想，深深充滿了西方資產階級對人工智能的恐懼、不信任、滿腹狐疑，且不可奈何不得不發展又左顧右盼的態度。一方面目前人工智能確實讓西方資產階級對於無產階級佔據了更有利的位置——可以大量的裁員。但是另一方面幾乎本能地感到人工智能與自己的本性不一致、矛盾、或許幾乎是對立的可能。這與當年發展機器大工業是完全不一樣的了。他們深深地感受到了傳統大機器不好使用，那麼傷害的也是使用者——操作工人。而人工智能則完全可以奮起反擊資產階級自己，成為吞噬自己的無法掌控的妖魔。所以，所謂的人類其實就是西方資產階級要時刻將人工智能的發展牢牢把握在手中，不至於喪失控制權。
比如，美國掌控GPS這個資源，而這個資源對於全球的人工智能系統系統建設至關重要。可是一旦發生美國對抗的戰爭，美國處於軍事安全考慮當然就會給對方切斷信號。這樣，美國是掌握了GPS的控制權的。但是對方卻沒有掌握。那麼這個人類掌握人工智能系統控制權的原則該如何落實呢？毫無疑問，這是個零和博弈的遊戲。你擁有，我就不能擁有。
簡單說，如果人工智能系統威脅到美國人了，美國人完全可以關閉它。要知道，互聯網的十三根根服務器，唯一主根部署在美國，其餘12臺輔根有9臺在美國，2臺在歐洲，1臺在日本。這個治理體系一方面造成了全球互聯網關鍵資源管理和分配極不均衡（可笑的是現在還有人在相信世界是平的——在互聯網的背景下。）。如果美國關閉這根主根服務器那麼就意味著全世界回到了互聯網前時代了。參考了網友們的看法，我國是大國，如果美國給我們關閉中國的根服務器，我們自己可以在我國的局域網使用，只是國外網站上不了。還有人說可以上，但是人家美國人會抗議。（本人不是這方面的專業，這點還請更多專業的朋友提意見。）這只是對於我們這個互聯網大國而言的，可是換個其他國家就不行了。要知道我國的互聯網的國慶在全世界除了美國之外，沒有第二家。也就是說不依靠美國根服務器還能使用網絡，在其他國家幾乎不可能。網絡的獨立不僅需要龐大的用戶群，還需要統一的語言的用戶群，和最為關鍵的政治獨立、經濟獨立。沒有這幾個指標，獨立的互聯網是建立不起來的。
這樣，人類——包括全世界所有的人——的人工智能系統控制權就是一句空話，起碼對部分人是空話。而在人工智能系統的建設上，當今沒有衛星，沒有全球定位系統，幾乎是不可想象的。因此，從這點來說，全世界能夠建設人工智能系統的國家也就是掌握全球衛星定位系統的國家而已。我們知道，全球就幾家，屈指可數。可見，人類掌握人工智能系統控制權的觀點實際上只是為了這幾家說的觀點而已。幸運的是，中國現在已經有了北斗導航，否則就得臣服美國人了。如果不掌握衛星定位系統，何以建設車聯網呢？而對於完全不掌握衛星定位系統的國家而言，人工智能系統的建設其實就是一句空話。
對於GPS、網絡，美國人可以關閉，但是對於那些廉價的無人機怎麼辦呢？未來的（其實已經不是未來了，而是已經來了）那些自己滿街跑的機器人，可怎麼辦呢？你作為外人如何關閉對手的機器人？中美洲的難民翻越墨西哥和美國的邊境線比較困難，可是無人機這類設備就容易多了。目前用無人機送快遞這樣的事情已經出現。可以想象，以當今網絡金融這麼發達和瘋狂，研發者一旦確保無人機送快遞可以跑入大街小巷，那麼以催生滿大街的共享自行車的投資速度來投資無人機快遞我想其實並不是難事。但是，我們見面臨滿大街跑著無人駕駛的機器人這樣的現象。機器人能在衚衕和樓道里跑，當然也可以進入戰場。而樓道和衚衕可以是生活區，當然也可是戰場。無人機可以送貨，當然也可成為武器。自己的無人機當然可以控制，敵人的呢？這就存在著一個你是否可以完全掌握人工智能控制權的問題。因為人工智能建設的一個重要原則是使用的簡易性（這裡當然還會衍生出一個再生產人工智能的簡易性）這就意味著未來的機器人的出現比現在的一般的機器數量更多，當然作用也更多。
這樣，人工智能系統的控制權問題就成了一個無法解決的難題了。控制與反控制糾結在一起。可以預測，對人工智能系統的控制與反控制將是未來戰爭的一個主題。至於二者的最終結果是什麼，我們目前還無法預測。
最後一點是建立強大的反饋機制，以便用戶輕鬆報告與它的性能問題。這反映了系統和人的交互作用，又是以人的存在為前提的。可笑的是，那種將來駕馭人類的超級人工智能系統的出現是否還在和人類進行信息反饋？在始終與人類進行反饋的建設過程中，如何出現突然不給人類反饋的人工智能自我繁衍的機制呢？從人-機交互的角度看，只要始終存在人機交互的反饋機制，就不可能出現脫離人類控制的人工智能系統。而超級的人工智能系統正是以無需對人類進信息反饋為前提。試想，這可能嗎？
8 結語：最高級的控制是人類對自己生產條件的掌握
馬克思當年說過，大工業本身依靠機器製造機器是其成熟的標誌，而我想，人工智能系統的全社會的建成（至少是全世界範圍）自然也該是機器人等人工智能來繁衍生產人工智能。但是這當然不等於脫離人的掌握，不等於脫離與人的信息反饋！這是兩個概念。
對於人類來說，什麼是最高級的可靠呢？我想就是人類對自己的生產條件的掌握。人們將按照自己的目的來安排生產，而不是像目前一樣為生產條件所困惑——經濟危機就是這種典型：大量的社會財富不能實現其使用價值而被毀滅，表明人類還不能駕馭目前的生產力。以可靠性為基本建設倫理的人工智能下系統，其最終結果也一定是成為人類控制自身社會和生產的手段。最終實現，人類自己對自己 的控制，從而由必然王國走向自由王國！
人類對機器的控制，對人工智能的控制，本質還是對自己 的控制，是對自然規律探索的結果。人類越能控制對象，也越能表明人類對世界（自己和外部世界）認識是多麼的深刻，進而也會說明人類自身是多麼自由！
不幸的是，上面提到西方資產階級世界對人工智能的恐懼和憂慮預示著他們很可能不會走到人工智能之花開遍全球的時代了。他們的電視劇《西部世界》還是以美國早期的歷史為背景——這種向歷史的迴歸思潮不正是對當今世界的恐懼的最好寫照嗎？
閱讀更多 季立東文化縱橫談 的文章
