2019 年 11 月 14 日凌晨，在微軟服務 23 年的微軟全球執行副總裁沈向洋博士宣佈離開微軟；2020 年 3 月 5 日，清華大學在線上舉行了活動“沈向洋雙聘教授聘任儀式暨春風講堂第四講”，沈向洋博士離開微軟後的首個去向得以確認。會後，沈向洋發表了主題為 “如何設計和構建負責任的 AI” 的全英文演講，InfoQ 對重點內容進行了整理。
由於受到疫情影響，沈向洋教授無法到達現場，本次活動採用了兩地連線直播的形式，通過清華大學春風講堂的 B 站賬號對外直播。2005 年，沈向洋曾以雙聘教師的身份在清華任教，並於 2015 年參與了清華、華盛頓大學、微軟共同成立的全球創新學院（GIX）。
因此，本次在線直播為續聘儀式，清華大學副校長楊斌主持了頒獎活動，校長邱勇在活動開始前進行了致辭，對沈向洋教授的加入表示歡迎。隨後，沈向洋在致辭中表達了對中國人工智能發展的信心，同時也期待能夠早日在清華園裡，與師生們一起工作、生活。
清華大學校長邱勇向沈向洋正式頒發聘書
儀式過後，沈向洋進行了一次線上授課演講，分享了他對 AI 可解釋性與 AI 偏見相關問題的研究與看法。
由於演講為全英文，InfoQ 整理了重點內容供廣大開發者參考。
沈向洋：如何設計和構建負責任的 AI
話題 1：AI 的可解釋性
之前，我們談論的 AI 都是出現在科幻小說或電影裡。實際上，AI 現在已經走進我們的日常生活，我們每天都在和 AI 打交道。但是，當這些 AI 應用到醫療、金融等領域中時，我們就需要更加謹慎地看待。
如今，AI 已經可以做決定，這是 AI 過程中非常重要的一步，這就引出了我的第一部分內容：我們缺乏對 AI 所做決定的認知。
我們缺乏對 AI 所做決定的認知
AI 就像一個黑匣子，它們能自己做出決定，但是我們並不清楚其中的緣由。所以，我們目前需要做的就是打開這個“黑匣子”，瞭解 AI 想表達的意思和可能會做出的決定。這就是我們今天演講的主題：如何設計和構建負責任的 AI。
AI 的發展需要遵循一定的基本原則，包括公正、透明、可信賴 & 安全、隱私 & 安全、適用範圍廣泛、負責。
我們每次發現新的技術，都會面臨同樣的問題：如何讓技術變得更加可靠、安全和負責任 。
舉個例子，當人類在生產電氣零部件時，都會有相應的檢查記錄。一旦哪裡出現問題，就可以對操作文件進行復盤，從而找出問題。但是，AI 是不相同的，AI 沒有這樣的一張檢修表，我們往往不知道是哪個環節出現了問題。
構建具有可解釋性的 AI
上圖是一張模型可解釋性的變化圖片，橫軸代表模型的可解釋能力，縱軸表示預測的準確性。從橫軸來看，越向右邊延伸，我們得到的模型的可解釋性越大。從縱軸來看，越向上延伸，系統預測的準確性越高。很多年前，我們就已經使用了這種線性模式，只不過那時並不稱之為 AI。
總之，模型是非常複雜的，解釋起來十分困難。接下來，我們可以通過例子來證明下為什麼這件事情如此複雜。
案例一：提取和比較
我們試圖找出更多的數據來檢測模型的準確度。2016 年，很多地方都推出了用於預測未來罪犯的軟件，法庭在審判時已經開始用 AI 進行輔助判斷。越是如此，人們就越會擔心算法是否存在偏見，讓我們通過一張圖表來具體分析：
紅色曲線代表從模型提取的情況，綠色曲線代表實際情況。例如，你是如何知道這個人將會再次犯罪呢？那這時來回顧下過去的數據，數據顯示這個人有犯罪史，這個人過去犯得罪越多，以後就越有可能犯罪。這一定程度上與第一個圖形顯示的結果相吻合。
從圖上可以看出，美國本土居民犯罪率較高，對應地，重新犯罪比率也更高（紅色顯示），但實際上綠線顯示卻與之相反，人們印象中非洲裔美國人很容易犯罪，但實際上也並非如此，也就是說盡管是基於事實進行預測，也存在著一定的偏見，所以在訓練這種數據時要格外謹慎。
案例二：局部解釋和與模型無關的解釋
我們如何透過複雜的模型瞭解其中的內容呢？一個複雜的模型就像黑匣子一樣，我們向裡面輸入一些東西，就會得到一些東西。我們之所以無法理解模型是因為模型本身就非常複雜，晦澀難懂。
有些人就會認為，這樣難懂的模型就不追求整體解釋，只需要局部可解釋性，那麼就會出現下列問題。
正如上圖，模型的識別準確率已經可以達到 5/6，但是我仍然不知道我要什麼，到底是哈士奇還是狼。如果需要的是一隻哈士奇，卻把狼帶回家，那麻煩就大了。你以為訓練了一個非常強大的模型，實際上並非如此，這就是我一直在強調的：模型的可解釋性十分重要。
話題 2：AI 的偏見
案例一：對不同膚色的偏見
在任何時候，構建 AI 都離不開數據。需要了解偏見來自哪裡，就需要知道數據的來源。在微軟、IBM 和 Face ++ 制定的面部識別算法中，黑人女性比白人的面部識別準確率要低。
從上圖可以看出，對黑色女性人臉識別的錯誤率高達了 21.073，很多人表示這是難以接受的。所以，我們對這個模型進行了調整。三個月後，模型改善後得到了如下結果：
可以看出，經過再次訓練後的模型，在識別不同膚色人種時準確率明顯提高，許多分類錯誤率已經為 0.000，即便是黑人女性，識別錯誤率也降低至 1.9008。從不斷的訓練中，我們得到結論：
這種偏見來自於訓練採用的樣本數據。基於以上問題，我們對微軟 500 名機器學習領域工程師進行了調查，我們問他們如何改善機器學習系統？在經過調查後得出結論：如今機器學習工程師面臨的最大問題之一是他們知道出了一些問題，但是不知道具體是哪裡出了問題，也並不知道為什麼會出現問題。
當我們訓練一個複雜或簡單的模型，最終得到的結論是準確率為 73.8%，再深究每個訓練的數據集時會發現，不同的膚色和性別，得到的準確率是不一樣的。一些結果還比較令人滿意，但也有一些結果差強人意。
所以，我們構建了一個系統來進行對比，看到底是哪裡出了問題。
傳統機器學習系統是低級模式，而現在的模型帶有錯誤可解釋性，可以從整體視角，根據數據集不同的特徵來判斷哪裡出現了問題，也可以從集群角度來了解到底為什麼會出現這樣的問題。基於這種模型，一旦出現問題時你可以複檢樣本數據集、模型來找出問題癥結。
案例二：消除嵌入文本的偏見
我們使用了很多數據進行訓練，列出了 27 種職業，包括會計、律師、教師、建築師等。我們將一段話嵌入進去，然後發現系統識別出其職業為“教師”，但是，如果我們將段落中的某些單詞進行修改，只改變很小的一部分 ，從“她”到“他”其他都沒有改變，最終識別出的結果就從“教師”變成了“律師”。
這裡就涉及到了文字嵌入幾何學（如下圖所示）：
這個幾何嵌入有兩個屬性：Proximity 和 Parallelism。我這裡提出蘋果和微軟，大家就會聯想到兩家公司的成立者很偉大，都是很大的公司，這就是嵌入的內容。
根據上圖可見，如果某個單詞更向下鄰近 He，則表示為他；如果某個單詞更向上，鄰近 She，則表示為她。橫軸可以看出，單詞越向右，就越與性別無關；越向左，越與性別相關，例如妻子和丈夫，爸爸和媽媽。這裡還可以看出，很多時候談及時髦，通常是形容女性，而說起傑出，通常用來形容男性。
那麼，現在我們已經知道問題出在了哪裡，就可以用上述模型來解決。但是，我們之後就會發現原來“時髦”、“傑出”、“天才”這類詞語既可以形容男性，又可以形容女性。
我們已經進入了 AI 時代，我們的生活與 AI 息息相關，我們是接觸 AI 的第一代人群，無論喜歡與否都別無選擇，但是我們能決定該用何種方式來構建 AI 以及使用 AI。
最後，感謝大家收看！
附錄：沈向洋簡介
1996 年 11 月，沈向洋正式加入微軟，並從此開始了在微軟 23 年的職業生涯。作為在微軟服務時間最長、職位最高的華人高管，23 年的時間裡，沈向洋參與了許多重要的項目，也見證了微軟發展的各個重要瞬間。
1999 年，沈向洋回到北京參與創立微軟中國研究院，並擔任微軟亞洲研究院計算組主任研究員，高級研究員；2004 年，他升任第三任微軟亞洲研究院院長，兼首席科學家；2007 年，沈向洋升任微軟全球資深副總裁，之後在 2013 年成為微軟全球執行副總裁。2019 年 11 月 14 日凌晨，在微軟服務 23 年的沈向洋宣佈離開微軟。
沈向洋主要專注於計算機視覺、圖形學、人機交互、統計學習、模式識別和機器人等方向的研究工作，是計算機視覺和圖形學研究的世界級專家。
閱讀更多 InfoQ 的文章
