點擊關注HRTechChina 為您送上最新鮮的HRTech新知和實踐經驗！

土耳其語沒有性別代詞:“o”這個詞在英語中是由“他”、“她”或“它”完成的。這種語言怪癖對機器翻譯工具提出了挑戰:將土耳其語翻譯成英語，像谷歌翻譯這樣的工具必須猜測其主體的性別——在這個過程中，往往會暴露出其固有的偏見。

例如，谷歌將土耳其語“o bir doktor”翻譯成“他是一名醫生”和“o bir hem?”她是個護士。谷歌的算法同樣認為，總統或企業家是男性，但保姆、教師或妓女是女性。即使是性格特徵也會與假定的性別一致:一個努力工作的人被認為是男性，而懶惰的人被認為是女性。

谷歌的程序員沒有對這些刻板印象進行編程;該軟件利用人工智能研究真實世界的文本，並創造出反映人們實際使用語言的方式的翻譯。換句話說，谷歌翻譯的偏見是我們自己的。“機器學習算法會發現有偏見的模式，並學會像現實世界一樣有偏見，”微軟研究公司的Rich Caruana說。

這應該會讓人力資源經理們躊躇不前，他們認為，算法是為了消除招聘過程中的偏見。2016年，CIO在一篇文章中預測，人工智能將把招聘轉變為“對任何人類偏見免疫的過程”。“一個袖珍計算器不能是種族主義的，理論上是這樣的，一個自動分類簡歷的系統應該是公正的:”簡單地使用這樣一個自動化的、客觀的過程，就有可能大大減少人類偏見的範圍。

很容易明白為什麼管理人員渴望解決偏差問題。自從美國的“民權法案”和英國的“種族關係法案”禁止明顯的歧視以來，已有數十年的時間了，但較不明顯的偏見仍然是一個主要問題。研究表明，平均而言，具有刻板印象的非洲裔美國人姓名的簡歷比用同樣的白名單提交的簡歷要少36％，而且自20世紀70年代以來沒有改變，社會學家林肯奎利安說。

奎裡安說，並不是說管理者有意識地歧視別人，他去年發表了30項涉及55,842份申請的招聘偏見研究的分析報告。相反，決策者受到無意識偏見的影響，這些偏見基於他們可能不知道的根深蒂固的偏見。“定型是一種緩慢而難以改變的彈性事物，”奎利安說。“這是令人沮喪的現實 - 超過35年，它沒有改變。”

在'黑盒子'裡面

越來越多的無意識偏見意識促使人們對自動化招聘系統產生興趣，但這種偏見的普遍性意味著，使用真實世界的數據進行培訓的人工智能工具不是公正的。

谷歌翻譯的性別問題不是一個孤立的案例。在許多行業中，有無數的例子都是機器學習工具複製了他們的血肉之軀的偏見。

考慮到研究人員發現該面部識別工具是準確的白人99％，但準確的黑人女性只有65％。並且Google的在線廣告算法被發現更有可能向與名聲不佳的人展開有關逮捕的廣告。而且一名被法官廣泛使用的人工智能工具被發現錯誤地將黑人被告標記為重新犯罪的高風險，幾乎是白人被告的錯誤率的兩倍。

很容易看出這樣的偏見會如何汙染與申請人職位空缺相匹配的工具或者通知與獎金和晉升有關的決策。審查編程職位申請的人工授精工具可能會注意到，公司目前的程序員大多是男性，並且會對男性候選人產生相應的推動作用。Caruana說：“你最終不會招聘女性積極參與編程職位，因為來源方面的偏見是，女性總的來說不是程序員。

儘管AI工具可以被命令忽略性別，種族和其他受保護特徵，但消除AI系統的偏見比看起來更難。由於它們的性質，人工智能工具發現模式，許多因素 - 郵政編碼，教育程度，愛好 - 可能會無意中成為諸如種族或性別等特徵的代理。

在最近的一個案例中，招聘服務機構Gild吹噓自己的AI系統已經發現瞭如何發現高潛力的計算機工程師：事實證明，這樣的候選人可能是日本漫畫網站的粉絲。喜歡漫畫的候選人，Gild的團隊推理，將有助於識別高質量的工程師。

正如數據科學家凱茜奧尼爾指出的那樣，問題在於愛漫畫和成為一名成功的工程師之間沒有因果關係。相反，吉爾已經確定了一個與種族和性別相關的特徵，有效地使用了後門的方法來清除那些不符合其成功候選人應該是什麼樣子的先入之見的人。奧尼爾說：“我很驚訝他們沒有想到那個熱愛漫畫的候選人更有可能成為亞洲人。” “你通過關聯和代理獲得性別。”

更糟糕的是，O'Neil說，許多AI系統在“黑匣子”內執行這樣的計算，使得無法弄清楚結果是如何得出的。如果你正在教計算機玩下象棋或處理圖像，這可能無關緊要，但是當你做出關於人們事業的決定時，這是一件大事。“算法不僅僅是幫助自動化一個過程; 他們增加了一層不透明度，所以很難看到和解決失敗，“O'Neil說。“面部識別很容易看出它是否可行; 僱用軟件更棘手。“

一個潛在問題 - 和一個監管風險

消除這種偏見是一項艱鉅的任務，但如果人工智能系統要演變成可信賴的招聘渠道，這一點至關重要，Pocket Recruiter的首席數據科學家Vineet Vashishta說。“在招聘和人力資源領域，你必須是透明的，”他說。“我們必須能夠解釋'這是我們做出我們做出的決定的確切方式'，我們必須能夠證明這些數據沒有一些陰險的偏見。”

不幸的是，Vashishta說，從事人工智能招聘工具的人很少願意面對他們系統的潛在偏見。他表示，即使在學術和行業聚會上，研究人員也不願意將注意力放在關於偏見的談話上。“在人們開始談論這件事之前，這是三杯酒和一些沉重的嘆息，”他說。“至少公開談論此事的人非常少，因為這真的很可怕。當涉及到機器學習時，這是可能殺死該領域的領域之一。“

Vashishta說，監管機構很可能會開始在某些司法轄區禁止機器學習工具。紐約市成立了一個工作小組來監督政府使用人工智能系統，而歐洲監管機構正在實施框架，這將大大遏制公司在未經明確許可的情況下使用個人數據的能力。“你可能會看到一些政府在未來五年內禁止機器學習，這將是因為這個問題，”他說。“這將是因為它無法解釋，缺乏透明度和問責制，以及機器的偏見會讓人們感到恐慌。”

但是Vashishta說，有真正的方法可以減少偏見的可能性。Pocket Recruiter使用AI來識別具有特定技能的申請人，而不僅僅是那些與當前員工相似的申請人。儘管如此，人才招聘決策最終還是由誰來提供Pocket Recruiter用來改進算法的反饋。Vashishta說：“Pocket Recruiter可以向你展示你可能因為無意識偏見而未看過的候選人。“但是當談到人們告訴我們他們想要的候選人時，那些無意識的偏見又回來了。”

最終，為了消除AI系統的偏見，設計師必須在事情的方式和他們應該的方式之間駕馭危險的無人地帶。為了消除真實世界的偏見，設計者必須要麼傾斜他們的數據，要麼按照他們的系統處理數據的方式，以便最終的結果反映出更理想的替代現實。

但以這種或那種方式推動申請人的數據是一個充滿挑戰的過程。“我們一直這樣做，”Vashishta說。“但這些鐘形曲線的修正令我們非常驚訝。我們不知道我們是否正在受傷或幫助，直到我們看到算法運行起來，我們才會知道。“要做出可能讓某人工作的成本的變化是不容易的，他說。“當你在像招聘這樣的公司工作時，你會因此失去睡眠，因為你正在影響某人的生活。這是一種令人痛苦的方式。“

沒有在窗簾後面偷看

人工智能招聘工具的一個教訓可能來自於一種較老的，技術含量較低的補救辦法，以致在招聘方面存在偏見：頂級管絃樂隊決定在試演期間在音樂家面前懸掛一幕布。古典音樂過去一直以男性為主，但在20世紀70年代引入了盲目的試鏡 - 確保音樂家的演奏而不是外觀 - 使頂級樂團的女音樂家增加了五倍以上。

然而，要達到這一點，還需要做出決定，確保音樂家的性別不會受到其他因素的影響，比如穿過窗簾的縫隙看到的鞋子，或者沒有地毯的地板上的高跟鞋。

更重要的是，管絃樂隊不得不將盲試作為一個起點而不是一個明確的解決方案，並且接受這樣一個長期以來由男性主導的機構，偏見仍然是一個問題。儘管已經證明了他們的音樂才能，但第一批通過盲目試鏡入場的女性經常不得不與他們繼續尋求旁觀者的合作。

這大致就是我們使用AI招聘工具的地方：就像管絃樂隊的幕布一樣，機器學習是一種範式轉變，有可能消除長期存在的偏見，但它本身並不能解決幾個世紀的偏見。

為了有所作為，人工智能系統需要仔細設計和審查，以確保他們真正無偏見，並且他們的部署方式不允許人力決策者重新向招聘中引入偏見處理。

走向這一點並不容易。“這是我們花費數百年來創造的一個問題。Vashishta說，長期的解決方案並不像我們五年後會遇到的問題。

與此同時，人力資源團隊需要停止假設基於計算機的招聘工具本身就是客觀的。相反，決策者應該要求證據表明，機器學習系統的設計是有偏見的，並且足夠透明，可以識別和糾正潛在的問題。

卡魯阿納說，如果人工智能工具要演變成真正公正的招聘工具，人力資源團隊將不得不堅持這種透明度。“如果有足夠的人問，這將成為一個重要的標準，”卡魯阿納說。“但是如果沒有人問，我們只會讓偏見不斷滑落。”

以上由AI翻譯完成，HRTechChina傾情奉獻。轉載請註明。

中國人力資源科技年度峰會

4月20日 上海 四季酒店

規模：1000+ 免費參加

適合人群：HR專業人員、CHRO、CTO、CIO和企業決策者、HR科技服務商和創新機構、顧問和HRTech專家

目前已經超過700位HR同仁參與，他們分別來自阿里巴巴、華為、百度、騰訊、索尼、IBM、微軟、阿克蘇諾貝爾、GE、攜程、Swatch、、LV、APP、百威、寶鋼、施耐德電氣、羅氏、大眾汽車、希爾頓酒店、瑞穗銀行、渣打銀行、大都會人壽、中國平安、綠地集團、萬科、美團點評、東風汽車、洲際酒店、京東、沃爾瑪、富士康、統一集團、吉利汽車、諾華製藥、遠洲集團、澳洲聯邦銀行、萌果遊戲、招商銀行信用卡、江鈴汽車、上汽大眾、復星集團、華碩、傳化集團、華寶證券、西門子、麥當勞等的CHO、HRD、HR經理、各模塊負責人、SSC 負責人、HRIS 總監、E-HR產品經理等。

http://www.hrtechchina.com

We Chat: 18621292818

Email:[email protected]

閱讀更多 HRSalon 的文章

關鍵字: Google 栗子 人工智能