用戶原創內容是電商和社區的生命線，但它在非法分子手中也會變成一個強大的作案工具。內容審查人員必須迅速響應，時刻嚴防侮辱性內容的傳播。如果不這樣做的話，這些內容就可能會對公司的品牌和影響力造成非常嚴重的損害。
內容安全架構師Kevin Lee和Jeff Sakasegawa在這方面有著相當豐富的經驗，他們分享了有關內容審查方面的實踐。
什麼是內容審查？
KevinLee：內容審查就是審查你的平臺上用戶生成的任何內容（UGC）。如果是Yelp，那就意味著審查用戶的評分和評論；如果是Facebook，則意味著要審查用戶可能在網站上發佈的任何內容。
哪些類型的網站、電商或者社區可能會得益於內容審查人員？
JeffSakasegawa：所有的UGC網站！任何UGC網站都必須時刻對用戶體驗保持一定的敏感度，電商和社區通過內容審查來培養用戶的信任度，併為用戶之間的交流建立一個安全的空間。
有哪些內容審查是主動的，有哪些是被動的？
KevinLee：大多數公司都缺少相關的基礎設施和工具來主動審核侮辱性內容。這是因為這些公司在搭建UGC平臺時不會在內容審查系統上投入太大的成本。
像Facebook、Yelp和Google這樣的大公司採取了兩種更主動的方式：第一種方法是使用機器學習，並讓用戶能夠標記有問題的內容。第二種方法仍然是被動的，因為它依賴於用戶上報侮辱性內容，但它更積極主動，因為內容管理系統可以利用上報的內容在未來剔除類似的內容。
反欺詐和風險團隊如何將內容審查納入到公司戰略中，以提升公司的品牌和安全性？
KevinLee：允許UGC的公司必須要在產品級上具備內容審查的能力——在技術路線圖中增加審查功能，或者允許用戶標記不適當的內容。
例如，Facebook在曾經很長的一段時間內都不允許用戶標記有問題的內容，他們的用戶是一個巨大但尚未被開發的內容審查源。事實上，內容審查不一定來自內部團隊，它也可以是外部團隊。如果社區中的任何人被允許發佈內容，那麼任何人都應該能夠上報不適當的內容。
JeffSakasegawa：如果團隊在一開始的時候沒有把內容審查考慮進去，那麼到後面就一定會遇到各種問題。從你業務發展的初期就考慮內容審查，並思考如何使用機器學習系統進行自動化審查，這是非常重要。如果你提前將內容審查納入到公司戰略中，那你就可以更好地擴大業務運營。
內容審查人員必須小心謹慎：要清除徹底，但又不能誤殺。在遇到有爭議的內容時，內容審查人員在保證工作效率的基礎上是如何處理的呢？
JeffSakasegawa：如果你跟內容審查人員交流過，那麼你可能會發現，要清楚徹底，又不能誤殺是非常困難的！這個問題在很大程度上來自於審查人員本身存在的傾向。假設某人在網站上發佈了一個提問的帖子。現在許多網站都可以利用第三方信息來了解這個用戶的很多信息，這些信息可能表明該用戶是一個十分令人討厭的人。一旦內容審查人員知道了用戶的背景，他們就可能會去推斷用戶的意圖，讓自己帶著有色眼鏡去審查這個用戶的帖子。
對於內容審查人員來說，根據制定的政策和程序進行判斷可能非常困難。他們必須專注於服務條款，並將他們對用戶的主觀感受與現有的規則區分開來。
內容審查中可能出現哪些灰色案例？
KevinLee：假設你的平臺不允許發表仇恨性言論。問題是仇恨性言論有幾種不同的判斷標準。在推特上，你不能針對某個特定的種族或宗教。但這個問題很快就會變得模糊起來：雖然你可能可以說“我討厭美國人”，但你是否可以說“我討厭白人”呢？恐怕是不行的。
JeffSakasegawa：一般來說，公司不允許用戶對受保護的東西發表惡意觀點。但是，受保護的東西可能因公司而異。大多數企業通過在表達觀點和威脅行動之間畫一條線來處理灰色地帶。例如，“我討厭凱文的髮型”這句話與“每一個有著像凱文一樣髮型的人都欠揍”有著很大的區別。儘管兩句話都對他的髮型持否定態度，但第二句話崇尚暴力。
但是，許多在線社區都有自己的暗語。例如，Twitter不允許你對猶太人做出仇恨性評論，但社區可以開始使用暗語來指代猶太人，以繞過這些政策。
在線社區或電商網站上，內容審查人員該如何制定明確的指導政策來確定哪些內容可以接受，哪些不可接受？
KevinLee：制定指導政策最簡單和最有效的方法是提出哪些內容可以接受，哪些不可以接受的具體例子。雖然理論性的指導政策很重要，但這些政策的實際應用同樣至關重要。當你需要擴充內容審查人員和訓練模型的時候，這一點尤其重要。
人工內容審查有哪些限制和缺點？
KevinLee：有三個主要的限制，分別是規模、靈活性和響應時間。
規模：隨著平臺的發展，僱用和培訓人員的速度很難跟上平臺發展的步伐。
靈活性：舉個例子，如果你想把業務拓展到保加利亞，那麼你必須快速找到可以用保加利亞語審查內容的人員。
響應時間：網站上的內容可以在一天中的任何時間發佈，這意味著審查人員必須二十四小時不間斷地工作，儘管他們已經很疲勞了。機器學習可以解決這三個限制。
JeffSakasegawa：其中，規模是最重要的。侮辱性的內容是活的，它可以被截圖並共享，甚至可能會進入新聞界，這會嚴重損害公司的形象和利潤。即使你擁有一個強大的內容審查團隊，他們快速響應這些內容的能力也是有限的，他們也很難無偏見的進行審查。這正是機器學習充分發揮作用的時候，它沒有這樣那樣的限制，它會隨著業務的發展而發展。
本文由網易雲易盾組織翻譯，譯者：雁驚寒。
閱讀更多 TMT主題曲 的文章
