在線服務的迅速興起促使互聯網用戶和商家呈爆炸式增長，一個新的“億萬用戶時代”已經來臨。與此同時，精心策劃的欺詐活動和黑客攻擊也隨之蔓延：他們註冊大量虛假賬戶，盜取用戶數據，進行各種非法活動謀取暴利，並不斷變換攻擊手段和模式。對在線服務商而言，這些惡意欺詐行為在用戶體驗、經濟收益、品牌安全和信譽等各方面都造成了不可估量的損失。
5月8日，由清華大學交叉信息研究院、數據科學研究院主辦，大數據產業聯合會、清華大學經濟管理學院研究生團總支承辦的互聯網時代的欺詐和防範講座在清華大學經管學院舉辦，DataVisor全球技術總監吳中受邀進行分享。吳中畢業於清華大學，在微軟全球執行副總裁沈向洋博士的指導下獲得計算機科學與技術學科的博士學位。作為清華大學校友，吳中帶著其多年海外技術經驗首次返回清華校園與同學們分享最先進的反欺詐檢測技術應用。
吳中清華大學講座分享：無監督大數據反欺詐
本次講座中，吳中介紹了互聯網時代在線服務商所面臨的各種欺詐方式和由此帶來的技術挑戰，並分析了傳統的技術，如設備指紋、規則系統及有監督機器學習系統等在風控方面的不足。 同時，吳中基於實例討論雲服務和大數據體系如Apache Spark, HBase, Elasticsearch等為反欺詐帶來的新的契機，並介紹瞭如何利用基於內存的Spark平臺進行無監督大數據分析。 相比傳統的基於規則或僅用設備指紋等單一信號的檢測體系，無監督大數據反欺詐能大幅度提高檢測覆蓋率，自動發現未知的新的欺詐手段，對不斷變換的欺詐行為進行有效的預警和封殺。
現場分享
以下為講座精彩內容分享：
互聯網新一代欺詐攻擊類型及特性
互聯網服務和移動App的飛速發展，一方面給我們提供了豐富多彩的服務，另一方面也給面向用戶的線上平臺帶來了很多挑戰，例如盜號、虛假賬戶註冊、虛假內容發佈、虛假點擊、欺詐交易、促銷濫用、洗錢等，互聯網上的欺詐早已從單一欺詐向大規模團體欺詐轉變。欺詐者註冊大量用戶賬號，之後發起有組織、有規模的攻擊行為，以達到商業謀利的目的。通常欺詐者在賬號註冊後的一段時間內會進行養號、潛伏，模仿正常的用戶行為，如登陸、內容發佈、進行交易等，並在正式發起攻擊前進行小範圍測試，最後才會正式發起大規模攻擊。整個互聯網欺詐呈現出大規模欺詐的協同性和潛伏性的特徵。
互聯網欺詐攻擊的四大趨勢
欺詐行為多樣性
隨著線上業務場景變多，如各個平臺發放返利紅包、線上交易、線上借貸等，同一個賬號或同套類似方法可能進行多種不同類型的活動，欺詐行為也隨之呈現出多樣性的特徵。
環環相扣的欺詐產業鏈
就像組織嚴密的現代黑幫一樣，網絡黑產到如今已經商業化得非常成熟了，黑客們同樣擁有複雜精巧的產業鏈。最上游通過各種釣魚手段、黑客攻擊等多種方式獲取用戶信息，比如賬戶密碼、身份信息、銀行卡信息等等；之後下游利用信息進行非法牟利活動，比如發佈虛假信息、盜取遊戲裝備、盜卡交易等。
欺詐潛伏期變長
欺詐和反欺詐一直都是一場介於欺詐者和企業之間的較量，從未停止過。欺詐者在不斷變化攻擊手段和技術的同時，公司內部反欺詐團隊也在不停的優化規則，儘可能創建覆蓋率更高、檢測效果更精準的模型。於是，“聰明”的欺詐者會在正式發起攻擊前，花費更多的時間和精力模仿正常用戶行為，不斷測試平臺檢測機制，以確保最大可能性躲避檢測。
善用多種欺詐輔助工具
欺詐者為了躲避檢測，通常會採取多種欺詐輔助工具，如基於雲服務器／肉機的攻擊、設備刷機、用專業工具模擬正常用戶行為等。
面臨的挑戰和解決方案
欺詐檢測技術的發展
欺詐檢測技術的發展
從傳統的黑名單、信譽庫、設備指紋到規則系統，以及更進一步的有監督機器學習，欺詐檢測技術在不斷髮展進步。每種檢測方法都有其各自的優勢，但是在某些難點問題上，卻始終沒有突破。
難點之一：檢測新型的未知欺詐行為
難點之二：檢測整個欺詐群組
難點之三：高效的處理數十億用戶的數據
（點擊鏈接，獲取更多 ）
在當今的大數據時代，企業面臨幾十億用戶的數據，相應的特徵量級可能達到千億甚至萬億，如何高效處理並挖掘數據也是一項很大的技術挑戰。DataVisor的大數據體系架構採用了很多開源技術，數據層包括在線的監控和離線的加密存儲，分析層包括分析、計算和檢索，使用Spark、HBase和ElasticSearch等開源技術。
無監督大數據欺詐檢測的優勢
無監督大數據欺詐檢測的優勢
DataVisor獨創的無監督機器學習算法彌補了規則引擎和有監督機器學習這兩種模型的不足，無監督檢測算法無需依賴於任何標籤數據來訓練模型。這種檢測機制算法的核心是無監督欺詐行為檢測 -- 通過利用關聯分析和相似性分析，發現欺詐用戶行為間的聯繫，創建群組，並在一個或多個其他群組中發掘新型欺詐行為和案例。
DataVisor數據分析平臺在使用無監督機器學習的同時，還補充使用了其它檢測分析技術，如有監督機器學習、自動規則引擎和全球智能信譽庫。通過同時使用以上多種技術，DataVisor一站式用戶分析平臺為個體欺詐和分佈式的群體欺詐提供最先進的反欺詐技術解決方案，對新型的、變化多端的欺詐行為進行提前預警，在損失發生前提前有效捕捉欺詐行為。
無監督機器學習的獨特優勢：
預見性威脅檢測：無需訓練數據，在損失發生前提前捕捉未知欺詐；
群組行為檢測：通過關聯具有相似特徵的壞用戶群組，捕捉整個欺詐群組；
彈性數據模型：靈活的數據模型支持多行業不同業務的數據分析；
大規模數據處理能力：為全球大型互聯網公司提供包含但不限於交易數據的數十億事件數據分析。
吳中簡介：
吳中，DataVisor全球技術總監
吳中 DataVisor全球技術總監兼中國區負責人
吳中畢業於清華大學，在微軟全球執行副總裁沈向洋博士的指導下獲得計算機科學與技術學科的博士學位。現於DataVisor擔任技術總監，並主要負責DataVisor中國區業務。在全球頂級計算機視覺會議如CVPR，ICCV，PAMI 等發表多篇有影響力的論文，並在大數據搜索，大數據安全領域有多項專利申請。在加入DataVisor之前，吳中在微軟的Bing部門從事圖像搜索工作，工作範圍包括大規模文本及圖像特徵的抽取、索引，搭建高性能系統和設計高效算法，通過提高數十億圖像搜索索引的質量，進而提升Bing圖像搜索結果的相關性。
閱讀更多 DataVisor 的文章
