近期不斷看到“爬蟲類”科技公司出事，負責人被警方帶走。前天51信用卡也被調查，據說是被銀行投訴非法獲取用戶信息並濫用。更有媒體報道一些技術人員本以為“技術無罪”，也因此被警察帶走。到底什麼是爬蟲？為什麼會涉及到違法的地步？
爬蟲最早的應用在搜索引擎上，比如我們在百度輸入“爬蟲”，那麼就會返回很多關於“爬蟲”為關鍵字的網站。為什麼百度會得到那麼多關於“爬蟲”的網站呢？簡單講就是百度有用到相關的代碼，對互聯網的網站進行“爬行”。根據網站的內容進行分類。
當然，被爬蟲的網站，也可以設置robot.txt，來阻止其他爬蟲的“騷擾”，比如很多論壇就禁止這些搜索引擎的“爬蟲”。當然，這些只是約定，如果設計爬蟲的人不把這些“禁令”當回事，他的“爬蟲”照樣可以獲取到這些網站的資料。
“爬蟲”的技術有的很複雜，有的也很簡單，我之前為了分析數據，用python寫了一段代碼，執行後就可以獲取到所有比賽的信息（如參賽雙方，比賽結果等），當然這些數據只是為了自娛自樂。所以從技術角度來看“爬蟲”是可以很方便獲取信息數據的技術手段。比如用在搜索引擎上，我們就可以很方便的查詢到我們所需要的信息。
但有些網站的數據是不允許“爬蟲”來獲取資料的，尤其是該網站的用戶信息。從理論上講，只要這個平臺開放了數據給用戶，那麼這個平臺裡的數據都可以被獲得的。在我們還沒有強調隱私這個問題前，你們在搜索引擎裡輸入自己的名字，可能你在招聘網站啊，購物網站啊，論壇啊，只要和你名字相關的，都可以被搜索出來。我是親身經歷過，後來大家慢慢就規範了，政府也出臺了相關的法規。可是我們的信息，還是會被“爬蟲”技術性的獲取到，這些信息還是會被私下使用，而我們是不知道的。那麼這個就出現了問題，當這些數據被用於金融，地產等領域，後果是很可怕的。當然這些數據被應用到更好的服務我們的領域，似乎能讓人接受，但也會令人感到不舒服。
比如你在某寶搜索了“運動鞋”，那麼當你打開某條時候，你的左側廣告欄，就會有很多“運動鞋”廣告，這些公司之間就是存在著數據的共享，那麼這些數據的轉移，是否得到了我們的認同呢？
如果有孩子的朋友，當你孩子剛出離開醫院，你可能會接到來自奶粉，教育，月嫂的電話；
當你購房後，你馬上會接到裝修，設計，保姆的電話；總之這個世界，好像別人都知道你幹了
什麼事情。。。這些“爬蟲”不需要什麼高科技，寫代碼，卻依然存在著，生存著。
技術無罪，但是技術應用的領域觸犯了法律，那麼使用技術的人就要承擔後果。大數據時代，只有懂得保護用戶的企業才能長久。
閱讀更多 肯尼古德 的文章
