不論是固定的電腦網絡還是以手機為終端的移動網絡。使用者會經常遇到一種最常見的現象，這就是隻要搜索或者關注某方面的信息，那麼馬上就會有網絡上大量的、與之相類似的信息被“推薦”。絕大部分都是網絡小廣G，甚至有大量的垃圾信息。那麼在信息流量堪稱浩如煙海的網絡上，怎麼會被精確到每個用戶到底關注什麼呢？其實這就是運用了網絡爬蟲技術。估計有人對爬蟲二字看起來就發毛。與自然接觸少的城裡長大的人，很多都天生怕蟲子，不過對從小燒烤蒸煮過無數蟲子螞蚱的老一代人來說，蟲子又有什麼可怕的？網絡爬蟲說到底就是一種小程序，屬於按照一定的規則，自動抓取全球網絡上的程序和腳本。對網絡用戶關注的信息進行分析和統計，最終作為一種網絡分析資源來獲得特定的利益。
網絡爬蟲技術和搜索引擎有天然的近親關係。全球各大搜索引擎，都是網絡爬蟲技術應用的超級大戶。可以海量的抓取一定範圍內的特定主體和內容的網絡信息，作為向搜索和查詢相關內容的儲備數據資源。簡單來說，網絡爬蟲就像一群不止疲倦的搜索機器蟲，可以海量的代替人工對全球網絡進行搜索，對已經傳到網上的任何有價值無價值的信息資源都像螞蟻一樣揹回來堆在哪裡等用戶，因此被叫做網絡爬蟲。有統計顯示，目前全球固定和移動互聯網上，被下載的信息中，只有不到55%是真正的活人在佔據流量資源；而另外的45%，也就是接近一半，是網絡爬蟲和各種“機器人”在佔據流量。可見網絡爬蟲的厲害。那麼網絡爬蟲是如何從技術上實現對特定信息下載的呢？在於網絡爬蟲首先是一個下載小程序。
其從一個或若干初始網頁的URL開始，獲得正常網絡用戶初始網頁上的URL。在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列。再分析算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重覆上述過程，直到達到系統的某一條件時停止。所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索。爬蟲程序本身具備有用的一面，如果沒有網絡爬蟲技術，那麼就不可能有各種用途極大的搜索引擎，所有的網絡用戶就在海量的信息中迷路了。但是瀚海狼山（匈奴狼山）還是那句話：過猶不及。凡事就怕被濫用。很多沒有搜索引擎的公司和操作者，也能開發出簡單的爬蟲技術，來進行自己的網絡推廣。在網上的爬蟲越來越多，不受控制之後，普通的網絡用戶就都成了最終的受害者。這等於有無數個看不見的刺探者，躲在暗處盯著每一個毫無防備的用戶。
你每天看什麼頁面，點擊的什麼內容，訂購什麼商品，消費了多少錢，都在不知不覺的被記錄被分析。讓普通用戶沒有任何網絡隱私可言。誰也不喜歡自己的一言一行都被他人記錄而且還被隨時分析利用。因此無處不在的爬蟲程序是對用戶利益的直接侵犯。而且網絡爬蟲也有軍事上的用途和風險。當代社會經濟、ZZ和軍事活動其實很難分家。雖然有保密途徑，也可釋放一些真真假假的信息。但是用爬蟲技術，通過概率分析，仍然可影響國際輿論甚至是判斷出對手真正的目的。因此對網絡爬蟲技術的正反兩方面的作用都要有清醒的認識。
閱讀更多 匈奴狼山 的文章
