一、數據為何產生價值
1.最直接的賣數據
你是否經常接到廣告推銷的電話，推薦你去植髮？
你是否經常接到發財致富的電話，推薦你去投資？
個人信息，電商數據，行業數據等等都是一些熱度比較高的交易對象。
在13項公民信息種類中（姓名、年齡、有效證件號碼、婚姻狀況、工作單位、學歷、履歷、家庭住址、電話號碼等），報價最低1元/條，最高達到3000元/條。高學歷人口信息價格20元－60元/條不等，銀行流水單信息1000元-3000元/條。公民通訊住址信息是最常見的非法黑市交易類型，在所有信息種類中佔近三成。
哎，學歷低連信息都不值錢。
二、整合信息方便查閱
收集整理不同來源的數據，然後整理方便查閱，提高流量。然後上廣告，查詢收費來盈利。
天眼查，企查查這類網站都是同樣的一個運營模式，爬取一些政府公開的數據，進行整理分析合併，然後給會員提供查閱服務。
還有這種比價網站，獲取一些電商的數據，進行整理，然後靠競價排名，商家返還紅包等手段進行盈利。
三、需要做數據分析再發揮價值
獲取行業信息，進行定價選址。
獲取評論信息，進行輿論檢測。
獲取內部信息，進行戰略制定。
四、到底什麼是爬蟲？
是一種按照一定的規則，自動地抓取互聯網信息的程序或者腳本。
所謂的網頁抓取，就是把URL地址中指定的網絡資源從網絡流中讀取出來，保存到本地。在Python中有很多庫可以用來抓取網頁。
簡單來講，爬蟲就是一個探測機器，它的基本操作就是模擬人的行為去各個網站溜達，點點按鈕，查查數據，或者把看到的信息揹回來。就像一隻蟲子在一幢樓裡不知疲倦地爬來爬去。
五、數據爬到之後的工作
從事這種工作，當拿到數據之後，假如你只是個工具人，那麼你的工作結束了可以直接開始摸魚，剩下的交給數據分析組或者算法組的同事，就可以了。
但是一般情況下，老闆為了他的蘭博基尼，會讓你再學習一些業務，再做一些數據清洗，分析，可視化的工作。
當你做完這些的時候，老闆為了他的法拉利，會讓你再做一個後臺，進行爬蟲監控調度。
當你後臺做完之後，老闆為了他的勞斯萊斯，會讓你再做一個網站或者app，前後端一起搞，用來給搜索查詢展示數據，類似天眼查一樣。
當你前端後端搞定之後，老闆為了他的賓利，會讓你再做一個智能解析器，只需要輸入個網址，就能進行這個網站的解析，提取數據，然後保存入庫。
老闆還要邁巴赫，帕加尼，布加迪，邁凱倫，阿斯頓馬丁等等等等，無窮盡也。
六、爬蟲流程
三步即可搞定爬蟲
模擬網絡請求
（通過一些請求工具模擬人的網頁請求urllib，requests，aiohttp，twisted）
信息解析
（對請求結果的html，js，json等進行處理，主要使用xpath，css選擇器，re正則）
數據持久化
（對解析的結果進行存儲，本地文件或者數據庫）
最關鍵的一部就是第一步，其他基本就是體力活了。因為第一步你會越到各種各樣的反爬措施，倒逼爬蟲攻城獅學習前端，後端，圖片識別，web安全，android安全，機器學習……
基本上大綱設計就是遵循爬蟲三步走的順序。
