北京旅行家
學習網絡爬蟲，首先需要系統的學習python基礎知識，雖然不用學也能跟著別人的代碼做，但是最好能系統的學習下基礎知識，要不很多時候你是懵逼狀態的，然後需要學習抓包分析數據知識，因為爬蟲類的知識都是需要分析被爬去目標的數據結構，類型，在進行過濾篩選出自己需要的數據，不過現在有很多現成的爬蟲框架，沒必要自己造輪子，但是也最好能自己造輪子，這樣有利於提高自己的編碼能力。
huzibbs
說實話考計算機二級證書基本沒什麼用，對工作也沒幫助，還不如多練習，下面學習爬蟲的路線，可以參考著學。
1、瞭解爬蟲的基本原理及過程
大部分爬蟲都是按“發送請求——獲得頁面——解析頁面——抽取並儲存內容”這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。
2、學習 Python 包並實現基本的爬蟲過程
Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議你從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。
3、瞭解非結構化數據的存儲
爬回來的數據可以直接用文檔形式存在本地，也可以存入數據庫中。開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。
4、學習 scrapy，搭建工程化的爬蟲
掌握前面的技術一般量級的數據和代碼基本沒有問題了，爬蟲最好框架之一。
5、學習數據庫基礎，應對大規模數據存儲
爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。
6、掌握各種技巧，應對特殊網站的反爬措施
爬蟲過程中也會經歷一些絕望，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態加載等等。
7、分佈式爬蟲，實現大規模併發採集
爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分佈式爬蟲。分佈式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。
卡西尼試驗場
本文集詳解網絡爬蟲的原理、工具、框架和方法。
詳解從簡單網頁到異步加載網頁，從簡單存儲到數據庫存儲，從簡單爬蟲到框架爬蟲等技術。
類別：
- 22個網絡爬蟲綜合實戰案例、30個網站信息提取
- 詳解爬蟲的3大方法：、和
- 詳解爬取數據的4大存儲方式：、、和
- 詳解Scrapy爬蟲框架的安裝、項目創建、文件使用及爬取數據的存儲
引子
隨著Internet的飛速發展，互聯網中每天都會產生大量的。如何從這些非結構化數據中提取有效信息，供人們在學習和工作中使用呢？這個問題促使網絡爬蟲技術應運而生。
由於Python語言簡單易用，而且還提供了優秀易用的第三方庫和多樣的爬蟲框架，所以使得它成為了網絡爬蟲技術的主力軍。
近年來，大數據技術發展迅速，數據爬取作為數據分析的一環也顯得尤為重要。程序員要進入與數據處理、分析和挖掘等相關的行業，就必須要掌握Python語言及其網絡爬蟲的運用。
目錄第 1 章 Python零基礎語法入門
本章介紹了Python和PyCharm的安裝及Python最為簡單的語法基礎，包括簡單的流程控制、數據結構、文件操作和麵向對象的編程思想。
第 2 章 爬蟲原理和網頁構造
本章通過介紹網絡連接原理，進而介紹了爬蟲的原理，講解了爬蟲的基本流程，另外還介紹瞭如何使用Chrome瀏覽器認識網頁構造和查詢網頁信息。
第 3 章 我的第一個爬蟲程序
本章主要介紹了安裝請求和解析網頁的Python第三方庫、Requests庫和BeautifulSoup庫的使用方法，最後通過綜合案例手把手教會讀者編寫一個簡單的爬蟲程序。
第 4 章 正則表達式
本章主要介紹了正則表達式的常用符號及Python中re模塊的使用方法，在不需要解析庫的情況下完成一個簡單的爬蟲程序。
第 5 章 Lxml庫與Xpath語法
本章主要介紹了Lxml庫在Mac和Linux環境中的安裝方法、Lxml庫的使用方法及Xpath語法知識，並且通過案例對正則表達式、BeautifulSoup和Lxml進行了性能對比，最後通過綜合案例鞏固Xpath語言的相關知識
第 6 章 使用API
本章主要介紹了API的使用和調用方法，對API返回的JSON數據進行解析，最後通過使用API完成一些有趣的綜合案例。
第 7 章 數據庫存儲
本章主要介紹了非關係型數據庫MongoDB和關係型數據庫MySQL的相關知識，並通過綜合案例展示了Python對兩種數據庫的存儲方法。
第 8 章 多進程爬蟲
本章主要介紹了多線程及其概念，並通過案例對串行爬蟲和多進程爬蟲的性能進行了對比，最後通過綜合案例介紹了多進程爬取數據的方法和技巧。
第 9 章 異步加載
本章主要介紹了異步加載的基本概念，以及如何針對異步加載網頁使用逆向工程抓取數據，最後通過綜合案例講解了逆向工程的使用方法和常用技巧。
第 10 章 表單交互與模擬登錄
本章主要介紹了Requests庫的POST方法，通過觀測表單源代碼和逆向工程來填寫表單以獲取網頁信息，以及通過提交cookie信息來模擬登錄網站。
第 11 章 Selenium模擬瀏覽器
本章主要介紹了Selenium的模塊的安裝、Selenium瀏覽器的選擇和安裝，以及Selenium模塊的使用方法，最後通過綜合案例介紹瞭如何對採用異步加載技術的網頁進行爬蟲。
第 12 章 Scrapy爬蟲框架本章主要介紹了Windows 7環境中的Scrapy安裝和創建爬蟲項目的過程，並通過案例詳細講解了各個Scrapy文件的作用和使用方法，而且通過多個綜合案例講解了如何通過Scrapy爬蟲框架把數據存儲到不同類型的文件中，最後講解了如何編寫跨頁面網站的爬蟲代碼。
