2.要會進行抓包分析，會使用瀏覽器自帶的開發者工具。網頁中有些數據是動態加載的，只在請求網頁時才加載數據，在網頁源碼中是不顯示的，所以你需要會進行抓包分析，解析json數據等。我們經常模擬登錄時，也需要進行抓包分析，需要post提交哪些內容等，只有在抓包分析後，才能構建相關提交數據：
3.防止被禁掉。短時間內頻繁的訪問服務器，很有可能會被服務器識別為爬蟲，禁掉IP，這個時候你就需要使用IP代理池等，儘可能不被服務器發現。
4.存儲數據。爬取下來的數據，我們需要進行存儲，如果數據量大的話，這個時候你就需要了解一些常用的數據庫的使用，像mysql，mongodb等，方便查詢也方便管理：
5.最後就是學一些爬蟲常用的框架，可以明顯提高開發效率，避免重複造輪子，像python的開源爬蟲框架scrapy等，使用起來也更快捷：
我要說的就是這幾點，只要你認真的學習一下，查找查找相關資料和教程，一定會有大的收穫，希望以上分享的內容能對你有所幫助吧。
分享到:
