常見的反爬策略
首先，既然要破解這些常見的反爬策略，就首先需要知道常見的反爬策略有哪些，所謂知己知彼，百戰百勝。
解決策略
1. 偽裝user agent
User-Agent是檢查用戶所用客戶端的種類和版本。通過設置UA可以偽裝成瀏覽器進行訪問目標網站
3.圖片識別驗證碼
對於一些簡單的驗證手段，可以通過pytesseract和PIL庫進行圖像識別，獲取驗證碼，從而突破驗證碼限制。
當然也可以自己訓練機器識別，這部分涉及到AI的知識，就不深入了。
例如豆瓣的驗證碼
5.其他突破方法
- 降低訪問的頻率。例如：每抓取一個頁面就休息隨機秒（個人感覺比固定時間的要好）；限制每天抓取的頁面數量。
- 添加cookie。對於需要登錄的網頁來說，這是必要的一步
私信小編007即可獲取數十套PDF哦！
分享到:
閱讀更多 繁華落盡and曲終人散 的文章
