python爬取網站性感美女圖片:酥胸,尤物,勾魂,惹火

為了增加學習python的動力,本章介紹使用scrapy框架爬取某網站性感美女圖片,雖然有一丟丟難度,但是看到輸出成果後,應該會對python學習產生一些興趣。先看結果再詳細介紹。


準備工作:安裝好python,以及scrapy庫

編寫代碼:

第一步,創建項目

scrapy startproject meinv

用pycharm打開項目後,會看到以及自動生產一些文件,

然後在spiders目錄下新建meinvspider.py.結果如下圖

python爬取網站性感美女圖片:酥胸,尤物,勾魂,惹火

第二步,item.py編寫
主要是定義我們要爬取的內容的名稱,我定義了三個,一個文件名稱,圖片url,圖片paths,代碼如下:


python爬取網站性感美女圖片:酥胸,尤物,勾魂,惹火

第三步,meinvspider.py編寫

這裡主要是定義爬取規則,說白了,就是告訴爬蟲去爬取哪些具體內容。代碼如下:


python爬取網站性感美女圖片:酥胸,尤物,勾魂,惹火


python爬取網站性感美女圖片:酥胸,尤物,勾魂,惹火

第四步,pipelines.py編寫:

此部分主要是定義如何保存圖片,代碼如下:


python爬取網站性感美女圖片:酥胸,尤物,勾魂,惹火

第五步,setting.py設置:

此部分內容主要是啟動第四步操作,代碼如下:


python爬取網站性感美女圖片:酥胸,尤物,勾魂,惹火

最後運行爬蟲:

<code>scrapy crawl meinvspider/<code>

注意“meinvspider”對應是meinvspider裡面定義的name變量裡面的值

以上涉及的知識點有:列表,for循環,函數,類,正則表達式,字典,CSS選擇器,if條件判斷,生成器,format()格式化輸出等,後面將以剖析本章代碼,來逐一學習以上涉及到的知識點。


分享到:


相關文章: