為了增加學習python的動力,本章介紹使用scrapy框架爬取某網站性感美女圖片,雖然有一丟丟難度,但是看到輸出成果後,應該會對python學習產生一些興趣。先看結果再詳細介紹。
準備工作:安裝好python,以及scrapy庫
編寫代碼:
第一步,創建項目
scrapy startproject meinv
用pycharm打開項目後,會看到以及自動生產一些文件,
然後在spiders目錄下新建meinvspider.py.結果如下圖
第二步,item.py編寫
主要是定義我們要爬取的內容的名稱,我定義了三個,一個文件名稱,圖片url,圖片paths,代碼如下:
第三步,meinvspider.py編寫
這裡主要是定義爬取規則,說白了,就是告訴爬蟲去爬取哪些具體內容。代碼如下:
第四步,pipelines.py編寫:
此部分主要是定義如何保存圖片,代碼如下:
第五步,setting.py設置:
此部分內容主要是啟動第四步操作,代碼如下:
最後運行爬蟲:
<code>scrapy crawl meinvspider/<code>
注意“meinvspider”對應是meinvspider裡面定義的name變量裡面的值
以上涉及的知識點有:列表,for循環,函數,類,正則表達式,字典,CSS選擇器,if條件判斷,生成器,format()格式化輸出等,後面將以剖析本章代碼,來逐一學習以上涉及到的知識點。
閱讀更多 對牛彈琴吧 的文章