Scrapy,Python開發的一個快速,高層次的屏幕抓取和web抓取框架,用於抓取web站點並從頁面中提取結構化的數據。Scrapy用途廣泛,可以用於數據挖掘、監測和 自動化測試 。
Scrapy吸引人的地方在於它是一個框架,任何人都可以根據需求方便的修改。它也提供了多種類型爬蟲的基類,如BaseSpider、sitemap爬蟲等,最新版本又提供了web2.0爬蟲的支持。
Scratch,是抓取的意思,這個Python的爬蟲框架叫Scrapy,大概也是這個意思吧,就叫它:小刮刮吧。
Scrapy 使用了 Twisted異步網絡庫來處理網絡通訊。整體架構大致如下:
![教你分分鐘學會用python爬蟲框架Scrapy爬取心目中的女神](http://p2.ttnews.xyz/loading.gif)
Scrapy主要包括了以下組件:
- 引擎(Scrapy) 用來處理整個系統的數據流處理, 觸發事務(框架核心)
- 調度器(Scheduler) 用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL(抓取網頁的網址或者說是鏈接)的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址
- 下載器(Downloader) 用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的異步模型上的)
- 爬蟲(Spiders) 爬蟲是主要幹活的, 用於從特定的網頁中提取自己需要的信息, 即所謂的實體(Item)。用戶也可以從中提取出鏈接,讓Scrapy繼續抓取下一個頁面
- 項目管道(Pipeline) 負責處理爬蟲從網頁中抽取的實體,主要的功能是持久化實體、驗證實體的有效性、清除不需要的信息。當頁面被爬蟲解析後,將被髮送到項目管道,並經過幾個特定的次序處理數據。
- 下載器中間件(Downloader Middlewares) 位於Scrapy引擎和下載器之間的框架,主要是處理Scrapy引擎與下載器之間的請求及響應。
- 爬蟲中間件(Spider Middlewares) 介於Scrapy引擎和爬蟲之間的框架,主要工作是處理蜘蛛的響應輸入和請求輸出。
- 調度中間件(Scheduler Middewares) 介於Scrapy引擎和調度之間的中間件,從Scrapy引擎發送到調度的請求和響應。
Scrapy運行流程大概如下:
- 引擎從調度器中取出一個鏈接(URL)用於接下來的抓取
- 引擎把URL封裝成一個請求(Request)傳給下載器
- 下載器把資源下載下來,並封裝成應答包(Response)
- 爬蟲解析Response
- 解析出實體(Item),則交給實體管道進行進一步的處理
- 解析出的是鏈接(URL),則把URL交給調度器等待抓取
安裝
因為python3並不能完全支持Scrapy,因此為了完美運行Scrapy,我們使用python2.7來編寫和運行Scrapy。
![教你分分鐘學會用python爬蟲框架Scrapy爬取心目中的女神](http://p2.ttnews.xyz/loading.gif)
注:windows平臺需要依賴pywin32,請根據自己系統32/64位選擇下載安裝,https://sourceforge.net/projects/pywin32/
其它可能依賴的安裝包:lxml-3.6.4-cp27-cp27m-win_amd64.whl,VCForPython27.msi百度下載即可
基本使用
1、創建項目
運行命令:
2.自動創建目錄的結果:
文件說明:
- scrapy.cfg 項目的配置信息,主要為Scrapy命令行工具提供一個基礎的配置信息。(真正爬蟲相關的配置信息在settings.py文件中)
- items.py 設置數據存儲模板,用於結構化數據,如:Django的Model
- pipelines 數據處理行為,如:一般結構化的數據持久化
- settings.py 配置文件,如:遞歸的層數、併發數,延遲下載等
- spiders 爬蟲目錄,如:創建文件,編寫爬蟲規則
注意:一般創建爬蟲文件時,以網站域名命名
3、編寫爬蟲
在spiders目錄中新建 xiaohuar_spider.py 文件
示例代碼:
備註:
- 爬蟲文件需要定義一個類,並繼承scrapy.spiders.Spider
- 必須定義name,即爬蟲名,如果沒有name,會報錯。因為源碼中是這樣定義的:
- 編寫函數parse,這裡需要注意的是,該函數名不能改變,因為Scrapy源碼中默認callback函數的函數名就是parse;
- 定義需要爬取的url,放在列表中,因為可以爬取多個url,Scrapy源碼是一個For循環,從上到下爬取這些url,使用生成器迭代將url發送給下載器下載url的html。源碼截圖:
4、運行
進入p1目錄,運行命令
格式:scrapy crawl+爬蟲名 –nolog即不顯示日誌
5.scrapy查詢語法:
當我們爬取大量的網頁,如果自己寫正則匹配,會很麻煩,也很浪費時間,令人欣慰的是,scrapy內部支持更簡單的查詢語法,幫助我們去html中查詢我們需要的標籤和標籤內容以及標籤屬性。下面逐一進行介紹:
- 查詢子子孫孫中的某個標籤(以div標籤為例)://div
- 查詢兒子中的某個標籤(以div標籤為例):/div
- 查詢標籤中帶有某個class屬性的標籤://div[@class=’c1′]即子子孫孫中標籤是div且class=‘c1’的標籤
- 查詢標籤中帶有某個class=‘c1’並且自定義屬性name=‘alex’的標籤://div[@class=’c1′][@name=’alex’]
- 查詢某個標籤的文本內容://div/span/text() 即查詢子子孫孫中div下面的span標籤中的文本內容
- 查詢某個屬性的值(例如查詢a標籤的href屬性)://a/@href
示例代碼:
注:urllib.urlretrieve(ab_src, file_path) ,接收文件路徑和需要保存的路徑,會自動去文件路徑下載並保存到我們指定的本地路徑。
6.遞歸爬取網頁
上述代碼僅僅實現了一個url的爬取,如果該url的爬取的內容中包含了其他url,而我們也想對其進行爬取,那麼如何實現遞歸爬取網頁呢?
示例代碼:
即通過yield生成器向每一個url發送request請求,並執行返回函數parse,從而遞歸獲取校花圖片和校花姓名學校等信息。
注:可以修改settings.py 中的配置文件,以此來指定“遞歸”的層數,如:DEPTH_LIMIT = 1
7.scrapy查詢語法中的正則:
語法規則:Selector(response=response查詢對象).xpath(‘//li[re:test(@class, “item-d*”)]//@href’).extract(),即根據re正則匹配,test即匹配,屬性名是class,匹配的正則表達式是”item-d*”,然後獲取該標籤的href屬性。
選擇器規則Demo
獲取響應cookie
更多選擇器規則:http://www.baby98.cn/
8、格式化處理
上述實例只是簡單的圖片處理,所以在parse方法中直接處理。如果對於想要獲取更多的數據(獲取頁面的價格、商品名稱、QQ等),則可以利用Scrapy的items將數據格式化,然後統一交由pipelines來處理。即不同功能用不同文件實現。
items:即用戶需要爬取哪些數據,是用來格式化數據,並告訴pipelines哪些數據需要保存。
示例items.py文件:
即:需要爬取所有url中的公司名,title,qq,基本信息info,更多信息more。
上述定義模板,以後對於從請求的源碼中獲取的數據同樣按照此結構來獲取,所以在spider中需要有一下操作:
上述代碼中:對url進行md5加密的目的是避免url過長,也方便保存在緩存或數據庫中。
此處代碼的關鍵在於:
- 將獲取的數據封裝在了Item對象中
- yield Item對象 (一旦parse中執行yield Item對象,則自動將該對象交個pipelines的類來處理)
上述代碼中多個類的目的是,可以同時保存在文件和數據庫中,保存的優先級可以在配置文件settings中定義。
總結:本文對python爬蟲框架Scrapy做了詳細分析和實例講解
來源:http://www.cnblogs.com/yangjiyue/p/7821785.html
【年薪30w工程師吐血整理資料大合集】
領取IT資料大合集:http://image.qbangmang.com/counselor.html
閱讀更多 馬哥Linux 的文章