python爬蟲使用scrapy框架爬取頂點小說網

1.scrapy的安裝

這個安裝教程，網上有很多的例子，這裡就不在贅述了

2.關於scrapy

scrapy框架 是一個非常好的東西，能夠實現異步爬取，節省時間，其實本文純粹的按照之前的思維來做，

也不是不可以，但是感覺速度太慢了，畢竟數據量有點大

框架內容也在網上找找例子吧想學習可以加Python學習（q-u-n ）-227-435-450 即可獲取，內附：開發工具和安裝包，以及視頻系統學習路線圖

關於FineBI

3.直接說實現吧

使用

[python] view plain copy

scrapy startproject dingdian

創建項目

然後增加文件，最後代碼目錄如下：

[python] view plain copy

├── dingdian

│ ├── __init__.py

│ ├── items.py

│ ├── pipelines.py

│ ├── settings.py

│ └── spiders

│ ├── __init__.py

│ └── mydingdian.py

主要程序：

mydingdian.py

定義的存貯內容即 items.py

設置相關 settings.py

最終的數據處理以及保存

pipelines.py

閱讀更多 糖寶Python 的文章

關鍵字: 異步 技術 Scrapy