1.安裝
1、安裝wheel
pip install wheel
2、安裝lxml
https://pypi.python.org/pypi/lxml/4.1.0
3、安裝pyopenssl
https://pypi.python.org/pypi/pyOpenSSL/17.5.0
4、安裝Twisted
https://www.lfd.uci.edu/~gohlke/pythonlibs/
5、安裝pywin32
https://sourceforge.net/projects/pywin32/files/
6、安裝scrapy
pip install scrapy
2.創建項目
1. 創建工程
scrapy startproject movie
2. 創建爬蟲程序
cd movie
scrapy genspider meiju meijutt.com
3.項目結構
4.文件說明
scrapy.cfg 項目的配置信息，主要為Scrapy命令行工具提供一個基礎的配置信息。（真正爬蟲相關的配置信息在settings.py文件中）
items.py 設置數據存儲模板，用於結構化數據，如：Django的Model
pipelines 數據處理行為，如：一般結構化的數據持久化
settings.py 配置文件，如：遞歸的層數、併發數，延遲下載等
spiders 爬蟲目錄，如：創建文件，編寫爬蟲規則
5.設置爬蟲可調試運行
from scrapy.cmdline import execute
if __name__ == '__main__':
execute(["scrapy", "crawl", "sdz"])
分享到:
閱讀更多 小二來碗米飯 的文章
