为了增加学习python的动力,本章介绍使用scrapy框架爬取某网站性感美女图片,虽然有一丢丢难度,但是看到输出成果后,应该会对python学习产生一些兴趣。先看结果再详细介绍。
准备工作:安装好python,以及scrapy库
编写代码:
第一步,创建项目
scrapy startproject meinv
用pycharm打开项目后,会看到以及自动生产一些文件,
然后在spiders目录下新建meinvspider.py.结果如下图
第二步,item.py编写
主要是定义我们要爬取的内容的名称,我定义了三个,一个文件名称,图片url,图片paths,代码如下:
第三步,meinvspider.py编写
这里主要是定义爬取规则,说白了,就是告诉爬虫去爬取哪些具体内容。代码如下:
第四步,pipelines.py编写:
此部分主要是定义如何保存图片,代码如下:
第五步,setting.py设置:
此部分内容主要是启动第四步操作,代码如下:
最后运行爬虫:
<code>scrapy crawl meinvspider/<code>
注意“meinvspider”对应是meinvspider里面定义的name变量里面的值
以上涉及的知识点有:列表,for循环,函数,类,正则表达式,字典,CSS选择器,if条件判断,生成器,format()格式化输出等,后面将以剖析本章代码,来逐一学习以上涉及到的知识点。