python爬取网站性感美女图片:酥胸,尤物,勾魂,惹火

为了增加学习python的动力,本章介绍使用scrapy框架爬取某网站性感美女图片,虽然有一丢丢难度,但是看到输出成果后,应该会对python学习产生一些兴趣。先看结果再详细介绍。


准备工作:安装好python,以及scrapy库

编写代码:

第一步,创建项目

scrapy startproject meinv

用pycharm打开项目后,会看到以及自动生产一些文件,

然后在spiders目录下新建meinvspider.py.结果如下图

第二步,item.py编写
主要是定义我们要爬取的内容的名称,我定义了三个,一个文件名称,图片url,图片paths,代码如下:


第三步,meinvspider.py编写

这里主要是定义爬取规则,说白了,就是告诉爬虫去爬取哪些具体内容。代码如下:



第四步,pipelines.py编写:

此部分主要是定义如何保存图片,代码如下:


第五步,setting.py设置:

此部分内容主要是启动第四步操作,代码如下:


最后运行爬虫:

<code>scrapy crawl meinvspider/<code>

注意“meinvspider”对应是meinvspider里面定义的name变量里面的值

以上涉及的知识点有:列表,for循环,函数,类,正则表达式,字典,CSS选择器,if条件判断,生成器,format()格式化输出等,后面将以剖析本章代码,来逐一学习以上涉及到的知识点。