一、前言
1、相关介绍:
采用Python 来进行爬虫的主要原因是: Python语言简洁,使用方便,拥有许多方便进行爬虫的库,如Urllib。
Python除了爬虫获取数据外,还可以图像处理,数据处理,导出Execl表格等。更多可以看:Python可以用来干嘛?
2、安装Python
苹果系统上一般默认都装有Python编译器,为Python2.x版本。本文出现的代码都是以Python2.7版本为准。
如果需要Python3.x或者在windows上运行,就需要自己去安装Python,具体见:安装Python
二、爬虫
本文中以实现一个爬取网页中的图片的爬虫为例子。
预备知识
Python基础知识
Python中urllib库的用法
Python正则表达式
Python中re库的用法
1、Python基础知识
1、Python脚本文件后缀名为.py
2、#为注释符号
3、Python中没有花括号{},用:代替
4、函数的调用写法与JS相似
5、运行Python
在终端输入:
如果是Python3.x版本输入:
2、Python中urllib库的用法
urlopen 和read
urlopen:通过一个URL打开一个网页。
read:读取这个网页。
本文爬虫的核心为:通过正则表达式在源码中获取图片链接。
urlretrieve
urlretrieve:根据一个URL,下载相关文件
3、Python正则表达式
用\d匹配数字
用.匹配任意字符
用\s匹配一个空格
用*表示任意个数字符
用+表示至少一个字符
具体可以看:Python正则表达式
4、Python中re库的用法
split
用正则表达式进行字符串切分,获得一个list(可变数组)
match
用正则表达式进行匹配,如果匹配成功,返回一个Match
对象,否则返回None
完整代码
为了让大家有一个良好的学习python的环境,小编特意创了一个QQ群813622576,群里有小编自己整理的教程资料供大家一起学习,有兴趣的朋友可以加群大家一起学习。
閱讀更多 sxyyw 的文章