Python是近几年最火热的编程语言，大家既然看到了爬虫的知识，想必也了解到python。
很多都说python与爬虫就是一对相恋多年的恋人，二者如胶似漆 ，形影不离，你中有我、我中有你，有python的地方绝对离不开爬虫，有爬虫的地方，话题永远都绕不开python。
因为小编也正在学习python编程，所以花了一周时间，将关于python爬虫入门知识整理出来了，这些知识个人觉得是非常重要的，所以希望大家可以收藏起来，不要弄丢哦，毕竟辛苦了这么久。
什么是爬虫
爬虫是一个程序，这个程序的目的就是为了抓取万维网信息资源，比如你日常使用的谷歌等搜索引擎，搜索结果就全都依赖爬虫来定时获取。
简单来说，无论你想获得哪些数据，有了爬虫都可以搞定，不论是文字、图片、视频，任何结构化非结构化的都能解决。
爬虫模块
re模块——正则表达式模块：
是用于快速从一大堆字符中快速找出想要的子字符串的一种表达方式，这个模块是初学者必须要弄清楚的，当你刚开始用的时候会觉得有难度，一旦上手了，你就会爱上它，逻辑性是非常强的。
os模块：
对文件文本的操作，可以创建文件夹，访问文件夹内容等，它会自适应于不同的操作系统平台，根据不同的平台进行相应的操作。
比如说我们常见的os.name，“name”顾名思义就是“名字”，这里的名字是指操作系统的名字，主要作用是判断目前正在使用的平台，也要注意到该命令不带括号。
csv模块：
爬取出来的数据可以以csv的格式保存，可以用office办公软件中的Excel表格软件打开，所以一般都是用于读文件、写文件、定义格式。
基础的抓取操作
Urllib：
是python内置的HTTP请求库，简单的例子：
import urllib.request
response = urllib.request.urlopen('https://blog.csdn.net/weixin_43499626')
print(response.read().decode('utf-8'))
Requests：
requests库是一个非常实用的HTPP客户端库，是抓取操作最常用的一个库。
各种请求方式：常用requests.get()和requests.post()
import requests
r = requests.get('https://api.github.com/events')
r1 = requests.get('http://httpbin.org/post',data={'key':'value'})
Requests它会比urllib更加方便，可以节约我们大量的工作。
需要登录的接口
post请求：
直接上代码，就能看懂的解释
import requests
url = "http://test"
data = {"key":"value"}
res = requests.post(url=url,data=data)print(res.text)
get请求：
@classmethod
def send_get(cls, url, params, headers):
response = cls.SessionRequest.get(url=url, params=params, headers=headers)
return response.json()
常见的反爬有哪些
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。
通过Headers：
反爬虫从用户请求的Headers反爬虫是最常见的反爬虫策略，果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。
基于用户行为反爬虫：
同一IP短时间内多次访问同一页面，或者同一账户短时间内多次进行相同操作。[这种防爬，需要有足够多的ip来应对]，对于这种情况，使用IP代理就可以解决。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。
动态页面的反爬虫：
上述的几种情况大多都是出现在静态页面，还有一部分网站，我们需要爬取的数据是通过ajax请求得到，。首先用Firebug或者HttpFox对网络请求进行分析，如果能够找到ajax请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析得到需要的数据。
以上就是小编所整理的关于爬虫的知识，最后小编为你们准备了PYthon爬虫的学习资料，需要的小伙伴赶快哦！
一、Python网络爬虫
1、什么是爬虫
2、一起编写第一个爬虫
二、专业HTTP分析工具Fiddler的使用
1、Fiddler 用户界面
2、Fiddler 主菜单
3、Fiddler 工具栏
4、信任 Fiddler 证书
5、Inspector
6、保存\\导入\\导出数据流
7、使用Fiddler检测手机流量
8、Fiddler自动生成爬虫代码
三、实际爬虫Python编码问题
1、vim中如何查看文件编码
2、str编码转换
3、print函数如何处理编码
4、浏览器如何推断网页编码
5、使用Python推测一个文件的编码并给出推断概率
6、Windows 命令行编码查看与设置
7、如何解决Windows命令行的乱码问题
四、urllib2 的使用
1、urllib2请求返回网页
2、urllib2使用代理访问网页
3、urllib2修改header
五、TesseractOCR语言模型爬取使用带验证码登录的网站
1、Tesseract 使用介绍
2、Tesseract 语言模型训练
3、带验证码网站登录示例
六、Beautiful Soup
1、bs4解析器选择
2、lxml解析器安装与使用
七、XPath & CSS选择器
1、XPath语法讲解
2、XPath 选择示例
3、浏览器对XPath的支持
4、CSS选择器原理
5、CSS选择器使用实例
八、PhantomJS
1、安装
2、脚本传参
3、页面加载
4、Code Evaluation
5、DOM 操作
6、网络请求及响应
九、SeleniumWebdriver
1、元素的定位
2、添加等待时间
3、打印信息
4、浏览器的操作
5、浏览器前进后退
6、键盘事件
十、Scrapy大型框架使用代理服务器爬取
1、鼠标事件
2、定位一组元素
3、上传文件
4、下拉框处理
5、调用JavaScript脚本
6、控制浏览器滚动条
7、原理解析
8、代理ip的获取
9、代理ip的使用
10、架构概览
11、Spider
12、Selector
13、Item
14、Scrapy Shell
15、Item Pileline
十一、Scrapy、分布式集群多代理爬虫Redis、分布式集群Redis MongoDB在爬虫里的应用
1、Requests and Responses
2、Link Extractor
3、Logging
4、编写应用MongoDB的Scrapy-Redis 爬虫
5、应用之前讲过的多代理技术\\分布式爬虫技术\\Redis集群技术, 编写一个大型房源网站整站遍历抓取爬虫项目
十二、数据分析、工具与模块
1、Numpy
2、Pandas
3、Scipy
4、Matplotlib
5、Seaborn
6、Scikit-Learn
Python必须掌握的核心能力：
1.掌握各类HTTP调试器用法
2.理解网络爬虫编写的基本套路
3.了解网络爬虫编写的各种陷阱
4.能够应对动态网站爬取
5.能够应对带有验证码的网站
6.能够应对需要浏览器渲染的网站
7.能够应对分布式抓取需要
8.能够应对反爬虫技术
9.能够应对无界面抓取
10.能够利用爬虫平台
强力推荐的学习素材
本套课程是小编千挑万选的一个学习视频资料，即使不懂Python的人，也能在半个月之内掌握Python爬虫。
最后，如何获取这份资料呢
请大家转发本文+关注并私信小编：“资料”，即可免费获取哦！
温馨提示，不管再忙都要坚持每天要至少保持3个小时以上的练习时间 。
閱讀更多 咬咬是個大豬蹄子 的文章
