python爬虫学习(四):requests的使用

requests也一个访问网络资源的模块包,不过是python的第三方库,处理url比urllib会更方便一些,而且还有很多实用的高级功能。

安装requests,这里采用pip进行安装:

  • 在windows系统下只需要在命令行输入命令 pip install requests 即可安装。
  • 在 linux 系统下,只需要输入命令 sudo pip install requests ,即可安装。
  • 在 mac系统下,只需要输入命令 pip3 install requests ,即可安装。

安装成功后,如果是在pycharm软件编辑的话,这个时候就有requests的提示了。

如下:


python爬虫学习(四):requests的使用

requests的七个主要方法:
  • requests.request() 构造一个请求,支持以下各种方法
  • requests.get() 获取html的主要方法
  • requests.head() 获取html头部信息的主要方法
  • requests.post() 向html网页提交post请求的方法
  • requests.put() 向html网页提交put请求的方法
  • requests.patch() 向html提交局部修改的请求
  • requests.delete() 向html提交删除请求

这里主要讲比较常用的get和post请求方式。

requests.get()

源码:get(url, params=None, kwargs)

url参数:访问地址

Params参数: 网址尾部附加的参数,如http://xxx.xx.com/get?a=xxx&b=xxx 中的a=xxx&b=xxx部分。

kwargs参数:主要是其他可传参数的集合,具体跟urllib.request.urlopen()方法里面的参数类似。我们在源码中可以发现get和post最终都是跳到一个方法进行执行。

<code>def request(self, method, url,
params=None, data=None, headers=None, cookies=None, files=None,
auth=None, timeout=None, allow_redirects=True, proxies=None,
hooks=None, stream=None, verify=None, cert=None, json=None)/<code>

上面的参数即为get和post方法所有可以传的参数。

具体:
<code>import requests
r = requests.get(“http://www.baidu.com“)
print(r.status_code) #状态码
print(r.text) #返回内容/<code>

这是最简单的访问方法。还有带参的。

<code>import requests
r = requests.get(‘https://www.douban.com/search‘, params={‘q’: ‘python’, ‘cat’: ‘1001’})
print(r.url) #查看请求的url
print(r.encoding) #查看请求的编码
print(r.content) #返回的内容,bytes对象,未解码,r.text是已经解码之后的字符串/<code>

另外,如果要传递headers可以这么写

<code> r = requests.get(‘https://www.douban.com/‘, headers={‘User-Agent’: ‘Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit’})/<code>
requests.post()

一些参数传递方式和get方法差不多。传入data参数作为post请求的数据

<code>>>> r = requests.post(‘https://accounts.douban.com/login‘, data={‘form_email’: ‘[email protected]’, ‘form_password’: ‘123456’})/<code>

requests默认使用application/x-www-form-urlencoded对POST数据编码。如果要传递JSON数据,可以直接传入json参数:

<code>params = {‘key’: ‘value’}
r = requests.post(url, json=params) # 内部自动序列化为JSON/<code>

类似的,上传文件需要更复杂的编码格式,但是requests把它简化成files参数:

<code>>>> upload_files = {‘file’: open(‘report.xls’, ‘rb’)}
>>> r = requests.post(url, files=upload_files)/<code>

要在请求中传入Cookie,只需准备一个dict传入cookies参数:

<code>>>> cs = {‘token’: ‘12345’, ‘status’: ‘working’}
>>> r = requests.get/post(url, cookies=cs)/<code>

最后,要指定超时,传入以秒为单位的timeout参数:

<code>>>> r = requests.get/post(url, timeout=2.5) # 2.5秒后超时/<code>

获取响应头,可以通过r.headers获取,另外通过r.headers[key]获取具体某一个头部信息。获取cookies类似。

requests.request()

该方法可以实现get也可以实现post.通过首个参数method传递‘GET’或‘POST’进行区分,其余参数与上述相同。

<code>r=requests.request(‘GET’,‘https://www.douban.com/search‘,params={‘q’: ‘python’, ‘cat’: ‘1001’})/<code>


分享到:


相關文章: