網絡爬蟲常見的請求方法有如下幾種



網絡爬蟲常見的請求方法有如下幾種

方法1:使用urllib2,如果需要設置頭信息時,則配合urllib.urlencode(data)使用

import urllib2

req = urllib2.Request(url)此時可以設置傳遞頭信息

response = urllib2.urlopen(req)

方法2:不需要頭信息時

import urllib2

response = urllib2.urlopen(url)

html = response.read()

方法3:使用代理

import urllib2

proxy=urllib2.ProxyHandler({'http':'127.0.0.1:8087'})

opener=urllib2.build_opener(proxy,)

response=opener.open(url)

方法4:使用requests

ses=requests.session()

ses.get()

ses.post()


分享到:


相關文章: