hello小伙伴们!刚刚学习Python爬虫的小伙伴们应该面临反爬问题,那么初步解决办法除了代理ip还有就是随机生成UA
今天给大家推荐两种随机生成UA的方法,废话不多说了,直接上代码
第一种:
1.导入random模块 :
import random
2.定义一个列表 存放UA,(来源:网上查找,可以去github上查)
list = [{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:22.0) Gecko/20130405 Firefox/22.0'},
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:14.0) Gecko/20100101 Firefox/18.0.1'},
{'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36'},
{'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20130331 Firefox/21.0'}
]
3.使用random.choice(list)随机获取列表中的一个UA
headers = {'User-Agent':random.choice(list)}
第二种
调用python中的模块,useragent
1.安装fake-useragent
pip install fake-useragent
2.导包
# from fake_useragent import UserAgent
# import random
#
# ua = UserAgent()
# headers = {'User-Agent':ua.random}
# print(headers)
更多精彩内容详细了解尚学堂哦!另外,大家如果喜欢的话……求关注求收藏啊!
閱讀更多 火到沒朋友的大數據 的文章