12.29 python爬取获取下一页的信息

在scrapy框架中爬取下一页时,需要操作以下步骤:

1、导入相应的模块,通常在爬虫文件里输入from scrapy import Request。Request的R必须是大写的。

2、在parse函数里输入下一页的网址,例如next_url,通过xpath找到下一页的url。

3、使用Request函数爬取下一页的数据,通常是Request(next_url,callback=self.parse),callback=self.parse代表当找到next_url,自动执行parse方法。


分享到:


相關文章: