在scrapy框架中爬取下一页时,需要操作以下步骤:
1、导入相应的模块,通常在爬虫文件里输入from scrapy import Request。Request的R必须是大写的。
2、在parse函数里输入下一页的网址,例如next_url,通过xpath找到下一页的url。
3、使用Request函数爬取下一页的数据,通常是Request(next_url,callback=self.parse),callback=self.parse代表当找到next_url,自动执行parse方法。
閱讀更多 厚積薄發愛python 的文章