有了這款工具,不寫代碼搞定批量爬取數據

如果你需要在網上獲取一定量的數據,爬蟲可能會是比較好的選擇。但是我們普通人不一定會寫代碼,那是不是就沒有辦法了呢?

當然有!

人總是會有懶惰的一面,那麼相應的就會產生懶惰應對的方法。

今天給大家分享一下Web Scraper這款爬蟲工具,是chrome瀏覽器的插件,跨平臺使用。可以方便的僅僅通過鼠標進行簡單配置,就可以爬取你所想要數據。例如文章列表信息、電商網站商品信息、知乎回答列表、微博熱門、微博評論等等。

先展示看看實例效果

實例1

https://www.0797rs.com/news/list-10--1.html
這個網站,爬取前兩頁文章的列表和鏈接。

有了這款工具,不寫代碼搞定批量爬取數據

第一頁


有了這款工具,不寫代碼搞定批量爬取數據

第二頁

永恆君已經提前配置好了

有了這款工具,不寫代碼搞定批量爬取數據

運行後的效果

有了這款工具,不寫代碼搞定批量爬取數據

實例2

https://www.zhihu.com/question/36550329

知乎的回答,爬取所有回答者的暱稱、評論數和贊同數

有了這款工具,不寫代碼搞定批量爬取數據

運行後的效果

有了這款工具,不寫代碼搞定批量爬取數據

實例3

https://search.jd.com/Search?keyword=%E7%99%BE%E5%AE%9D%E7%AE%B1&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E7%99%BE%E5%AE%9D%E7%AE%B1&stock=1&page=1&s=1&click=0

某東的某個商品,爬取第一頁商品的商品名稱、價格、評論數

有了這款工具,不寫代碼搞定批量爬取數據

運行後的效果

有了這款工具,不寫代碼搞定批量爬取數據


為了更為直觀的展示,永恆君把三個實例整合到一個視頻裡面,大家可以更為直觀的感受一下效率和效果:



怎麼樣,效果不錯吧?應付我們日常工作足足夠了。

今天先展示下效果,後面會分享關於Web Scraper這款爬蟲工具的一些實用方法。


你可能還會想看:


工具分享 | 在線小說一鍵下載


Python幫你定製批量獲取智聯招聘的信息


Python幫你定製批量獲取你想要的信息


用python定製網頁跟蹤神器,有信息更新第一時間通知你(附視頻演示)


把python網頁跟蹤神器部署到雲上,徹底解放你的電腦


歡迎加入我的知識星球,為您提供更多服務和資源!


分享到:


相關文章: