使用Web Scraper 插件,不需要編程,也能爬網

使用Web Scraper 插件,不需要編程,也能爬網,使用Web Scraper插件,能夠創建一個網站地圖,並能遍歷網站,抓取我們感興趣的數據,比如,我們登陸淘寶,京東等商務網站,我們可以通過 Web Scraper,抓取某一類商品的規格說明,價格,廠家等信息,我們通過Web Scraper可以抓取我們進入頭條上的最熱門的文章,也可以抓取我們自己的所有文章列表,發佈時間,閱讀和瀏覽量等信息,當然也能抓取我們的粉絲列表。 最最最重要的是,你不需要寫任何的代碼,只需點擊,點擊,點擊,最後還能把抓取的結果導出為Excel可以識別的CSV格式。這功能,爽!!!

其官方網站如下:http://webscraper.io/tutorials

使用Web Scraper 插件,不需要編程,也能爬網

Web Scraper Chrome 插件的安裝

打開Chrome瀏覽器,輸入下面的URL地址:

https://chrome.google.com/webstore/detail/web-scraper/jnhgnonknehpejjnehehllkliplmbmhn

使用Web Scraper 插件,不需要編程,也能爬網

點擊“Added to Chrome”就安裝了,安裝後,在瀏覽器中按下F12或者點擊右鍵,選擇“檢查(Inspect)”,在開發者工具下面就能看到WebScraper的Tab。

使用Web Scraper 插件,不需要編程,也能爬網

Web Scraper Chrome 插件的入門例子

下面以抓取京東上面的所有的手機信息為例子,使用Web Scraper演示一下其使用和操作方法。

Step1. 創建一個京東手機的SiteMap(網站站點圖)

使用Web Scraper 插件,不需要編程,也能爬網

Step2. 在SiteMap上點擊選擇需要抓取的信息

如下圖所示意,想抓取當前京東上,熱門推薦的手機的網站和品牌信息,則抓取方法如下:命名一個id,這個id是自己定義的,然後選擇抓取的類型,比如本例子中我們選擇,“Link”

  • Link

  • PopupLink

  • Table

  • Element Attribute

  • Image

  • Groupped

  • HTML

  • Element

  • Element Click

  • Element Scroll down

然後選擇你感興趣元素,比如我選擇了iPhone,榮耀,小米,華為,Vivo,Oppo,其會自動生成一個獲取這些信息數據的表達式,我們可以稱呼其為XPath,最後,點擊保存。

使用Web Scraper 插件,不需要編程,也能爬網

Step3. 保存後,點擊“Data Preview”預覽數據。

使用Web Scraper 插件,不需要編程,也能爬網

Step4. 點擊“Data Preview”預覽的數據如下。

使用Web Scraper 插件,不需要編程,也能爬網

Step5. 點擊“Scrape”,立馬開始抓取數據。

當出現“Scraping Finished”的字樣的時候,說明已經抓取成功。

使用Web Scraper 插件,不需要編程,也能爬網

Step6. 點擊“Export Data as CSV”,導出為CVS的數據格式,這樣Excel就能打開

使用Web Scraper 插件,不需要編程,也能爬網

寫在最後的話

本文簡單介紹總結了Web Scraper的插件的功能,安裝以及一個簡單的單頁面例子。其實Web Scraper的功能遠遠不止於此,其實還能抓取分頁,還能多頁多元素的抓取,還能抓取二級頁面,比如,所有iphone或者華為手機的價格,配置等信息,如果你有興趣,請在本文後留言,如果收藏和轉發數超過100,我將繼續分享Web Scraper的高級功能。最後祝大家新年快樂,天天開心。

  • 如果你有任何疑問需要探討,歡迎在文章末尾留言,我儘量在第一時間個大家回覆。


分享到:


相關文章: