使用Web Scraper 插件,不需要編程,也能爬網,使用Web Scraper插件,能夠創建一個網站地圖,並能遍歷網站,抓取我們感興趣的數據,比如,我們登陸淘寶,京東等商務網站,我們可以通過 Web Scraper,抓取某一類商品的規格說明,價格,廠家等信息,我們通過Web Scraper可以抓取我們進入頭條上的最熱門的文章,也可以抓取我們自己的所有文章列表,發佈時間,閱讀和瀏覽量等信息,當然也能抓取我們的粉絲列表。 最最最重要的是,你不需要寫任何的代碼,只需點擊,點擊,點擊,最後還能把抓取的結果導出為Excel可以識別的CSV格式。這功能,爽!!!
其官方網站如下:http://webscraper.io/tutorials
Web Scraper Chrome 插件的安裝
打開Chrome瀏覽器,輸入下面的URL地址:
https://chrome.google.com/webstore/detail/web-scraper/jnhgnonknehpejjnehehllkliplmbmhn
點擊“Added to Chrome”就安裝了,安裝後,在瀏覽器中按下F12或者點擊右鍵,選擇“檢查(Inspect)”,在開發者工具下面就能看到WebScraper的Tab。
Web Scraper Chrome 插件的入門例子
下面以抓取京東上面的所有的手機信息為例子,使用Web Scraper演示一下其使用和操作方法。
Step1. 創建一個京東手機的SiteMap(網站站點圖)
Step2. 在SiteMap上點擊選擇需要抓取的信息
如下圖所示意,想抓取當前京東上,熱門推薦的手機的網站和品牌信息,則抓取方法如下:命名一個id,這個id是自己定義的,然後選擇抓取的類型,比如本例子中我們選擇,“Link”
Link
PopupLink
Table
Element Attribute
Image
Groupped
HTML
Element
Element Click
Element Scroll down
然後選擇你感興趣元素,比如我選擇了iPhone,榮耀,小米,華為,Vivo,Oppo,其會自動生成一個獲取這些信息數據的表達式,我們可以稱呼其為XPath,最後,點擊保存。
Step3. 保存後,點擊“Data Preview”預覽數據。
Step4. 點擊“Data Preview”預覽的數據如下。
Step5. 點擊“Scrape”,立馬開始抓取數據。
當出現“Scraping Finished”的字樣的時候,說明已經抓取成功。
Step6. 點擊“Export Data as CSV”,導出為CVS的數據格式,這樣Excel就能打開
寫在最後的話
本文簡單介紹總結了Web Scraper的插件的功能,安裝以及一個簡單的單頁面例子。其實Web Scraper的功能遠遠不止於此,其實還能抓取分頁,還能多頁多元素的抓取,還能抓取二級頁面,比如,所有iphone或者華為手機的價格,配置等信息,如果你有興趣,請在本文後留言,如果收藏和轉發數超過100,我將繼續分享Web Scraper的高級功能。最後祝大家新年快樂,天天開心。
如果你有任何疑問需要探討,歡迎在文章末尾留言,我儘量在第一時間個大家回覆。
閱讀更多 軟件先生 的文章