有哪些不錯的爬蟲軟件是可以免費爬取網頁數據的?

墨童


這裡介紹2個不錯的爬蟲軟件—Excel和八爪魚,對於規整的靜態網頁來說,使用Excel就可以爬取,稍微複雜一些的網頁,可以使用八爪魚來爬取,下面我簡單介紹一下這2個軟件,主要內容如下:

Excel

Excel大部分人都應該使用過,除了日常的數據統計處理外,也可以爬取網頁數據,下面我簡單介紹一下爬取過程,主要步驟如下,這裡以爬取PM2.5數據為例:

1.首先,新建一個Excel文件並打開,依次點擊菜單欄的“數據”->“自網站”,如下:

2.接著,在彈出的“新建Web查詢”對話框中輸入需要爬取的網址,點擊“轉到”,就會加載出我們需要爬取的網頁,如下:

3.然後,點擊右下角的“導入”按鈕,選擇需要存放數據的工作表或新建工作表,點擊“確定”按鈕,就會自動導入數據,成功導入後的數據如下:

4.這裡如果你需要定時刷新數據,可以點擊菜單欄的“屬性”,在彈出的對話框中設置刷新頻率,就可定時刷新數據,如下:

八爪魚

這是一個專門用於採集數據的爬蟲軟件,簡單好學,容易掌握,只需要設置一下頁面要爬取的元素,就可以自動爬取數據,並且可以保存為Excel或導出數據庫,下面我簡單介紹一下這個軟件的安裝和使用:

1.下載安裝八爪魚,這個直接到官網上下載就行,如下,直接點擊下載安裝就行:

2.安裝完成後,打開這個軟件,在主頁面中點擊“自定義採集”,如下:

3.接著在任務頁面中輸入需要爬取的網頁地址,如下,這裡以爬取大眾點評數據為例:

4.點擊“保存網址”,就能自動打開網頁,如下:

5.接著,我們就可以直接選取需要爬取的標籤數據,如下,按著操作提示一步一步往下走就行,很簡單:

6.設置完成後,直接點擊“啟動本地採集”,就能自動開始爬取數據,成功爬取後的數據如下,就是我們剛才設置的標籤數據:

7.這裡點擊“導出數據”,可以將爬取的數據導出為你需要的格式,如下,可以是Excel、CSV、數據庫等:

至此,我們就完成了利用Excel和八爪魚來爬取網頁數據。總的來說,這2個軟件使用起來都非常簡單,只要你熟悉一下相關操作,很快就能掌握的,當然,你也可以使用其他爬蟲軟件,像火車頭等,基本功能和八爪魚差不多,網上也有相關資料和教程,感興趣的話,可以搜一下,希望以上分享的內容能對你有所幫助吧,也歡迎大家評論、留言。


小小猿愛嘻嘻


火車頭,基礎功能是不收費的。


分享到:


相關文章: