用GooSeeker快捷採集模式爬取豆瓣電影短評

最近在蒐集豆瓣影評數據,《美人魚》就已經有40多萬的評論,其他高分電影就更不用說了。對於不懂爬蟲軟件,也不會寫代碼的人來說,收集數據真的是很痛苦,但是有了gooseeker爬蟲這款軟件,不用懂任何技術也可以把網絡數據抓一遍,如果你也是不懂技術的小白,可以看看下面的使用經驗。

用GooSeeker快捷採集模式爬取豆瓣電影短評

用GooSeeker快捷採集模式爬取豆瓣電影短評

一、下載安裝gooseeker爬蟲

訪問官網https://www.gooseeker.com/pro/product.html

下載安裝爬蟲,後面的操作必須要在軟件裡做,打開軟件看到的界面跟瀏覽器差不多,可以把它當做瀏覽器來用,但實際上是個爬蟲,第一屏看到的就是官網了。

用GooSeeker快捷採集模式爬取豆瓣電影短評

二、訪問數據DIY

在官網的產品菜單下面打開數據DIY,可以看到前面有三級目錄,要根據自己的情況選擇類別、網站和頁面,我選的是熱門網站->豆瓣->豆瓣_電影短評,然後在底部會看到示例數據,可以看看字段這些有沒有滿足需要。

用GooSeeker快捷採集模式爬取豆瓣電影短評

目錄第3級的頁面實際上就是抓取某一類網頁的爬蟲,比如豆瓣_電影短評這個頁面是用來爬短評的,不能爬影評,這兩個是不一樣的,要不然就會抓不到數據,怎麼看可不可以抓到你想要的頁面?選了頁面後,在輸入框下面有示例網址,點開看看就知道了,跟這個頁面結構一樣的就通用。

用GooSeeker快捷採集模式爬取豆瓣電影短評

三、爬數據

把要爬數據的網址粘貼到輸入框裡,再選擇頁碼,最後點獲取數據,如果你有多個網址要爬,可以點輸入多條網址。我這裡就是把《美人魚》的短評網址添加進去,如果你也想要用這個爬蟲,可以到豆瓣電影的詳情頁找短評網址。

用GooSeeker快捷採集模式爬取豆瓣電影短評

然後會提示啟動兩個爬蟲窗口,點啟動,就看到有兩個爬蟲窗口和一個管理窗口打開,爬蟲窗口也是一個瀏覽器,會自動把一個個網頁打開,瀏覽完網頁就會把數據存下來了,真的很簡單。

用GooSeeker快捷採集模式爬取豆瓣電影短評

四、下載數據

爬完數據後,到管理窗口把數據打包和下載下來。

用GooSeeker快捷採集模式爬取豆瓣電影短評

打開數據表,可以看到數據很完整,也沒有漏的。

用GooSeeker快捷採集模式爬取豆瓣電影短評

總體上來說,數據DIY真的很小白很好用,雖然最後下載數據要扣積分,折算過來就是200條數據要一塊錢,但對比其他爬蟲軟件,費用很實在,另外,購買299旗艦版,不僅可以下載無限量數據,還送全額積分,非常划算。


分享到:


相關文章: