批量爬取eBay商品價格、銷售情況信息

一、下載安裝gooseeker爬蟲

爬數據要用配套的gooseeker爬蟲軟件,所以第一步是要訪問官網https://www.gooseeker.com/pro/product.html

下載軟件,然後雙擊安裝,後面的步驟都要在軟件裡操作。

批量爬取eBay商品價格、銷售情況信息

二、訪問數據DIY找到入口

打開gooseeker軟件,訪問https://www.gooseeker.com/res/datadiy.html,進入到數據DIY裡,在頂部的目錄上點擊"電商>eBay>eBay商品搜索列表",這樣就選定了入口;

批量爬取eBay商品價格、銷售情況信息

目錄的第三級是頁面,它代表了支持爬取的網頁結構,在中部有示例頁面的網址,點開可以看到是關於"cell phones"商品的搜索列表頁面,滿足這個列表結構的eBay商品網頁,都可以用上面的入口來爬數據。

批量爬取eBay商品價格、銷售情況信息

比如要爬取關於"shoes"商品的列表信息,可以在示例網頁上方的搜索輸入框中輸入關鍵詞"shoes"後點擊搜索,就能搜索得到關於"shoes"商品的列表頁網址,要採集什麼商品,都可以通過輸入關鍵詞搜索的方式得到相關商品的列表頁網址。

要注意的是:eBay限制了最多顯示1萬條商品搜索結果,可以通過點擊左側目錄下的分類進行細分,把網址下的商品結果數控制在1萬條以內,再把各級分類的網址拷貝整理出來。

批量爬取eBay商品價格、銷售情況信息

三、添加網址爬數據

通過以上的方式獲得網址,只有一條商品網址的話,可以直接粘貼到輸入框裡,然後選擇要爬取的頁數,最後點擊獲取數據;

批量爬取eBay商品價格、銷售情況信息

有多條網址的話,先選擇爬取頁數,再點擊"輸入多條網址"按鈕,把多條網址拷貝粘貼進去,最後確定;

批量爬取eBay商品價格、銷售情況信息

添加網址成功後,會提示啟動兩個爬蟲窗口,點啟動,就會看到有兩個爬蟲窗口和一個管理窗口打開;

批量爬取eBay商品價格、銷售情況信息

爬蟲窗口就是一個瀏覽器窗口,它會自動訪問要採集的網址,然後把數據存下來。

批量爬取eBay商品價格、銷售情況信息

四、下載數據

爬蟲窗口沒有再訪問網頁,說明爬取完成了,到管理窗口把數據打包和下載下來。

批量爬取eBay商品價格、銷售情況信息

然後在軟件右上角的下載歷史按鈕裡,可以查到存儲路徑,根據路徑找到數據包,查看數據表。

批量爬取eBay商品價格、銷售情況信息


分享到:


相關文章: