批量爬取天貓商品sku、價格、評價數據

一、下載安裝gooseeker

爬蟲

爬數據要用配套的gooseeker爬蟲軟件,所以第一步是要訪問官網https://www.gooseeker.com/pro/product.html

下載軟件,然後雙擊安裝,後面的步驟都要在軟件裡操作。

批量爬取天貓商品sku、價格、評價數據

二、訪問數據DIY找到入口

打開gooseeker軟件,訪問https://www.gooseeker.com/res/datadiy.html,進入到數據DIY裡,在頂部的目錄上點擊“電商>天貓>天貓商品搜索列表採集”,這樣就選定了入口;

批量爬取天貓商品sku、價格、評價數據

目錄的第三級是頁面,它代表了支持爬取的網頁結構,在中部有示例頁面的網址,點開可以看到是關於“小米”商品的搜索列表頁面,滿足這個列表結構的天貓商品網頁,都可以用上面的入口來爬數據。

批量爬取天貓商品sku、價格、評價數據

比如要爬取“華為”商品的列表信息,可以在示例網頁上方的搜索輸入框中輸入關鍵詞“華為”後點擊搜索,就能搜索得到“華為”商品的列表頁網址,要採集什麼商品,都可以通過輸入關鍵詞搜索的方式得到相關商品的列表頁網址。

要注意的是:天貓限制了最多顯示100頁,如果商品列表超過了100頁,可以通過點擊目錄下的分類進行細分,把網址下的頁碼數控制在100頁以內,再把各級分類的網址拷貝整理出來。

批量爬取天貓商品sku、價格、評價數據

三、添加網址爬數據

通過以上的方式獲得網址,只有一條商品網址的話,可以直接粘貼到輸入框裡,然後選擇要爬取的頁數,最後點擊獲取數據;

批量爬取天貓商品sku、價格、評價數據

有多條網址的話,先選擇爬取頁數,再點擊“輸入多條網址”按鈕,把多條網址拷貝粘貼進去,最後確定;

批量爬取天貓商品sku、價格、評價數據

添加網址成功後,會提示啟動兩個爬蟲窗口,點啟動,就會看到有兩個爬蟲窗口和一個管理窗口打開;

批量爬取天貓商品sku、價格、評價數據

爬蟲窗口就是一個瀏覽器窗口,它會自動訪問要採集的網址,然後把數據存下來。

批量爬取天貓商品sku、價格、評價數據

四、下載數據

爬蟲窗口沒有再訪問網頁,說明爬取完成了,到管理窗口把數據打包和下載下來。

批量爬取天貓商品sku、價格、評價數據

然後在軟件右上角的下載歷史按鈕裡,可以查到存儲路徑,根據路徑找到數據包,查看數據表。

批量爬取天貓商品sku、價格、評價數據

五、進一步爬取天貓商品詳情頁數據和天貓商品評論數據

前面下載的數據表裡的商品網址就是詳情頁面的網址,這時,可以切換到“天貓商品詳情采集”,把前面採集到的數據表裡的商品網址批量拷貝添加進去,再啟動採集。

批量爬取天貓商品sku、價格、評價數據

批量爬取天貓商品sku、價格、評價數據

採集到的天貓商品詳情信息如下圖所示,通過“天貓商品詳情采集”可以爬取到商品具體的月銷量和庫存量等詳細信息

批量爬取天貓商品sku、價格、評價數據

同樣的,因為商品評論也在詳情頁裡,如果我們要採集商品的評論信息,可以切換到“天貓商品評論採集”,因為一條商品詳情頁網址裡會有很多頁評論,所以需要先選擇爬取頁數,再從表裡拷貝要採集的商品網址添加進去,啟動採集。

批量爬取天貓商品sku、價格、評價數據

採集到的天貓商品評論信息如下圖所示,要注意的是,天貓商品的評論也是有限制的,最多隻能顯示100頁,如果要爬多點評論數據,可以隔一段時間爬一次。

批量爬取天貓商品sku、價格、評價數據


分享到:


相關文章: