批量爬取亞馬遜商品價格、評論信息
一、下載安裝gooseeker爬蟲
爬數據要用配套的gooseeker爬蟲軟件，所以第一步是要訪問官網https://www.gooseeker.com/pro/product.html
下載軟件，然後雙擊安裝，後面的步驟都要在軟件裡操作。
二、訪問數據DIY找到入口
打開gooseeker軟件，訪問https://www.gooseeker.com/res/datadiy.html，進入到數據DIY裡，在頂部的目錄上點擊"電商>亞馬遜>亞馬遜英國商品搜索列表"，這樣就選定了入口；
目錄的第三級是頁面，它代表了支持爬取的網頁結構，在中部有示例頁面的網址，點開可以看到是關於"iphone"商品的搜索列表頁面，滿足這個列表結構的亞馬遜英國商品網頁，都可以用上面的入口來爬數據。
比如要爬取關於"camera"商品的列表信息，可以在示例網頁上方的搜索輸入框中輸入關鍵詞"camera"後點擊搜索，就能搜索得到關於"camera"商品的列表頁網址，要採集什麼商品，都可以通過輸入關鍵詞搜索的方式得到相關商品的列表頁網址。
要注意的是：在搜索輸入框的左側可以選擇搜索的商品範圍，亞馬遜網站在全部分類範圍下（All departments）通過關鍵詞搜索後得到的商品信息只會顯示前20頁的數據，可以通過先選擇一個分類後再輸入關鍵詞搜索，也可以在全部分類範圍下搜索後再通過點擊網頁左側目錄下的分類進行細分，通過這兩種方式都可以把各級分類下的商品信息完整的現實出來，再把各級分類的網址拷貝整理出來。
三、添加網址爬數據
通過以上的方式獲得網址，只有一條商品網址的話，可以直接粘貼到輸入框裡，然後選擇要爬取的頁數，最後點擊獲取數據；
有多條網址的話，先選擇爬取頁數，再點擊"輸入多條網址"按鈕，把多條網址拷貝粘貼進去，最後確定；
添加網址成功後，會提示啟動兩個爬蟲窗口，點啟動，就會看到有兩個爬蟲窗口和一個管理窗口打開；
爬蟲窗口就是一個瀏覽器窗口，它會自動訪問要採集的網址，然後把數據存下來。
四、下載數據
爬蟲窗口沒有再訪問網頁，說明爬取完成了，到管理窗口把數據打包和下載下來。
然後在軟件右上角的下載歷史按鈕裡，可以查到存儲路徑，根據路徑找到數據包，查看數據表。
五、進一步爬取亞馬遜商品的評論信息
前面下載的數據表裡的商品鏈接就是詳情頁面的網址，但是打開一條商品鏈接只能看到幾條評論數據，需要切換到全部評論頁面，點擊詳情頁下評論區的評論數目就能切換到全部評論頁面，這樣就能獲取到全部評論頁面的網址。
按照上面的方式就可以獲取全部評論網址，然後點擊切換到"亞馬遜美國商品評論"，因為一條商品詳情頁網址裡會有很多頁評論，所以需要先選擇爬取頁數，再把獲取到的全部評論的網址添加進評論採集的入口，啟動採集，大致的步驟與上面採集商品列表信息一致。
採集到的亞馬遜商品評論信息如下圖所示，要注意的是，亞馬遜商品的評論也是有限制的，最多隻能顯示100頁，如果要爬多點評論數據，可以隔一段時間爬一次。
同樣的，如果想要採集亞馬遜中國商品信息，就可以換到"電商>亞馬遜>亞馬遜中國商品搜索列表"，按照以上所述的相同方式進行採集。
閱讀更多 語義網絡爬蟲 的文章
