就在昨天,知名女作家“六六”在微博發出這樣的文章
這是在微博頭條上所發的:https://weibo.com/ttarticle/p/show?id=2309404217132555625111
小編大概看了一下原因就是六六女士的朋友在京東全球購第三方商家訂購了一款美國的護腰枕,但是受到的是不同品牌的東西,並且投訴也沒有解決就發出了這篇文章,然後就在今天,京東客服發表了一篇微博~讓小編直接就蒙了,
那麼到底是誰對誰錯呢?小編其實也不像多加評論。
今天小編帶著大家用Python爬取京東的商品評論~雖然不能讓大家杜絕這類事情~但是還是可以讓你選擇到更好的商品
不用擔心源碼~在文章最後評論或私信小編“教練~我想學這個”獲取源碼
1.分析網頁信息
本文在進行各項操作時同樣以小米6為例,首先打開京東上小米6銷量最高的某店鋪,在火狐瀏覽器下按F12查看網頁詳細信息。在網絡模式下定位加載商品評論信息的JS頁面,找到文件名帶ProductPageComment關鍵詞,域名為club.jd.com的腳本頁面,選中該頁面,在右側點擊預覽,如下圖所示:
由上圖可以判斷該頁面即為加載商品評論信息的JS頁面。然後,我們在右側點擊消息頭,可以看到該JS頁面的請求網站,如下圖所示:
複製該請求網址,並在瀏覽器中打開,如下圖所示:
我們接下來的任務就是從該網址中提取出我們想要的信息。通過分析該頁面數據信息可以發現,該頁面數據信息的結構是:fetchJSON_comment98vv337(JSON格式數據),我們在通過JSON方式提取頁面信息時,需要先過濾掉無關信息,如jsondata = html[27:-2]這樣的方式。過濾之後可以得到純JSON格式數據,通過和原網頁數據進行對比分析可以發現,該JSON數據中的“referenceName”屬性對應的是商品全名(商品名+關鍵參數信息),“creationTime”屬性對應的是用戶評論時間,“content”屬性對應的是用戶評論內容。下面就將根據以上分析得到的結果編寫Python代碼提取商品評論數據,並存入MySQL數據庫中。
2.代碼實現
實現代碼如下所示:
數據庫的操作
2.導入模塊等
執行結果如下圖所示:
MySQL數據庫中的數據存儲如下圖所示:
emmmmm小編還是去吃雞腿了~請支持一下小編~關注~收藏~評論~都來吧~小編已經等待暴風雨的到來了
閱讀更多 Python一Devil 的文章