前言:
最近迷上了一款遊戲,但是作為一名程序員的我是不可能只玩遊戲的,我必須把它的官網數據採集下來!
環境:
- windows
- python3.6.5
模塊:
- requests
- jsonpath
- pygal
至於是什麼game,從上圖很多人已經知道了,我看了一下有很多種類的武器,我的第一想法是把所有的武器圖片以及名字利用python爬蟲採集下來,後來發現我能做更多的事情。
可以發現每一個li標籤都包含了咱們一個數據的信息,但是別忘了我們在這裡看到的是瀏覽器以及JS渲染過的源代碼,我們必須看它的網頁源碼中是否包含我們想要的信息:
果然沒有,那麼開始抓包吧,應該是利用API實現的數據交互。果然數據都可以在API中被抓到
可以從下圖就發現mc94標籤保存的是咱們的武器名字,還有其它一些標籤保存了一些介紹性能,但是最關鍵的在於79和f2標籤保存了咱們的槍支數據!由zds(子彈數)40與30的差距得知,這個就是有沒有裝彈夾嘛。
那麼我們就獲取滿配的數據ldt_79的數據
獲取這個數據有什麼用?你們見過雷達圖嘛?
部分源碼學習:
Python爬蟲部分的源碼我就不給了,自己慢慢琢磨!
閱讀更多 青燈教育Python學院 的文章