python爬取到的json數據怎麼存入到MySQL數據庫中?

範清k1ng-bAby


沒看到具體錯誤貼圖,應該是json解析錯誤或mysql插入錯誤,為了更好的說明問題,這裡以爬取人人貸上面的數據為例(json數據),簡單介紹一下如何將爬取到的json數據插入到mysql數據庫中,你可以對照著參考一下,實驗環境win10+python3.6+pycharm2018,主要內容如下:

1.這裡假設我們爬取的數據包含以下5個字段,分別是年利率、借款標題、期限、金額和進度:

按F12調出開發者工具,刷新頁面,開始抓包,可以看到json文件的結構如下,每個文件包含10條數據,每條數據下又有許多字段信息,後面就是解析這個json文件,提取我們需要的數據:

2.接著就是編寫代碼爬取上面的json文件並解析,這裡主要用到requests和json這2個模塊,其中requests用於獲取到json文件,json用於解析json文件(主要用到loads這個函數,然後根據字段名依次提取信息就行,這裡需要細心些),測試代碼如下,非常簡單,最終爬取的數據都會存在一個list列表中並返回:

程序運行截圖如下,已經成功爬取到數據並打印出來:

3.最後就是將爬取解析出的json數據存儲到mysql數據庫中,這裡主要使用到pymysql這個模塊(你也可以使用SQLAlchemy這個框架,都可以),代碼及截圖如下:

  • 首先,安裝pymysql模塊,這個直接在cmd窗口輸入命令“pip install pymysql”就行,如下,很快就能安裝成功:

  • 安裝完成後,我們就可以直接編寫代碼將解析出的json數據插入到mysql數據庫中,測試代碼如下,非常簡單,依次循環列表插入就行,這裡需要注意,每次插入後,都需要commit提交,不然數據庫不會發生改變:

程序運行截圖如下,已經成功插入json數據到mysql數據庫中:

至此,我們就完成了利用python將爬取到的json數據插入到mysql數據庫中。總的來說,整個過程不難,主要分為2步,首先爬取json數據並解析,接著插入數據到mysql數據庫中就行,你好好檢查一下你的代碼,很有可能是這2步中的某些代碼出現錯誤,導致解析或插入失敗,可以嘗試著打斷點調試一下程序,希望以上分享的內容能對你有所幫助吧,也歡迎大家評論、留言進行補充。


分享到:


相關文章: