python爬取到的json数据怎么存入到MySQL数据库中?

范清k1ng-bAby


没看到具体错误贴图,应该是json解析错误或mysql插入错误,为了更好的说明问题,这里以爬取人人贷上面的数据为例(json数据),简单介绍一下如何将爬取到的json数据插入到mysql数据库中,你可以对照着参考一下,实验环境win10+python3.6+pycharm2018,主要内容如下:

1.这里假设我们爬取的数据包含以下5个字段,分别是年利率、借款标题、期限、金额和进度:

按F12调出开发者工具,刷新页面,开始抓包,可以看到json文件的结构如下,每个文件包含10条数据,每条数据下又有许多字段信息,后面就是解析这个json文件,提取我们需要的数据:

2.接着就是编写代码爬取上面的json文件并解析,这里主要用到requests和json这2个模块,其中requests用于获取到json文件,json用于解析json文件(主要用到loads这个函数,然后根据字段名依次提取信息就行,这里需要细心些),测试代码如下,非常简单,最终爬取的数据都会存在一个list列表中并返回:

程序运行截图如下,已经成功爬取到数据并打印出来:

3.最后就是将爬取解析出的json数据存储到mysql数据库中,这里主要使用到pymysql这个模块(你也可以使用SQLAlchemy这个框架,都可以),代码及截图如下:

  • 首先,安装pymysql模块,这个直接在cmd窗口输入命令“pip install pymysql”就行,如下,很快就能安装成功:

  • 安装完成后,我们就可以直接编写代码将解析出的json数据插入到mysql数据库中,测试代码如下,非常简单,依次循环列表插入就行,这里需要注意,每次插入后,都需要commit提交,不然数据库不会发生改变:

程序运行截图如下,已经成功插入json数据到mysql数据库中:

至此,我们就完成了利用python将爬取到的json数据插入到mysql数据库中。总的来说,整个过程不难,主要分为2步,首先爬取json数据并解析,接着插入数据到mysql数据库中就行,你好好检查一下你的代码,很有可能是这2步中的某些代码出现错误,导致解析或插入失败,可以尝试着打断点调试一下程序,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言进行补充。


分享到:


相關文章: