2.要会进行抓包分析，会使用浏览器自带的开发者工具。网页中有些数据是动态加载的，只在请求网页时才加载数据，在网页源码中是不显示的，所以你需要会进行抓包分析，解析json数据等。我们经常模拟登录时，也需要进行抓包分析，需要post提交哪些内容等，只有在抓包分析后，才能构建相关提交数据：
3.防止被禁掉。短时间内频繁的访问服务器，很有可能会被服务器识别为爬虫，禁掉IP，这个时候你就需要使用IP代理池等，尽可能不被服务器发现。
4.存储数据。爬取下来的数据，我们需要进行存储，如果数据量大的话，这个时候你就需要了解一些常用的数据库的使用，像mysql，mongodb等，方便查询也方便管理：
5.最后就是学一些爬虫常用的框架，可以明显提高开发效率，避免重复造轮子，像python的开源爬虫框架scrapy等，使用起来也更快捷：
我要说的就是这几点，只要你认真的学习一下，查找查找相关资料和教程，一定会有大的收获，希望以上分享的内容能对你有所帮助吧。
分享到:
