最近這兩天小編的朋友圈被刷爆了~什麼朴樹終於更新微博了啊~什麼曲婉婷發表長微博,為媽媽發聲,哇~感覺一覺醒來過去了二十年啊,我都錯過了什麼?
今天小編就教大家如何用Python去爬取微博的全部內容
用Python編寫爬蟲,爬取微博大V的微博內容,本文以女神(趙麗穎)的微博為例
一般做爬蟲爬取網站,首選的都是m站(手機端),其次是wap站,最後考慮PC站。當然,這不是絕對的,有的時候PC站的信息最全,而你又恰好需要全部的信息,那麼PC站是你的首選。一般m站都以m開頭後接域名,所以本文開搞的網址就是 m.weibo.cn。
開始~激動人心的時刻開始了
第一步
定義頁面打開函數
第二步
獲取大V的個人信息
第三步
獲取微博內容信息,並保存到文本中
第四步
定義大V的IP和設置代理IP
第五步
運行並查看結果
閱讀更多 Python一Devil 的文章