女神不是那麼好爬的,每天都搞得面紅耳赤心塞塞。各位自備zi jin啊!
首先用Python 2.7和3.6爬取妹子圖網站單頁測試圖片
一、url= http://www.mzitu.com/74100/x,2為1到23的值
二、用到模塊 os 創建文件目錄; re模塊正則匹配目錄名 圖片下載地址; time模塊 限制下載時間;requests模塊獲取網頁源代碼;urllib模塊 urllib.urlretrieve(圖片url,保存的帶擴展名的文件名x.jpg)方法下載圖片
三、知識點 文件目錄處理 函數封裝調用 全局變量
四、上代碼
繼續再來爬取“女神吧”女神
來來來上代碼:
結果來了:
嗨呀,這個爬蟲還是有點不完善,除了幾個女神的圖片外還多了一些不知道啥玩意的東西,不過總的來說還是爬到了女神,
我們要少一些功利主義的追求,多一些不為人知的堅持!
最近比較愛好新恆結衣,被大隻蘿莉萌的一臉一臉的,我們來百度一波新恆結衣,蒐羅女神的皂片。
這個案例主要分為:下載簡單頁面、爬取多張圖片、頁面解碼、爬取過程排錯處理4個部分。
一、下載簡單頁面
其中urlretrieve方法,直接將遠程數據下載到本地。
小夥伴需要資料的話可以在後臺私信回覆我01,系統檢測到關鍵字自動發送。
閱讀更多 人生苦短我用派森 的文章