在網
上有很多精彩的技術博客文章，我們可以把它爬取下來，保存在本地磁盤，可以很方便以後閱讀和學習，現在我們就用python編寫一段爬蟲代碼，來實現這個目的。
我們想要做的事情：自動讀取博客文章，記錄標題，把心儀的文章保存到個人電腦硬盤裡供以後學習參考。
過程大體分為以下幾步：
1. 找到爬取的目標網址；
2. 分析網頁，找到自已想要保存的信息，這裡我們主要保存是博客的文章內容；
3. 清洗整理爬取下來的信息，保存在本地磁盤。
打開csdn的網頁，作為一個示例，我們隨機打開一個網頁：
http://blog.csdn.net/u013088062/article/list/1。
可以看到，博主對《C++卷積神經網絡》和其它有關機計算機方面的文章都寫得不錯。
爬蟲代碼按思路分為三個類（class），下面3個帶“#”的分別給出了每一個類的開頭（具體代碼附後，供大家實際運行實現）：
採用“類（class）”的方式屬於Python的面向對象編程，在某些時候比我們通常使用的面向過程的編程方便，在大型工程中經常使用面向對象編程。對於初學者來說，面向對象編程不易掌握，但是經過學習習慣之後，會逐步慢慢從面向過程到面向對象編程過渡。
特別注意的是，RePage類主要用正則表達式處理從網頁中獲取的信息，正則表達式設置字符串樣式如下：
用正則表達式去匹配所要爬取的內容，用Python和其它軟件工具都可以實現。正則表達式有許多規則，各個軟件使用起來大同小異。用好正則表達式是爬蟲和文本挖掘的一個重要內容。
SaveText類則是把信息保存在本地，效果如下：
用python編寫爬蟲代碼，簡潔高效。這篇文章僅從爬蟲最基本的用法做了講解，有興趣的朋友可以下載代碼看看，希望大家從中有收穫。
附相關Python代碼：
1#-*-coding:UTF-8-*-
2import re
3import urllib2
4import sys
5#目的：讀取博客文章，記錄標題，用Htnl格式保存存文章內容
6#版本：python2.7.13
7#功能：讀取網頁內容
8class GetHtmlPage():
9 #注意大小寫
10 def __init__(self,strPage):
11 self.strPapge = strPage
12 #獲取網頁
13 def GetPage(self):
14 req = urllib2.Request(self.strPapge) # 建立頁面請求
15 rep = req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0")
16 try:
17 cn = urllib2.urlopen(req) #網頁請求
18 page = cn.read() #讀網頁
19 uPage = page.decode("utf-8") #網頁編碼
20 cn.close()
21 return uPage
22 except urllib2.URLError, e: #捕獲異常
23 print 'URLError:', e.code
24 return
25 except urllib2.HTTPError, e: #捕獲異常
26 print 'HTTP Error:' + e.reason
27 return
28 return rePage
29#正則表達式，獲取想要的內容
30class RePage():
31#正則表達式提取內容，返回鏈表
32 def GetReText(self,page,recode):
33 rePage = re.findall(recode,page,re.S)
34 return rePage
35#保存文本
36class SaveText():
37 def Save(self,text,tilte):
38 try:
39 t="blog\"+tilte+".html"
40 f = file(t,"a")
41 f.write(text)
42 f.close()
43 except IOError,e:
44 print e.message
45if __name__ == "__main__":
46 s = SaveText()
47 #文件編碼
48 #字符正確解碼
49 reload(sys)
50 sys.setdefaultencoding( "utf-8" ) #獲得系統的默認編碼
51 #獲取網頁
52 page = GetHtmlPage("http://blog.csdn.net/u013088062/article/list/1")
53 htmlPage = page.GetPage()
54 #提取內容
55 reServer = RePage()
56 reBlog = reServer.GetReText(htmlPage,r'.*?(\s.+?)') #獲取網址鏈接和標題
57 #再向下獲取正文
58 for ref in reBlog:
59 pageHeard = "http://blog.csdn.net/" #加鏈接頭
60 strPage = pageHeard+ref[0]
61 tilte=ref[1].replace('[置頂]', "") #用替換的功能去除雜的英文
62 tilte=tilte.replace("\r\n","").lstrip().rstrip()
63 #獲取正文
64 htmlPage = GetHtmlPage(strPage)
65 htmlPageData = htmlPage.GetPage()
66 reBlogText = reServer.GetReText(htmlPageData,'
(.+?)
')
67 #保存文件
68 for s1 in reBlogText:
69 s1='\n'+s1
70 s.Save(s1,tilte)
閱讀更多 糖寶Python 的文章
