喜歡看小說的騷年們都知道，總是有一些小說讓人耳目一新，不管是仙俠還是玄幻，前面更了幾十章就成功圈了一大波粉絲，成功攀上飆升榜，熱門榜等各種榜，扔幾個栗子出來：
新筆趣閣是廣大書友最值得收藏的網絡小說閱讀網,網站收錄了當前......我就不打廣告了（其他滿足下文條件的網站也行，之前已經有做過簡單爬取章節的先例了，但效果不太理想，有很多不需要的成分被留下了，來鏈接：http://www.bxquge.com/。我們本文就爬取這個網站的上千本小說。重點在和大家一起分享一些爬蟲的思路和一些很常遇到的坑。
本文的行文脈絡：
1、先構造一個單本的小爬蟲練練手；
2、簡要分享一下安裝MongoBD數據庫時的幾個易錯問題；
3、運用Scrapy框架爬取新筆趣閣全站排行榜。
全部代碼可以在公眾號後臺回覆“小說”獲取。
一、爬取單本小說
爬取該網站相對來講還是很容易的，打開編輯器（推薦使用PyCharm，功能強大），首先引入模塊urllib.request(Python2.x的引入urllib和urllib2即可，待會我把2.x的也寫出來給大家看看)，給出網站URL，寫下請求，再添加請求頭（雖然這個網站不封號，但作者建議還是要養成每次都寫請求頭的習慣，萬一那天碰到像豆瓣似的網站，一不留神就把你封了）話不多說，直接上代碼：
#coding:utf-8import urllib.requesturl = "http://www.bxquge.com/3_3619/10826.html"headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 \\ (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'}request = urllib.request.Request(url,headers=headers)
然後再將請求發送出去，定義變量response，用read（）方法觀察，注意將符號解碼成utf-8的形式，省的亂碼：
#coding:utf-8import urllib.requesturl = "http://www.bxquge.com/3_3619/10826.html"headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 \\ (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'}request = urllib.request.Request(url,headers=headers)response = urllib.request.urlopen(request)html = response.read()html = html.decode("utf-8")print(html)
打印一下看結果：
看到這麼一大條就對嘍，對比一下網頁源碼，發現是一致的。
這步觀察很重要，因為這就說明該網站沒有使用AJAX異步加載，否則就要開始抓包的工作了，這個我們留著分析動態網站時候再說。建議大家在沒有更好的方法時使用。之前記得確實有直接判斷的方法，然而一不小心忘記了，有知道的讀者還請發給我哦。
我們現在得到了網站的response，接下來就是對我們想要獲取的數據進行解析、提取，但等等，考慮到我們要爬取大量小說，不搞一個數據庫存儲真是太失敗了，作者推薦MongoDB數據庫，屬於NOSQL類型數據庫，以文檔存儲為主，這裡用來爬小說真是太適合不過了。但安裝起來需要一定的程序，想要試著做做的騷年可以參考一下下載和安裝教程，參考鏈接：http://blog.csdn.net/u011262253/article/details/74858211，在安裝好後為方便啟動，可以添加環境變量，但這裡有個坑，你要先打開mongod(注意是mongodb，別一上來就打開mongo)，然後需要準確添加dbpath路徑，不然打開很容易就會失敗，上圖上圖：
失敗狀態
成功狀態
添加路徑後成功連接，出現waiting for connections on port 27017，則表示數據庫連接成功，而後就不要關掉這個終端了，只有保持數據庫是連接的，才可運行MongoDB數據庫（不然報錯你都不知道自己是怎麼死的）
好了，連接好數據庫後，我們將數據庫與編輯器進行交互鏈接，位置很隱秘，在File>>Settings>>Plugins下添加組件Mongo Plugin，沒有就下載一個：
盜個圖
我們在編輯器內編寫代碼，引入Python專門用來與MongoDB交互的模塊pymongo，然後在最上面鏈接MongoDB數據庫的端口，默認是27017，我們先創建一個叫做reading的數據庫，然後在reading內新建一個叫做sheet_words的數據表，代碼如下：
#coding:utf-8import pymongoimport urllib.requestclient = pymongo.MongoClient('localhost',27017)reading = client['reading']sheet_words = reading['sheet_words']
我們先找一個叫做《修羅武神》的小說來練練手，個人來講，我很討厭看小說時來回的翻頁，有時候還跳出廣告，這時候我還得返回去重新翻頁，作為一名懶得不行的懶人，我想到要是把整部小說放進一個文檔裡再看不就好了麼，但要是一章一章的複製粘貼我想還是算了吧，這時候你就知道爬蟲是有多麼便捷了。好，現在我們要做的是把《修羅武神》這部小說完整的爬取下來，並在數據庫中備份。我們回到剛才停留的地方，在得到response後，我們應該選用一種方法來解析網頁，一般的方法有re,xpath,selector(css),建議新手使用xpath而不是re,一是因為re用不好很容易導致錯誤，“當你決定用正則表達式解決問題時，你有了兩個問題。”，相比較xpath才是步驟明確，十分穩妥；二是在Firefox，Chrome等瀏覽器中可以直接複製xpath路徑，大大的減少了我們的工作量，上圖：
如果你決定使用xpath之後，我們需要從lxml中引入etree模塊,然後就可以用etree中的HTML()方法來解析網頁了，從網頁>檢察元素（F12）中複製下來我們所需數據的路徑，我選擇的是小說每章的標題和內容，上圖，上圖：
路徑//div[@class="readAreaBox content"]/h1/text()
路徑/html/body/div[4]/div[2]/div[2]/div[1]/div[2]/text()
注意注意，又來一個坑，當你複製xpath時得到的是這個東東：
//div[@class="readAreaBox content"]/h1
和這個東東;
/html/body/div[4]/div[2]/div[2]/div[1]/div[2]
但你需要的是這個路徑裡的文本text，故我們需要另外添加具體文本：/text()，然後就像上面那樣啦。上代碼，查數據：
url = 'http://www.17k.com/list/493239.html'response = urllib.request.urlopen(url)html = response.read().decode("utf-8")tree = etree.HTML(html)dom = tree.xpath('//a[@target="_blank"][@title]/@href')for i in dom: data = { 'words':"http://www.17k.com" + i } sheet_words.insert_one(data)# $lt/$lte/$gt/$gte/$ne，依次等價於<=/>/>=/!=。（l表示less g表示greater e表示equal n表示not ）try: os.mkdir("修羅武神小說")except FileExistsError: passos.chdir("修羅武神小說")for item in sheet_words.find(): filename = "修羅武神" with open( filename,"a+") as f: contents = urllib.request.urlopen(item["words"]) responses = contents.read().decode("utf-8") trees = etree.HTML(responses) title = trees.xpath('//div[@class="readAreaBox content"]/h1/text()') word = trees.xpath("/html/body/div[4]/div[2]/div[2]/div[1]/div[2]/text()") a = ''.join(title) b = ''.join(word) f.write(a) f.write(b) #print(''.join(title))
小說有點大，一共是三千五百章，等個大約4-7分鐘吧，打開文件夾《修羅武神小說》，就可以看到我們下載好的無需翻頁的一整部小說，數據庫內頁備份好了每章的鏈接，它自動從零開始排的，就是說你要看第30章就得打開序號為29的鏈接，這個調一下下載時的順序就好了，作者很懶，想要嘗試下的讀者可以自行更改。
小說文本
數據庫連接
看看，感覺還不錯吧，好的小例子講完了，接下來我們準備進入正題。
我們要像上面的例子那樣爬取整個網站，當然這裡就不再建議使用普通的編輯器來來執行了，聰明的讀者已經發現，一部小說爬了4分鐘，那麼上千本不說，單單是一組排行榜裡的100本就夠爬好一會了，這就顯示出Scripy框架的作用，用專門的Scripy框架寫工程類爬蟲絕對快速省力，是居家寫蟲的必備良藥哇。
二、爬取小說榜所有小說
首先安裝Scrapy的所有組件，建議除pywin32以外都用pip安裝,不會的話度娘吧，很簡單的，pywin32需要下載與你所用Python版本相同的安裝文件。
來連接：https://sourceforge.net/projects/pywin32/
image
Scrapy插件安裝成功
然後還是老規矩，不想每次終端運行都一點一點找路徑的話，就將根目錄添加到環境變量，然後打開終端，我們測試一下是否安裝成功：
Scrapy安裝成功
好，安裝完畢後，打開終端，新建一個Scrapy工程，這裡你可以根據索引，選擇使用Scrapy的各種功能，這裡不一一詳解了，D盤內已經出現了我們建立好的Scrapy工程文件夾：
打開文件夾，我們會看到Scrapy框架已經自動在reading文件夾中放置了我們所需的一切原材料：
打開內部reading文件夾，就可以在spiders文件夾中添加爬蟲py代碼文件了：
我們這裡定向爬小說排行榜，除了我們寫的spider文件，還要在items.py中定義我們要爬取的內容集，有點像詞典一樣，名字可以隨便取，但已有的繼承類scrapy.Item可不能改，這是Scrapy內部自定義的類，改了它可找不到，spider就用我們上面抓取單本再加一個for循環就OK了，十分簡單，一言不合就上圖：
# -*- coding: utf-8 -*-import scrapyimport urllib2from lxml import etreeimport osfrom reading.items import ReadingSpiderItemimport sysreload(sys)sys.setdefaultencoding('utf-8')class ReadingspiderSpider(scrapy.Spider): name = 'bigreadingSpider'#爬蟲名 allowed_domains = ['http://www.xinbiquge.com/']#總域 start_urls = ['http://www.bxquge.com/paihangbang/']#起始頁 def parse(self, response): sel = scrapy.selector.Selector(response)#解析域 for i in range(2,10): path = '//*[@id="main"]/table[' +str(i)+ ']/tbody/tr[1]/td[2]/span'#排行榜路徑 sites = sel.xpath(path) items = [] for site in sites:#按9個排行榜爬取 item = ReadingSpiderItem() path_list_name = '//*[@id="main"]/table[' +str(i)+ ']/tbody/tr[1]/td[2]/span/text()' item['list_name'] = site.xpath(path_list_name).extract()#排行榜名稱 try: os.mkdir(item['list_name'][0]) except IOError: pass os.chdir(item['list_name'][0]) for li in range(1,21): title = '//*[@id="tb' + str(i-1) + '-1"]/ul/li['+str(li)+']/a/text()' item['name'] = site.xpath(title).extract()#書名 url = 'http://www.bxquge.com/' path_link = '//*[@id="tb'+ str(i-1) +'-1"]/ul/li[' + str(li) + ']/a/@href'#書目鏈接 item['link'] = site.xpath(path_link).extract() full_url = url + item['link'][0] headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 \\ (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063'} #request = urllib2.Request(''.join(item['link']),headers=headers) request = urllib2.Request(full_url,headers=headers) try: os.mkdir(item['name'][0]) except IOError: pass os.chdir(item['name'][0]) response = urllib2.urlopen(request).read().decode('utf-8') tree = etree.HTML(response) for j in range(1,11): path_title = '//*[@id="list"]/dl/dd['+ str(j) +']/a/text()' item['title'] = tree.xpath(path_title)#章節名 path_words_page = '//*[@id="list"]/dl/dd['+ str(j) +']/a/@href' word_page = tree.xpath(path_words_page) try: url_words = full_url + word_page[0] request_words = urllib2.Request(url_words,headers=headers) response_words = urllib2.urlopen(request_words).read().decode('utf-8') tree_words = etree.HTML(response_words) path_words = '//*[@id="content"]/text()' item['words'] = tree_words.xpath(path_words)#前20章內容 except urllib2.HTTPError: pass items.append(item) try: filename = r''.join(item['title'][0]) + '.json' with open(filename,"a+") as f: a = ''.join(item['title']) b = ''.join(item['words']) f.write(a) f.write(b) except IOError: pass path_now = os.getcwd() path_last = os.path.dirname(path_now) os.chdir(path_last) path_now = os.getcwd() path_last = os.path.dirname(path_now) os.chdir(path_last)
Python的確是一個激動人心的功能強大的語言。Python那種性能和特性的恰到好處的組合讓使用Python編程既有趣又簡單。
好了就不說廢話了，現在給你們分享我的Python學習資料嘍！
閱讀更多 雯Ping 的文章
