Python爬蟲入門（6）：Cookie的使用

大家好哈，上一節我們研究了一下爬蟲的異常處理問題，那麼接下來我們一起來看一下Cookie的使用。

為什麼要使用Cookie呢？

Cookie，指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據（通常經過加密）

比如說有些網站需要登錄後才能訪問某個頁面，在登錄之前，你想抓取某個頁面內容是不允許的。那麼我們可以利用Urllib2庫保存我們登錄的Cookie，然後再抓取其他頁面就達到目的了。

在此之前呢，我們必須先介紹一個opener的概念。

1.Opener

當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)。在前面，我們都是使用的默認的opener，也就是urlopen。它是一個特殊的opener，可以理解成opener的一個特殊實例，傳入的參數僅僅是url，data，timeout。

如果我們需要用到Cookie，只用這個opener是不能達到目的的，所以我們需要創建更一般的opener來實現對Cookie的設置。

cookielib模塊的主要作用是提供可存儲cookie的對象，以便於與urllib2模塊配合使用來訪問Internet資源。 Cookielib模塊非常強大，我們可以利用本模塊的CookieJar類的對象來捕獲cookie並在後續連接請求時重新發送，比如可以實現模擬登錄 功能。該模塊主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它們的關係：CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar

1）獲取Cookie保存到變量

首先，我們先利用CookieJar對象實現獲取cookie的功能，存儲到變量中，先來感受一下

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

import urllib2

import cookielib

#聲明一個CookieJar對象實例來保存cookie

cookie = cookielib.CookieJar()

#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器

handler=urllib2.HTTPCookieProcessor(cookie)

#通過handler來構建opener

opener = urllib2.build_opener(handler)

#此處的open方法同urllib2的urlopen方法，也可以傳入request

response = opener.open('http://www.baidu.com')

for item in cookie:

print 'Name = '+item.name

print 'Value = '+item.value

我們使用以上方法將cookie保存到變量中，然後打印出了cookie中的值，運行結果如下

Python

1

2

3

4

5

6

7

8

9

10

Name

=

BAIDUID

Value

=

B07B663B645729F11F659C02AAE65B4C:FG=1

Name

=

BAIDUPSID

Value

=

B07B663B645729F11F659C02AAE65B4C

Name

=

H_PS_PSSID

Value

=

12527_11076_1438_10633

Name

=

BDSVRTM

Value

=

0

Name

=

BD_HOME

Value

=

0

2）保存Cookie到文件

在上面的方法中，我們將cookie保存到了cookie這個變量中，如果我們想將cookie保存到文件中該怎麼做呢？這時，我們就要用到

FileCookieJar這個對象了，在這裡我們使用它的子類MozillaCookieJar來實現Cookie的保存

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

import cookielib

import urllib2

#設置保存cookie的文件，同級目錄下的cookie.txt

filename = 'cookie.txt'

#聲明一個MozillaCookieJar對象實例來保存cookie，之後寫入文件

cookie = cookielib.MozillaCookieJar(filename)

#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器

handler = urllib2.HTTPCookieProcessor(cookie)

#通過handler來構建opener

opener = urllib2.build_opener(handler)

#創建一個請求，原理同urllib2的urlopen

response = opener.open("http://www.baidu.com")

#保存cookie到文件

cookie.save(ignore_discard=True, ignore_expires=True)

關於最後save方法的兩個參數在此說明一下：

官方解釋如下：

ignore_discard: save even cookies set to be discarded.

ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists

由此可見，ignore_discard的意思是即使cookies將被丟棄也將它保存下來，ignore_expires的意思是如果在該文件中 cookies已經存在，則覆蓋原文件寫入，在這裡，我們將這兩個全部設置為True。運行之後，cookies將被保存到cookie.txt文件中， 我們查看一下內容，附圖如下

3）從文件中獲取Cookie並訪問

那麼我們已經做到把Cookie保存到文件中了，如果以後想使用，可以利用下面的方法來讀取cookie並訪問網站，感受一下

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

import

cookielib

import

urllib2

#創建MozillaCookieJar實例對象

cookie

=

cookielib.MozillaCookieJar()

#從文件中讀取cookie內容到變量

cookie.load('cookie.txt',

ignore_discard=True,

ignore_expires=True)

#創建請求的request

req

=

urllib2.Request("http://www.baidu.com")

#利用urllib2的build_opener方法創建一個opener

opener

=

urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

response

=

opener.open(req)

print

response.read()

設想，如果我們的 cookie.txt 文件中保存的是某個人登錄百度的cookie，那麼我們提取出這個cookie文件內容，就可以用以上方法模擬這個人的賬號登錄百度。

4）利用cookie模擬網站登錄

下面我們以我們學校的教育系統為例，利用cookie實現模擬登錄，並將cookie信息保存到文本文件中，來感受一下cookie大法吧！

注意：密碼我改了啊，別偷偷登錄本宮的選課系統 o(╯□╰)o

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

import

urllib

import

urllib2

import

cookielib

filename

=

'cookie.txt'

#聲明一個MozillaCookieJar對象實例來保存cookie，之後寫入文件

cookie

=

cookielib.MozillaCookieJar(filename)

opener

=

urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

postdata

=

urllib.urlencode({

'stuid':'201200131012',

'pwd':'23342321'

})

#登錄教務系統的URL

loginUrl

=

'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login'

#模擬登錄，並把cookie保存到變量

result

=

opener.open(loginUrl,postdata)

#保存cookie到cookie.txt中

cookie.save(ignore_discard=True,

ignore_expires=True)

#利用cookie請求訪問另一個網址，此網址是成績查詢網址

gradeUrl

=

'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre'

#請求訪問成績查詢網址

result

=

opener.open(gradeUrl)

print

result.read()

以上程序的原理如下

創建一個帶有cookie的opener，在訪問登錄的URL時，將登錄後的cookie保存下來，然後利用這個cookie來訪問其他網址。

如登錄之後才能查看的成績查詢呀，本學期課表呀等等網址，模擬登錄就這麼實現啦，是不是很酷炫？

好，小夥伴們要加油哦！我們現在可以順利獲取網站信息了，接下來就是把網站裡面有效內容提取出來，下一節我們去會會正則表達式！

更多編程入門教程資源盡在夢幫客教程網電腦端（www.dreambangke.com），分享給想學習編程開發的同學。