爬取目標
本文將提取貓眼電影 TOP100 排行榜的電影名稱、時間、評分、圖片等信息，URL 為http://maoyan.com/board/4，提取的結果我們以 excel 格式保存下來。
準備工作
保證電腦安裝了 python3.6 和已經安裝好了 requests 庫、beautifulsoup 庫和 openpyxl 庫。
前期安裝步驟可以參考：https://germey.gitbooks.io/python3webspider/1-%E5%BC%80%E5%8F%91%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AE.html
爬取分析
打開http://maoyan.com/board/4我們會發現榜單主要顯示 4 個數據：電影名、主演、上映時間和評分。
如圖所示：
貓眼榜單
網頁下滑到最下方可以發現有分頁的列表，我們點擊一下第二頁會發現頁面的 URL 變成了http://maoyan.com/board/4?offset=10，比之前的頁面多了一個 offset=10 的參數，而且頁面顯示的是排行 11-20 名的電影。
由此我們可以總結出規律，offset 代表了一個偏移量值，如果偏移量為 n，則顯示的電影序號就是 n+1 到 n+10，每頁顯示 10 個。所以我們如果想獲取 TOP100 電影，只需要分開請求 10 次，而 10 次的 offset 參數設置為 0，10，20，…，90 即可，這樣我們獲取不同的頁面結果之後再用正則表達式提取出相關信息就可以得到 TOP100 的所有電影信息了。
抓取首頁
1import requests
2def get_one_page(url):
3 response = requests.get(url)
4 if response.status_code == 200:
5 return response.text
6 return None
7def main():
8 url = 'http://maoyan.com/board/4'
9 html = get_one_page(url)
10 print(html)
11main()
這樣我們就可以獲取首頁的源代碼了，獲取源代碼之後我們要對頁面進行解析，提取出我們想要的信息。
使用 BeautifulSoup 進行提取
接下來我們回到網頁看一下頁面的真實源碼，在開發者工具中 Network 監聽（建議使用谷歌瀏覽器，按 F12 即可查看網頁信息），然後查看一下源代碼。如圖所示：
源代
碼1
注意這裡不要在 Elements 選項卡直接查看源碼，此處的源碼可能經過 JavaScript 的操作而和原始請求的不同，我們需要從Network選項卡部分查看原始請求得到的源碼。
查看其中的一條源代碼如圖所示：
源代碼2
可以看到電影名、主演、上映時間和評分分別在屬性 class="name"、class="star"、class="release" 和 class="score"的文本中
那麼我們可以用 BeautifulSoup 的方法進行提取： 1def parse_one_page(html):
2 soup = bs4.BeautifulSoup(html, 'lxml')
3 # 獲取電影名
4 movies = []
5 targets = soup.find_all(class_='name')
6 for each in targets:
7 movies.append(each.get_text())
8 # 獲取評分
9 scores = []
10 targets = soup.find_all(class_='score')
11 for each in targets:
12 scores.append(each.get_text())
13 # 獲取主演信息
14 star_message = []
15 targets = soup.find_all(class_='star')
16 for each in targets:
17 star_message.append(each.get_text().split('\n')[1].strip())
18 print(each.get_text().split('\n')[1].strip())
19 # 獲取上映時間
20 play_time = []
21 targets = soup.find_all(class_='releasetime')
22 for each in targets:
23 play_time.append(each.get_text())
24 result = []
25 length = len(movies)
26 for j in range(length):
27 result.append([movies[j], scores[j], star_message[j], play_time[j]])
28 return result
這樣我們就成功的將一頁的 10 個電影信息都提取出來了
寫入文件
隨後我們將提取的結果做成 excel 表格形式
1def save_to_excel(result):
2 wb = openpyxl.Workbook()
3 ws = wb.active
4 ws['A1'] = '電影名稱'
5 ws['B1'] = '評分'
6 ws['C1'] = '主演'
7 ws['D1'] = '上映時間'
8 for item in result:
9 ws.append(item)
10 wb.save('貓眼電影TOP100.xlsx')
分頁爬取
但我們需要爬取的數據是 TOP100 的電影，所以我們還需要遍歷一下給這個鏈接傳入一個 offset 參數，實現其他 90 部電影的爬取
1for i in range(10):
2 headers = {
3 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36',
4 }
5 url = 'http://maoyan.com/board/4?offset=' + str(i * 10)
6 html = get_one_page(url, headers)
7 result.extend(parse_one_page(html))
整合代碼
到此為止，我們的貓眼電影 TOP100 的爬蟲就全部完成了，再稍微整理一下，完整的代碼如下：
1import requests
2import bs4
3from requests.exceptions import RequestException
4import openpyxl
5def get_one_page(url, headers):
6 try:
7 response = requests.get(url, headers=headers)
8 if response.status_code == 200:
9 return response.text
10 return None
11 except RequestException:
12 return None
13def parse_one_page(html):
14 soup = bs4.BeautifulSoup(html, 'lxml')
15 # 獲取電影名
16 movies = []
17 targets = soup.find_all(class_='name')
18 for each in targets:
19 movies.append(each.get_text())
20 # 獲取評分
21 scores = []
22 targets = soup.find_all(class_='score')
23 for each in targets:
24 scores.append(each.get_text())
25 # 獲取主演信息
26 star_message = []
27 targets = soup.find_all(class_='star')
28 for each in targets:
29 star_message.append(each.get_text().split('\n')[1].strip())
30 print(each.get_text().split('\n')[1].strip())
31 # 獲取上映時間
32 play_time = []
33 targets = soup.find_all(class_='releasetime')
34 for each in targets:
35 play_time.append(each.get_text())
36 result = []
37 length = len(movies)
38 for j in range(length):
39 result.append([movies[j], scores[j], star_message[j], play_time[j]])
40 return result
41def save_to_excel(result):
42 wb = openpyxl.Workbook()
43 ws = wb.active
44 ws['A1'] = '電影名稱'
45 ws['B1'] = '評分'
46 ws['C1'] = '主演'
47 ws['D1'] = '上映時間'
48 for item in result:
49 ws.append(item)
50 wb.save('貓眼電影TOP100.xlsx')
51def main():
52 result = []
53 for i in range(10):
54 headers = {
55 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36',
56 }
57 url = 'http://maoyan.com/board/4?offset=' + str(i * 10)
58 html = get_one_page(url, headers)
59 result.extend(parse_one_page(html))
60 save_to_excel(result)
61if __name__ == '__main__':
62 main()
運行結果如下圖：
爬取結果
結語
本文參考崔慶才的《Python3 網絡爬蟲開發實戰》代碼部分將正則表達式解析換成 BeautifulSoup 解析。
本代碼還有改進的地方，比如解析代碼時有些代碼重複了，使用的單進程爬取速度較慢，最近 requests 的作者新開發了一個庫 request-html，集網頁獲取與解析與一體，使爬取更簡單。有興趣的可以看看官方文檔傳送門。希望大家多多交流。
福利：私信回覆 python 即可獲得 python 全套資料
彩蛋
各位可以依葫蘆畫瓢爬取豆瓣 TOP250 電影
閱讀更多 waspvae 的文章
