今天 我们来聊一聊小龙虾！

PART1：获得数据

本次数据我们爬取了大众点评中所有打上小龙虾标签的餐厅

从上图中可以看出，我们可以获得餐厅的人均消费、点评数量、推荐菜、评分（口味、环境、服务）等信息，用于我们之后的分析。我们此次总共爬取到了225个城市，6758个餐厅，121.3万条评论。

我们截取其中的部分核心代码：

1. def
2. find_city_page
3. (
4. path
5. ):
6. data
7. =
8. pd
9. .
10. read_excel
11. (
12. path
13. )
14. city_lobster_page
15. =
16. pd
17. .
18. DataFrame
19. ()
20. driver
21. =
22. webdriver
23. .
24. Chrome
25. ()
26. for
27. i
28. in
29. range
30. (
31. 0
32. ,
33. len
34. (
35. data
36. )):
38. try
39. :
40. js
41. =
42. 'window.open("'
43. +
44. data
45. [
46. 'city_lobster_url'
47. ][
48. i
49. ]+
50. '")'
51. driver
52. .
53. execute_script
54. (
55. js
56. )
57. bsObj
58. =
60. BeautifulSoup
61. (
62. driver
63. .
64. page_source
65. ,
66. 'html.parser'
67. )
68. bs
69. =
70. bsObj
71. .
72. find_all
73. (
74. 'a'
75. ,
76. attrs
77. ={
78. 'class'
79. :
80. 'PageLink'
81. })
82. this_city_lobster
83. ={
84. 'city_name'
85. :
86. data
87. [
88. 'city_name'
89. ][
90. i
91. ],
93. 'page_num'
94. :
95. max
96. ([
97. int
98. (
99. l
100. .
101. text
102. )
104. for
105. l
106. in
107. bs
108. ])}
109. city_lobster_page
110. =
111. city_lobster_page
112. .
113. append
114. (
115. this_city_lobster
116. ,
117. ignore_index
118. =
119. True
120. )
122. except
123. :
125. continue
127. return
128. city_lobster_page

PART2: 城市对比

我们首先要进行分析的是各个城市的小龙虾热度，我们以带有“小龙虾”标签的餐厅评论总和作为最终的对比依据，得到的TOP20城市如下：

可以看出上海市的点评数遥遥领先，可能存在以下两个因素：a.上海市的小龙虾餐厅数量较多，本身存在较大的消费群体 b.大众点评总部在上海，上海的商户入驻数量较多。有兴趣的朋友可以进行更深一步的研究。

圈定了TOP20城市后，我们首先看一下TOP20城市小龙虾的人均消费

该项统计中，包邮区占据了靠前的位置，体现出来包邮区对小龙虾的热情和自身的消费水平。同时可以看到株洲的人均消费接近于上海的一半，有机会到湖南旅游的朋友可以考虑到株洲品尝物美价廉的小龙虾。

紧接着要看的是TOP20城市味道、环境、服务三部分的分数情况：

我们发现服务分与环境分排序相同，二者具有极强的相关性，符合通常认知。同时可以看到在三项分数中，北方的四个城市天津、西安、北京、青岛各项指标均处于靠前的位置，其中天津的服务和环境均处于首位。

结合下图全国小龙虾热力图，似乎有些有悖于大家的认知。

由此我们可以得出在小龙虾整体热度比较强的区域，人们对于小龙虾各方面的要求会相应提高，相反在整体热度偏低区域，人们评价时会相对宽容。同时我们看到海口的各项指标均处于最后一位，需要进行相应的调整。

PART3: 探索龙虾

我们看过了各个城市的情况后，进一步看一下小龙虾本身的一些有趣的内容，首先看一下龙虾的口味，我们选取了各个餐厅中带有龙虾的推荐菜，分词后获得TOP20的口味

十三香、蒜蓉、麻辣高居前三位，根据作者的经验，这基本上是符合大家整体口味的选择。TOP20中的蛋黄，白灼对于作者而言相对陌生，有品尝过的朋友可以分享一些这些口味的体验。

看完了口味，再看一下龙虾的好丽友

螺丝、花甲、毛豆位高居TOP3，看来大家吃龙虾的时候，会希望同时选择一些不用摘手套就可以享用的食物，毕竟吃的过程中频繁摘手套会比较费劲。

PART4: 龙虾画像

目前互联网公司中非常普遍地会进行一些人群画像的分析，我们在这里借用一下这个概念，也为小龙虾绘制一副专属的画像，下面展示的两幅图分别是词云图和模板原图

部分词云绘制代码如下：

1. # 解析小龙虾图片
2. back_color
3. =
4. imread
5. (
6. '小龙虾.jpg'
7. )
9. # 解析该图片
10. # 参数配置
11. wc
12. =
14. WordCloud
15. (
16. background_color
17. =
18. 'white'
19. ,
21. # 背景颜色
22. max_words
23. =
24. 300
25. ,
27. # 最大词数
28. mask
29. =
30. back_color
31. ,
33. # 以该参数值作图绘制词云，这个参数不为空时，width和height会被忽略
34. max_font_size
35. =
36. 100
37. ,
39. # 显示字体的最大值
40. font_path
41. =
42. "C:/Windows/Fonts/simhei.ttf"
43. ,
45. # 解决显示口字型乱码问题，可进入C:/Windows/Fonts/目录更换字体
46. random_state
47. =
48. 4
49. ,
51. # 为每个词返回一个PIL颜色
53. #width=2000, # 图片的宽
55. #height=1860 #图片的长
57. )
58. # 通过encounter计数器生成词云
59. wc
60. .
61. generate_from_frequencies
62. (
63. word_counts
64. )
65. # 基于彩色图像生成相应彩色
66. image_colors
67. =
69. ImageColorGenerator
70. (
71. back_color
72. )
73. # 绘制词云
74. plt
75. .
76. figure
77. ()
78. plt
79. .
80. imshow
81. (
82. wc
83. .
84. recolor
85. (
86. color_func
87. =
88. image_colors
89. ))
90. plt
91. .
92. axis
93. (
94. 'off'
95. )

PART5: 特（hei）色（an）龙虾

文章最后我们放上几个之前分词发现的特色口味龙虾，或许下一个网红龙虾就在其中

---------------------------------

想从事AI行业，想快速通过学习AI取得高薪？

其实并不复杂，

只需关注小码聪聪，回复AI

即可领取你的专属秘籍

閱讀更多 小碼聰聰 的文章

關鍵字: Python 网络爬虫 编程语言