介绍BeautifulSoup库的使用,并爬取股票代码

代码如下:

#本代码介绍BeautifulSoup库的使用,并爬取股票代码
#1、导入相应的模块
import requests
from bs4 import BeautifulSoup
#2、对网页进行get请求
url="http://quote.eastmoney.com/center/gridlist.html#hs_a_board" #设置东方财富网个股行情中心为爬取网站的地址
headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0"} #设置请求头
response=requests.get(url,headers=headers) # 对网页url进行get请求
response.encoding="utf-8" #设置编码格式为utf-8
html=response.text
#3、解析网站并打印相应内容
soup=BeautifulSoup(html,"html.parser") #设置html.parser为解析器
print("格式化后的html代码:",soup.prettify())
print("标题信息:",soup.title.string)
print("网页的head标签:",soup.head)
print("网页的meta标签:",soup.meta)
print("网页的第一个a标签属性href的值:",soup.a.attrs["href"])
print("网页的第一个a标签内部的内容:",soup.a.string)
print("打印a标签的父节点:",soup.a.parent)
print("打印a标签的祖先节点:",soup.a.parents)
print("网页的第一个a标签属性下一个的值:",list(enumerate(soup.a.previous_siblings)))

运行结果如下图所示:

介绍BeautifulSoup库的使用,并爬取股票代码


分享到:


相關文章: