01.09 Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

友情提醒:文末有福利

近年來程序界最火的事情是什麼?,那肯定是Python的興起。據調研,Python已經成為排名前三的語言,具體排在第幾相信各位心中肯定有自己的評判標準,這裡不挑口水戰了。

那Python到底為什麼這麼火?首先上手很快,對於新手來說是最簡單的入門語言;第二,能爬取信息,並且能做可視化分析。


Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

Python做的可視化分析

最近一直在聽周杰倫的歌(可能是小編長大了,也有可能是春天快到了....),於是想拿Python分析一下週杰倫歌曲的各項數據。

可是熟悉的人應該知道,Python爬取簡單,但是分析起來是很困難的,SQL語句、Pandas和Matplotlib齊上陣,一般人也不會,學起來也需要花不少時間。

於是我想到了一種新的方式,Python爬取+BI數據可視化分析,前者速度快,後者步驟簡單直接拖拽,兩者配合,簡直天下無敵!

一、分析哪些數據?

周杰倫阿!!!百億少女的夢想!!!我的青春!!!分析的維度可以有很多。

我想看看他的每首歌都適合什麼季節聽,歌詞裡出現最多的詞又是什麼,作詞人和作曲人又分別是誰多一點,哪些歌適合失戀聽,哪些歌適合熱戀聽....太多了!作為迷妹的我已經激動得不行了。

二、爬取的過程

首先我們先進入到我們需要抓取的內容的地址:網易雲音樂的首頁,我們的目的是抓取周杰倫的所有歌曲,歌詞,以及評論,那我們在搜索處輸入周杰倫。

Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

得到這張圖,我們發現這裡面只有最多50首歌(很多人分析網易雲的歌曲就只選取TOP50),我們想要的是全部,所以這個URL不符合要求,我們繼續尋找其他的URL地址。我在這裡花了不少時間,最後找到了一個間接的方法,首先抓取周杰倫的全部專輯信息,然後通過專輯信息再去尋找全部歌曲。


Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

我們再看header裡面有什麼,這裡面的string我們不用管了,因為它已經在我們的url裡面了,我們只需要看request headers 這個就是我們給服務器發送的東西。

Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

代碼塊見文末,先給大家看一部分:


Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

具體結果如下:

Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

利用同樣的方法,我們也可以分析出歌曲信息、熱評信息,具體代碼都在文末,最終的數據量在30W左右~


Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了


Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

三、用BI進行數據可視化分析

近幾年冒出來的BI之秀,都在強調敏捷、自助式,一改傳統BI工具SAP BO、IBM家的cognos獨佔市場的局面,這是好事,也證明商業智能這個領域在不斷受到重視。


Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

BI產品如何選型?

  • 價格:在經費允許的範圍內,做到最高的性價比。
  • 產品的成熟度:成熟度高,實用性強是大多數企業的需求所在,一般來說成熟度和產品存在時間和客戶數量成正比,因為已經經過了市場的檢驗。
  • 產品的快速部署:對於快速上線很重要。
  • 開發功能:是否夠友好,是否夠敏捷,業務人員能否直接使用。
  • 針對以上幾點,再加上自己的調研,發現Tableau和FineBI是BI界的兩款頂尖工具。

    Tableau可視化探索分析很贊,還帶有語音版,但是因為是國外產品,多為代理商,服務得不到保證,且操作方式不適合小白使用;同時,企業用多併發價格貴。

    FineBI(文末有下載鏈接)是國產品牌,也是國內為數不多能佔據世界領先地位的數據工具,自帶ETL,可視化很酷炫,主打業務人員自助式分析,企業版價格也是很良心,個人用免費。


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

    四、周杰倫歌曲的數據可視化

    FineBI不僅有精美的可視化分析,它的操作過程也十分地簡單。


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

    有人會說Excel也不錯,我建議你醒醒。Excel做數據可視化根本行不通,數據量太大會卡死,VBA也需要編程,圖表的種類還特別特別少.....

    1、有哪些悲傷的歌


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

    當年周杰倫靠著雙節棍火遍天下,但細細分析就會發現,其實他的歌都是主打悲傷情歌,這裡分析出了他情緒較為低落的幾首歌,建議失戀的人不要聽(滑稽臉)。


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

    2、有哪些歡快的歌


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

    當然了,有情緒低落的,就有讓人開心的。比如稻香,就是個很歡快的曲子,還記得家是惟一的城堡,隨著稻香河流繼續奔跑....小編堪稱鐵粉。

    3、熱度排名


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

    因為都是比較老的歌了,熱度也不會有上升,但是依然是經典!《說好不哭》是周杰倫的新歌,當晚上線直接導致QQ音樂崩潰,可見其影響力。


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

    4、季節排名

    看看周董都會在哪些季節發佈,不用分析也知道是在秋天,情歌可能在秋天才更有意境吧(我瞎猜的)。


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

    5、作詞人佔比

    一提到周杰倫歌曲的作詞,大家第一個想到的肯定是方老師,但是拿FineBI分析之後發現,周杰倫自己也是一個作詞天才。


    Python爬取周杰倫的200首歌+BI可視化分析,青春好像又回來了

    五、總結

    BI產品的使用關鍵還是業務和管理。涉及到深度數據分析、資源調配的需要較高的業務思考能力,這也就是為什麼FineBI主打自助式分析,讓業務人員自己去發現數據的價值。

    以上就是FineBI的一次數據分析實戰,也是為了幫助大家更加了解這款產品,但上面只是其冰山一角,歡迎各位親自體驗一下這款企業級的數據分析工具。

    關注我,並轉發該文章,私信回覆“BI”,即可獲得FineBI個人永久免費版。


    分享到:


    相關文章: