友情提醒:文末有福利
近年來程序界最火的事情是什麼?,那肯定是Python的興起。據調研,Python已經成為排名前三的語言,具體排在第幾相信各位心中肯定有自己的評判標準,這裡不挑口水戰了。
那Python到底為什麼這麼火?首先上手很快,對於新手來說是最簡單的入門語言;第二,能爬取信息,並且能做可視化分析。
最近一直在聽周杰倫的歌(可能是小編長大了,也有可能是春天快到了....),於是想拿Python分析一下週杰倫歌曲的各項數據。
可是熟悉的人應該知道,Python爬取簡單,但是分析起來是很困難的,SQL語句、Pandas和Matplotlib齊上陣,一般人也不會,學起來也需要花不少時間。
於是我想到了一種新的方式,Python爬取+BI數據可視化分析,前者速度快,後者步驟簡單直接拖拽,兩者配合,簡直天下無敵!
一、分析哪些數據?
周杰倫阿!!!百億少女的夢想!!!我的青春!!!分析的維度可以有很多。
我想看看他的每首歌都適合什麼季節聽,歌詞裡出現最多的詞又是什麼,作詞人和作曲人又分別是誰多一點,哪些歌適合失戀聽,哪些歌適合熱戀聽....太多了!作為迷妹的我已經激動得不行了。
二、爬取的過程
首先我們先進入到我們需要抓取的內容的地址:網易雲音樂的首頁,我們的目的是抓取周杰倫的所有歌曲,歌詞,以及評論,那我們在搜索處輸入周杰倫。
得到這張圖,我們發現這裡面只有最多50首歌(很多人分析網易雲的歌曲就只選取TOP50),我們想要的是全部,所以這個URL不符合要求,我們繼續尋找其他的URL地址。我在這裡花了不少時間,最後找到了一個間接的方法,首先抓取周杰倫的全部專輯信息,然後通過專輯信息再去尋找全部歌曲。
我們再看header裡面有什麼,這裡面的string我們不用管了,因為它已經在我們的url裡面了,我們只需要看request headers 這個就是我們給服務器發送的東西。
代碼塊見文末,先給大家看一部分:
具體結果如下:
利用同樣的方法,我們也可以分析出歌曲信息、熱評信息,具體代碼都在文末,最終的數據量在30W左右~
三、用BI進行數據可視化分析
近幾年冒出來的BI之秀,都在強調敏捷、自助式,一改傳統BI工具SAP BO、IBM家的cognos獨佔市場的局面,這是好事,也證明商業智能這個領域在不斷受到重視。
BI產品如何選型?
針對以上幾點,再加上自己的調研,發現Tableau和FineBI是BI界的兩款頂尖工具。
Tableau可視化探索分析很贊,還帶有語音版,但是因為是國外產品,多為代理商,服務得不到保證,且操作方式不適合小白使用;同時,企業用多併發價格貴。
FineBI(文末有下載鏈接)是國產品牌,也是國內為數不多能佔據世界領先地位的數據工具,自帶ETL,可視化很酷炫,主打業務人員自助式分析,企業版價格也是很良心,個人用免費。
四、周杰倫歌曲的數據可視化
FineBI不僅有精美的可視化分析,它的操作過程也十分地簡單。
有人會說Excel也不錯,我建議你醒醒。Excel做數據可視化根本行不通,數據量太大會卡死,VBA也需要編程,圖表的種類還特別特別少.....
1、有哪些悲傷的歌
當年周杰倫靠著雙節棍火遍天下,但細細分析就會發現,其實他的歌都是主打悲傷情歌,這裡分析出了他情緒較為低落的幾首歌,建議失戀的人不要聽(滑稽臉)。
2、有哪些歡快的歌
當然了,有情緒低落的,就有讓人開心的。比如稻香,就是個很歡快的曲子,還記得家是惟一的城堡,隨著稻香河流繼續奔跑....小編堪稱鐵粉。
3、熱度排名
因為都是比較老的歌了,熱度也不會有上升,但是依然是經典!《說好不哭》是周杰倫的新歌,當晚上線直接導致QQ音樂崩潰,可見其影響力。
4、季節排名
看看周董都會在哪些季節發佈,不用分析也知道是在秋天,情歌可能在秋天才更有意境吧(我瞎猜的)。
5、作詞人佔比
一提到周杰倫歌曲的作詞,大家第一個想到的肯定是方老師,但是拿FineBI分析之後發現,周杰倫自己也是一個作詞天才。
五、總結
BI產品的使用關鍵還是業務和管理。涉及到深度數據分析、資源調配的需要較高的業務思考能力,這也就是為什麼FineBI主打自助式分析,讓業務人員自己去發現數據的價值。
以上就是FineBI的一次數據分析實戰,也是為了幫助大家更加了解這款產品,但上面只是其冰山一角,歡迎各位親自體驗一下這款企業級的數據分析工具。
關注我,並轉發該文章,私信回覆“BI”,即可獲得FineBI個人永久免費版。
閱讀更多 帆軟軟件 的文章