大數據分析預測就好比占星卜卦?

導語:

中國人講“旁觀者清,當局者迷”。 “當局者迷”是因為自己看不清自己,所以我們要把自己的處境懸架起來,當作一面鏡子,這就是卦。把自己的狀態,自己的處境,讓自己成為旁觀者來做評判,這個過程就是算卦,其中對未來的展望就是占卜。這與大數據分析預測何其相似,從歷史數據提取關鍵信息,分析其特徵表現,預測其未來。

“行星運行”—尋找規律

太陽系八大行星繞太陽運行週期數據: 觀測數據是行星繞太陽一週所需要的時間(以年為位)和行星離太陽的平均距離(以地球與太陽的平均距離為單位)。

大數據分析預測就好比占星卜卦?

大數據分析預測就好比占星卜卦?

大數據分析預測就好比占星卜卦?

“仙人指路” – 實踐規律

數據分析與占星卜卦有沒有相似之處 ?

答案是有,都圍繞著三個貫通點,觀察、尋找特徵、應用規律(經驗)。

歷史中的數據事故

1.朝鮮戰爭: 志願軍的7天攻勢

1950年12月31日,中朝聯軍發起第五次戰役,至1月7日,聯合國軍已退至三七線南北之平澤、安城、堤川、甯越、三陟一線,戰役遂於1月8日結束1951年4月22日,中國人民志願軍發動第五次戰役,至29日結束。

2.遼瀋戰役:廖耀湘軍團覆滅

為什麼那裡繳獲的短槍與長槍的比例比其它戰鬥略高?

為什麼那裡繳獲和擊毀的小車與大車的比例比其它戰鬥略高?

為什麼在那裡俘虜和擊斃的軍官與士兵的比例比其它戰鬥略高?

數據分析的四大問題

(1)數據分析是什麼?

是尋找規律、提煉價值信息,並將分析結果用於決策的過程。

其中需要經歷的過程有確定分析的目的 → 研究的對象 → 可以使用的數據→ 細緻分析 → 結論與展示。

泰坦尼克號事故中什麼樣的人更易倖存?

大數據分析預測就好比占星卜卦?

(2)數據分析的基礎是什麼?

數據是分析的基礎:分析是建立在數據之上,可以使用的 數據量、數據質量、數據的粒度等決定了分析的結果。

業務是分析的支撐:離開業務解讀數據是枯燥的,沒有意義的;如下圖的示例中,不解釋原始表結構與業務邏輯,無法分析。

大數據分析預測就好比占星卜卦?

(2.1)數據分析的基礎 – 數據

數據:對事物存在與發展變化的描述

數據收集: 數據時代,記錄事情發展變化成為可能

數據的記錄形式: 數據結構

數據結構的變換:數據處理、統計

數據的處理: 計算(計算機),所以對數據結構有要求。

結構化數據:可以用數字或統一的結構表示的信息;

數據表: 一行為一條觀測,一列為一個特徵/維度

大數據分析預測就好比占星卜卦?

非結構化數據:無法用數字或統一的結果表示的信息。

如:圖片、文本、聲音

大數據分析預測就好比占星卜卦?

(3)數據分析的方法

數據分析的基本流程:定義問題(瞭解業務) → 收集數據 → 數據檢查 → 數據處理 → 數據分析 → 結果展示 → 結果應用。

檢查數據質量,包括缺失、異 常值、分佈等

大數據分析預測就好比占星卜卦?

數據處理,包括填補缺失值、處 理異常值、衍生、標準化等。(泰坦尼克題目中,將Title、Pclass、Parch組合觀察可以找到更好的差異)

大數據分析預測就好比占星卜卦?

(4)數據分析的原則

明確分析目標:圍繞目的進行的分析工作;業務與數據相結合:分析結果最終要在業務上解釋與應用,需要與業務結合;用數據說話:深入分析數據的實質,挖據數據內涵,不能 “認為是”,也不能停留在數據表面。

小問題1:如果一枚硬幣連拋10次都是正面,問第11次出現正面的概率是多少?(請在評論區說出你的答案)

哪個老師的教學質量更好?

大數據分析預測就好比占星卜卦?

生活中的數據分析:

(1)在亞馬遜上搜算圖書《原則》,從而看到的其他圖書推薦。

關聯分析:Amzon 100件圖書訂單,購買《原 則》的有75件,購買《爆裂》的 有60件,同時購買兩者的40件。 那麼,兩本書在被選購時是否可以相互推薦?

事件 - A:購買《爆裂》;B:購買《原則》

支持度 :同時購買概率 - 40/100 = 0.4

置信度 : 購買一個後,再購買另一個的條件概率

A對B的置信度: 40/60 = 0.67 B對A的置信度: 40/70 = 0.53

提升度:購買一件對購買另一件的概率提升左右

A對B的提升度:0.67/0.75 = 0.89

B對A的提升度:0.53/0.6 = 0.88

結論: 兩本書的購買是互斥的

大數據分析預測就好比占星卜卦?

小問題:如果把訂單總量變為1000 呢?(來評論區說出你的答案)

(2) 數據分析的應用—大數據殺熟分佈

網友分享:

他經常通過某網站訂某個特定酒店的房間,常年價格在380元-400元。偶然一次,他從前臺得知酒店淡季價格在300元上下,他用朋友的賬號查詢也是300元,但用自己的賬號查看還是380元。其他網友也分分曬出自己被宰的經歷,大罵企業無良,不少媒體認為大數據是技術走了歪路,建議通過法律制裁。

大數據分析預測就好比占星卜卦?

由於篇幅有限,本文對大數據分析不再做過多的介紹,歡迎有興趣的小夥伴通過官網諮詢我司相關產品。


分享到:


相關文章: