這是一個幾乎所有組織都在談數據的時代。
雖然以大數據(Big Data)的定義（指“無法用現有的軟件工具提取、存儲、搜索、共享、分析和處理的海量的、複雜的數據集合。)來看，並不是所有的企業或組織都擁有“大數據”，但無疑，數據已經滲透到當今每一個行業和業務職能領域，成為重要的生產要素和資產。在這個變化越來越快的時代，組織是否已經具備處理和分析數據的能力，是每個組織成員都需要思考的問題。
肯錫列出了各個行業利用大數據價值的難易度以及發展潛力。《Big data: The next frontier for innovation, competition, and productivity》
數據無論大小，只要足夠優質，其中便蘊含著各行各業挖掘更大商業價值和創新的可能。數據本身不產生價值，如何分析和利用數據，並對業務產生幫助才是關鍵，而能有效挖掘出這些可能和價值的答案，便蘊藏在商業智能（Business Intelligence，簡稱BI）之中。
BI是什麼？
著名國際諮詢分析公司Gartner，將BI定義為一個概括性術語（Umbrella Term），泛指業務分析中用到的工具、基礎設施設備、程序與軟件，通過獲取和處理數據，進而分析數據，獲取有價值的信息以改進並優化決策和績效，指導各種商業行為。
BI的本質是技術和工具和商業邏輯的結合，通過處理原始數據，以商務邏輯分析數據，為商業運營提供基於歷史、當下和未來的分析視角，形成對商業行為有價值的洞察（insight）。（與之對應，近年來國外很多名校的新興專業學科BA（Business analytics），則是一門需要同時學習商科知識和計算機技術的學科。）
BI對商業決策的支持涵蓋了從運營到戰略的每個層面。基礎運營決策包括產品定位或定價， 戰略業務決策包括最廣泛層面的優先事項，目標和方向。BI的有效性在於多數據源的充分整合。例如可口可樂等快消品公司會將公司財務、運營數據（內部數據）與波士頓等公司提供的市場數據（外部數據）結合分析，這種結合就可以更好地呈現公司的經營全貌。
從這個意義上來講，基於單表或單一數據源的分析都不能稱作真正的BI。更常見的情形是組織內沒有BI產品線，僅靠手工操作彙總數據源，複製粘貼到一個Excel表中再進行分析，雖然滿足了多來源，但彙總和分析過程缺乏自動化，效率和準確度水分很大，也不是真正的BI。
BI的目標與部署中的常見問題
數據研究專家Kernochan在他為期兩年的組織BI流程研究中，提出了以下模型及對應的BI特徵目標：
- 數據輸入 - 準確性
- 數據整合 - 一致性
- 數據聚合 - 範圍明確
- 信息定位 - 匹配度
- 信息傳遞 - 及時性
- 信息分析 - 可分析性
這不僅可以作為BI部署的目標，也可以用於檢驗以上目標的達成，反推企業的數據治理是否足夠規範。
同時，Kernochan的研究也總結了當前BI部署流程中的常見問題：
- 20％的數據有錯誤（準確性）
- 50％的數據不一致（一致性）
- 通常需要7天才能將數據提供給最終用戶（及時性）
- 無法對70％的公司數據（範圍）進行跨數據庫查詢
- 65％的時間，高管沒有收到他們需要的數據（合適）
- 60％的時間，用戶無法立即對他們收到的數據進行在線分析（可分析性）
- Web上出現的75％的新關鍵信息源不會在一年內傳遞給用戶（敏捷性）
產生以上問題的最大原因，在於業務用戶通常不瞭解數據準備的複雜性和錯誤所涉及的風險，且缺乏統一部門強有力的數據治理（Data Governance），進而使得數據的質量變得不可控。數據基層一旦出現問題，高級的分析和敏捷性需求也無從說起。
什麼是敏捷BI？
在很長一段時間裡，Excel和其他電子表格都是各類組織處理分析數據的主要工具，擁有數量最大的用戶群（中國90%以上的組織數據仍很大程度依賴於Excel）。雖然電子表格有很多優勢，但把它當做BI工具使用，在以下場景會嚴重受限：
- 需要對包含多個工作表或數據庫的混合數據源開展分析時
- 多人同時對一張電子表格進行維護和協作時
- 數據量達到上限或包含非結構化數據讓可視化變得困難
- 使用複雜的公式降低了查詢性能時
- 需要交互式分析和數據探索時
- 需要定時刷新時
傳統BI已經在很大程度上解除了上述限制，但在國內政企組織內的普及度仍然十分有限。隨著組織數據量的增大和外界環境的不斷變化，組織對於數據的管控和分析有了更高的要求，希望能夠擺脫過去較高的技術門檻，較長的部署時間，緩慢的數據整理和分析速度，力求“又快又好”。在這樣的背景下，“敏捷BI”應運而生。
敏捷BI的出現，是以一系列自助式數據分析軟件的出現為標誌的（所以敏捷BI也被稱之為自助式BI）。隨著Power BI，Qlik Sence，Tableau，帆軟等國內外軟件的不斷迭代更新，數據分析的主角不再僅指具備IT技術背景的研發人員和數據科學家，每一個沒有技術基礎的業務人員也可以更高效便捷的方式獲取、整理和分析數據。
敏捷一詞（Agile）源於17位輕量級方法學家在2001年2月提出的敏捷宣言（Agile Manifesto）。Agile的提出，一開始就是帶著IT項目開發基因的，而在“敏捷BI”這一概念裡，主要取的是“快捷高效，簡單明晰”的意思。
結合到數據應用場景，我們可以先從Excel的Vlookup函數出發，看看何為“敏捷”？相信這是很多報表從業人員，接觸的第一個稍顯複雜（相比於sum、count等函數）但又覺得愛不釋手的函數，在日常的工作中使用頻率極高。很多人也是通過它，第一次明白了電子表格的強大威力。
為什麼用它來解釋“敏捷”？因為在電子表格時代，它可以幫助使用者快速高效地進行表格信息的交付、部署、變更、查詢。它的交付結果可靠，運算性能穩定；部署方便：內置四個係數均具備明確含義和標準用法；且四個係數均可靈活修改，變更方便；在數據質量可靠的情況下，可以查詢表格內（間）幾乎所有的信息。在電子表格這個領域，Vlookup無疑可以稱得上是“敏捷”的函數之一。
類似的教程圖相信大家並不陌生
同樣的道理，在敏捷BI時代，這樣的特徵仍不過時：能快速高效地幫助使用者進行數據的結果交付、技術部署、需求變更、精準查詢，這便是敏捷BI。
敏捷BI廠商競爭格局
Gartner2018年BI廠商魔力象限
Gartner2019年BI廠商魔力象限
Gartner的魔力象限圖報告是技術廠商測評的年度權威文件，結合歷年的象限圖我們往往可以觀察一個細分技術行業的趨勢，是企業和個人對各類技術工具選型的必讀文件。
其橫軸指標：
前瞻性（Completeness of Vision）：包括廠商或供應商提供的產品底層技術基礎的能力、市場領導能力、創新能力和外部投資等等。其縱軸指標：執行能力（Ability to Execute）：包括產品的使用難度、市場服務的完善程度和技術支持能力、管理團隊的經驗和能力等。
根據以上兩大指標，其劃分出四大象限：
- Niche Players 利基者、投機者
- Challengers 挑戰者
- Visionaries 有遠見者、願景者
- Leader 領導者
關注的重點無疑只需放在Leader象限和趨勢上逼近leader象限的廠商，其他的廠商都只是市場和技術的追隨者。
就BI領域而言，從2016年傳統BI廠商集體退出Leader（領導者）象限後，這四年一直都是PowerBI、Tableau和Qlik的天下。2019年憑藉高性能的語音識別BI異軍突起的ThoughtSpot是一家由印度人創辦的美國獨角獸，但是其目前的業務範圍主要分佈在美國、東南亞及歐洲市場，對於中國市場的興趣不大，產品沒有漢化且幾乎沒有國內的市場運營活動。
Qlik的產品實力不俗，但在中國的市場表現乏善可陳，本人瞭解有限，暫且不表。
PowerBI和Tableau這兩款BI產品是近年國內表現極佳的兩款國際產品，PowerBI雖然晚於Tableau起步，但是憑藉其微軟出品的背景、個人免費戰略還有捆綁Azure雲服務的企業免費銷售策略，在市場佔有角度來說，在國內市場表現得很不錯，就我瞭解的一些500強外企而言，有相當比例的企業甚至開始出現將Tableau報表置換為PowerBI的情況。
但單從我使用的體驗來說，Tableau的可視化分析體驗是遠遠勝於PowerBI的，圖形美觀，細節出眾，整體來說使用起來十分流暢，邏輯清晰，且真正實現“托拉拽”級別的分析易用性。如果只是輕量化部署，Tableau的體驗可以說是首推。雖然近年來PowerBI也在逐步改善，但是其跳轉界面眾多和區分前後臺的產品設計邏輯，我認為從“基因”上就不如前兩者那種“所有操作可以在同一個界面流暢完成”的體驗。Tableau和Qlik使得數據更具觸感，在操作過程中就能更有效地啟發分析理念，而PowerBI則更像一個報表開發工具。
只是從企業級用戶來說，特別是大型企業需求，考慮到數據量和近年來的雲服務升級，PowerBI從性能和整體的適配性角度來說還是具備優勢的。另外從“
成本”的角度來說，PowerBI的免費推廣策略對於預算有限的企業來說，也具備十足的吸引力。對於敏捷BI的常見誤區
每個概念的興起必然帶來多種的解讀，同時也產生有不少誤解，敏捷BI亦不例外。對於它的常見誤區，有如下四點。
1.敏捷BI是一種能力，而不單指工具。
BI作為一個有著計算機基因的概念，在宣傳的時候自然沒人會愛看那些枯燥的代碼，酷炫簡單的效果往往更受青睞，這使得人們在理解BI時，很自然地就聯想起各種形式多樣色彩豐富的動態圖表。但其實，圖表只是BI的前端展示界面，是部署BI這項技術性極強且極具體系工作的冰山一角；敏捷BI軟件也不僅是一個高級的圖表製作工具，它也兼備著獲取和清洗數據等高級功能。
當前主流的敏捷BI報表軟件，宣稱“敏捷”的最大優勢，是其內置的各類圖表、靈活高效的函數、簡單便捷的元素拖拽方式。區別於傳統BI開發偏代碼的環境，敏捷BI的前端報表開發，已經變得極具可視化，其使用的難度和邏輯與Excel相仿，哪怕對於沒有技術基礎的業務人員，也不影響其使用或做簡單的修改和開發。從某種意義上，各類敏捷BI工具是對Excel等傳統表格工具和代碼環境優勢的中和，而這個粘合劑，就是可視化交互元素，在保留後臺代碼搭建環境的基礎上，敏捷BI工具將很多繁瑣操作進行整合形成新的功能，使得數據在軟件內的交互感有了質的提升。這些功能都極大地拓展了BI的易用性、處理速度和探索深度。
一個典型的BI體系部署流程（技術維度）
近年來各大BI廠商都在強調“增強分析”的發展趨勢，以軟件已經在支持python和R的功能打包，並引入機器學習概念和更強大的交互功能（語音識別等），增強分析使得人人都有可能成為“數據科學專家”，極大地提高工作效率，其智能化的步伐將隨著技術和產品的進步越來越快。未來BI的趨勢之一，便是工具和語言的融合。
但這方面無需過分迷信，仍然存在較大的故事水分，人工智能的很多應該場景仍然和鍊金術無異。在這樣的發展背景下，敏捷BI，其實指的是貫穿在數據分析平臺構建和運行過程中的快速實現能力。
BI部署的冰山效應
2.敏捷BI並不是電子表格和傳統BI的替代品
雖然電子表格和敏捷BI工具都使用表格，但它們實際上是在不同的場合中發揮不同的作用。 電子表格首先是一種存儲和顯示計算的方法。BI表格中的數據使用各種算法進行壓縮，不像Excel那樣直接使用行和列的編號來定位。雖然電子表格可以創建複雜的數學公式，比如Excel的分析工具庫，但它們的核心是數學公式而不是模型。
敏捷BI不會使傳統的數據庫管理或數據科學家失效。 這些由專業人士提供的複雜洞察，對大多數組織仍然具有很高的價值。而很多敏捷BI在數據治理方面也一直處於劣勢，Tableau在2018年初推出的prep產品就是在彌補這一劣勢，但推廣和技術評價並不出眾，很多功能仍是其本身可視化的拓展以及對傳統ETL工具的邏輯借鑑。
敏捷BI雖然功能強大，看起來在很多場景下可以代替電子表格，卻也很難真正取而代之，電子表格軟件仍有其強大的生命力，並不過時。小規模數據的分析處理，Excel仍是十分輕便高效的。此外，價格、安裝成本、易用度及培訓門檻都是需要考慮的因素。
就好像XMind Pro和XMind:ZEN。Pro 的定位無疑是一款全棧思維導圖軟件，其完美地符合所有思維導圖用戶的大部分需求，而ZEN則捨棄掉了一部分專業性功能，主打簡約美觀、輕量化後的性能、100%兼容移動端。可以說，ZEN便是一款敏捷型思維導圖工具。這是為了迎合更多用戶需求做出的兩條產品線，而諸多的敏捷型BI工具區別於傳統BI、電子表格的思路也與此類似。
mind：zen和xmind 8 pro的對比
敏捷BI、傳統BI、電子表格三者並不是簡單的對立關係或是高級與低級的區別。組織需要思考的，是多元選擇下的組合應用，揚長避短，而不是理解為做簡單的取和舍或是迭代升級。
3.敏捷bi工具無法直接告訴決策者答案
在這個“顏值至上”的年代，BI軟件的界面也做得越發具有設計感，無論是色彩還是UI的質感，都給人一種“高大上”的感覺。彷彿只要看到了變化的數字和儀表盤，就已經獲得了海量的信息。但敏捷BI其實是很難直接給出答案的，而是促進決策者通過合理的信息展現形式，進行更為系統深入的思考。而且敏捷BI在深入數學建模方面，為了兼顧性能，在功能上無法做到像R或Python語言那樣具備高靈活度。如果要深入地做數據分析，不能完全依賴敏捷BI工具的分析功能。
BI的定位應該始終是一個優質信息的整合處理和參考工具，在短期內無法取代人類的思考。統計圖表雖然強大，但它也是現代社會里最會說謊的事物之一，很多信息仍需要甄別和深入的思考。當我們看到各種結果呈現時，還是得多問幾個為什麼。
美國統計專家達萊爾·哈夫寫就的傳世之作，至今讀來仍給人以深刻警醒
4.敏捷BI的部署需要強有力的項目管理和數據治理
正如之前提到的，敏捷二字帶有鮮明的IT開發項目色彩。其部署往往以一個項目為單位開展，需要在短期內投入企業較多資源。當前敏捷BI部署的主流方向是採取外包的形式，專業性強的數據服務公司往往能更契合業務型公司的需求，項目週期和成本的可控，也為甲方公司能節約更多資源。但這絕不意味著，敏捷BI部署就是請技術人員將功能需求實現這麼簡單，它需要業務與技術、甲方與乙方的多重協調。這常常為需求方所忽略，進而產生較大的隱性溝通成本。
當前的敏捷BI更多強調的是在前端體驗上的“自主敏捷”和“流暢敏捷”，其實都嚴重依賴事先的數據準備工作，一旦分析需求超出事先的準備，都很難再敏捷起來了。而數據準備一般都比較複雜，經常要做脫敏處理或多表關聯，只能由技術人員來完成，是最費時費力的環節。
同時，數據質量的高低是決定BI部署成功與否的基礎所在，數據清洗在數據分析過程中仍然會佔據大比例的資源。這是每個企業都無法迴避的現實，數據分析中經常聽到的那句“Garbage in,garbage out”，在敏捷BI的部署中，依然適用。相比於關注一些在當前還虛無縹緲的“增強分析”，數據治理反而是當前企業最需關注的。
值得注意的是，而當前的很多敏捷BI在數據準備和綜合化的數據治理方面，特別是企業級大數據領域，相較於傳統BI廠商（IBM、Oracal、SAP）並不佔優，例如Tableau直到2018年初才正式推出其主打數據整理功能的工具Tableau prep，Power BI也在很大程度上依賴於脫胎於Excel的數據整理功能，而這種數據整理功能也側重於“數據清洗”，遠遠達不到數據治理的要求。在這一點上，國內近年來興起的“數據中臺”概念，也是在尋求綜合化數據治理的一種思路。
綜上，可以想見，任何一家企業或組織想要實現BI敏捷性的成功，至少需要三點
1、自身強有力的數據管理意識和規範
2、技術團隊（內部/外包）強有力的數據技術支持
3、高效敏捷的新型BI工具（技術與業務人員間的橋樑）
在敏捷BI工具極大地降低了數據分析門檻和資源消耗的今天，不管你是一個組織的普通業務或技術員工、諮詢顧問、專家還是的中高層領導。如果你的團隊擁有合適的工具和一個管理大量數據的簡便方法，如果你能像數據專家一樣，時刻保持對術語、專業技術和解決方案的敏感度並與時俱進，這將為你和你所在的組織帶來巨大的價值，這將讓你所在的組織，真正地實現“數據驅動”。
