奧力芙
這是一個非常好的問題,作為一名大數據行業的從業者,我來回答一下這個問題。
當前正處在大數據落地應用的初期,在工業互聯網的推動下,大數據也得到了越來越多的關注,對於產業領域來說,如何讓大數據發揮出更大的價值是非常重要的,這樣不僅能夠全面促進傳統行業的結構升級,同時也能夠全面豐富大數據的行業生態。
要想發揮出大數據的巨大價值,應該從以下三個方面入手:
第一:構建大數據應用平臺。當前在開發領域逐漸開始走向平臺式開發時代,雲計算平臺、大數據平臺、物聯網平臺、人工智能平臺等都得到了快速的發展,基於平臺開發不僅能夠加快開發速度,同時也會降低開發門檻,大量的中小企業可以藉助於這些成熟的平臺實現應用領域的各種創新,而大型科技企業也可以通過構建平臺來打造自己的生態體系。所以,要想發揮出大數據的巨大價值,應該首先從構建自己的大數據平臺開始。
第二:構建大數據入口。有了大數據平臺,下一步就需要為平臺注入數據,此時就需要構建大數據的數據入口。構建大數據的數據入口可以從三個方面入手,分別是傳統信息系統、物聯網系統和互聯網系統,這三個系統也是大數據的主要數據來源。
第三:構建大數據出口。大數據本身並不是目的,應用大數據才是目的,而且應用出口往往是體現大數據價值的重要方面。從目前大數據的應用出口來看,人工智能將是未來一個重要的出口,而且這個出口未來能夠創造的價值空間也非常大。
我從事互聯網行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大數據和人工智能領域,我會陸續寫一些關於互聯網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。
如果有互聯網、大數據、人工智能等方面的問題,或者是考研方面的問題,都可以在評論區留言,或者私信我!
IT人劉俊明
大數據,數據科學,以及分析的發展與演變在今年的Strata數據會議上得到全面展示,其中包含了一個重要的信息:人們需要獲取大數據的價值。
大數據"是一個體量特別大,數據類別特別大的數據集,並且這樣的數據集無法用傳統數據庫工具對其內容進行抓取、管理和處理。
大數據裡面的數據,分三種類型:
(1)結構化的數據:即有固定格式和有限長度的數據。
(2)非結構化的數據:現在非結構化的數據越來越多,就是不定長、無固定格式的數據,例如網頁、語音,視頻等。
(3)半結構化數據:是一些XML或者HTML的格式的數據。
正如在一個數字表演節目中,人們選定的數字是83,認為這會難倒魔術師,魔術師在一個4×4矩陣填寫了16個數字,在組合之後,每行和每列之和都是83,並且數字在各行各列中沒有重複。魔術師說,“看一下這個結果。如果將每一行的所有數字相加,則它們的總和為83,每列中的數字總和也是83。事實上,每一個組合加起來都是你選的數字。
這就像人們在獲得到大量數據的時候的感受——就像魔術一樣!日前在紐約舉行的Strata數據會議的展位上,Diwo公司提供了一個新的認知決策平臺。並採用了這種有趣的方式來介紹他們新的解決方案,也許在無意中會有助於大數據市場的發展。
雖然人們一直在談論大數據,數據科學和分析已經有了相當長一段時間,但在今年Strata數據會議的活動中,全面展現了市場的演變。可以看出在主題演講和展覽層面所貫穿的幾個交織的主題總結出的一個信息:現在是發揮大數據價值的時候了。
這些主題都涉及了一個廣泛的觀念,在現實生活中大規模應用大數據,科學的數據和分析,現在是超越探索階段的時候了。而這樣規模的數據力量能夠改變業務模式和客戶體驗,或許讓人們對這一切感覺有點像魔術。
使大數據更加真實
大數據在大多數情況下一直是技術上關注的領域。雖然商業影響總是很明確,但市場的焦點主要在於實驗,以及找出如何解決大規模數據集所面臨的技術問題的辦法。
當然,大數據的成功應用產生了巨大的業務成果,但市場的主要驅動力是技術開發,而不是業務應用。然而在2017年將有一個明顯的變化。
首先,隨著行業的不斷髮展,大數據的社會影響以及數據科學家和從業者必須發揮的重要作用將會顯著增加。
“數據毀滅武器:大數據如何加劇不平等並威脅民主”一文的作者,數學家Cathy O’Neil警告說:“我們還沒有制定數據科學方面的標準。而糟糕的算法可能危及人們的生命…… 這對於人工智能來說也是不公平的,它使現狀和所有隱含的偏差實現自動化。這一點需要得到承認,特別是當我們將注意力集中在那些影響人們生活的事情時。”
聯合國兒童基金會創新辦公室首席科學家Manuel García-Herranz和美國國會圖書館創新者Jer Thorp也對數據對世界的正面和潛在的負面影響表示了類似的看法。
Garcia-Herranz分享了聯合國兒童基金會如何整合數據科學和實時系統來發現的見解,同時仍然可以利用這些系統採取有意義的行動並“為人類應用數據”。
另一方面,Thorp警告說,人們所期望的客觀性可能阻止他們瞭解數據的實際功能和影響。他的建議很簡單,但卻是深刻的:“不要坐談,而是需要實踐。”
與此同時,大數據和人工智能(AI)的交叉點也在加強了企業處理大數據主動性的緊迫性。雖然大數據作為人工智能動力的本質已經使二者共生,但人工智能作為企業高管面臨的頭號問題,這正在使企業規模的大數據在戰略上佔有一席之地。
實時處理大數據
將重點轉移到組織如何在現實世界中應用大數據也帶來了第二個重要趨勢:實時應用數據和分析的轉變。越來越多的人認識到事後分析並不是唯一的大數據用例,實際上這並不是最好的用例。許多組織現在意識到,通過在交易時應用最終的分析和見解,他們可以利用大數據的最大價值。
有了這個用例,組織不僅可以使用回顧性數據進行分析和規劃,而且可以使用它來塑造客戶體驗,更好地進行決策,並在消極結果發生之前降低風險。在交易點使用數據可以採取多種形式,應該是任何現代大數據戰略的基本要素。
幾家科技公司已經引入了工具和策略來幫助組織實時地整合他們從大數據計劃中獲得的見解和分析。這些包括(按字母順序):
Cambridge Semantics:一種基於語義關係數據模型的端到端的探索性分析解決方案,通過根據業務環境構建數據,實現實時分析,並縮短上市時間。
MapR:融合數據平臺,提供所謂的“數據結構”,將傳統數據湖與流數據集成在一個單獨的,位置無關的和場景感知的平臺中。
Splice Machine:一種應用程序開發平臺,它創建一個新的“預測應用程序”,將事務處理和分析處理合併,並將分析導出的洞察數據注入到應用程序工作流程中。
Striim:實時數據集成和流分析平臺,可在攝入時分析數據,以便通過實時洞察來支持決策。
VoltDB:一個運行數據平臺,可提供毫秒響應時間的實時事件處理和分析。
雖然這些技術提供商正在採用不同的方法實時應用大數據,但每個技術提供商都向企業組織提供一個相同的信息:現在是使用大數據的最佳時機。
然而,如果一個組織無法在企業級和企業運行模型中實現大數據的工作,那麼理解大數據的實際含義並將其應用程序轉移到交易點上就沒有任何好處。隨著組織試圖將大數據移到實驗領域之外,走向全面的、企業級的應用程序,它們遇到了重要的治理、管理和規模問題。
因此,Strata會話展現的第三個主題是組織在企業規模上進行大數據化工作的必要性,這並不奇怪。毫無疑問,這一進程的很大一部分需要文化和組織轉型。但也很清楚,組織還必須轉變如何應用技術本身,使其在一定規模中工作。一些科技公司展示了新的技術和技術驅動的方法,他們認為這將有助於企業組織應對大數據企業的各個方面,包括(按字母順序排列):
Dataguise:一個數據管理平臺,可發現,檢測,保護,以及監控敏感信息,如PII,PCI和HIPPA,無論是否在組織的數據格局中。
Dataiku:一個大數據平臺,創建一個單一的數據流水線,打破孤島效應,使數據科學家和數據分析人員能夠輕鬆協同工作,加快預測解決方案的部署速度。
DriveScale:一個軟件公司改變組織部署和使用所謂的“軟件可組合基礎架構”的方式,以智能和高度動態的方式連接分解的組件(計算和存儲)。
Pure Storage:高效的存儲平臺,專門用於擴展大數據部署,現代分析需求和人工智能。
Zaloni:一個數據湖管理平臺,專注於幫助企業實施數據湖,並迅速獲得規模化的業務價值。
發揮大數據的價值
大數據行業核心技術面臨的挑戰仍然存在,並將在可預見的未來持續下去。隨著數據呈指數級增長,企業組織和服務於其的技術公司將繼續處在一場持續的戰鬥中,使其變得易於管理。然而,很明顯,組織現在正在開始認真應對在整個企業中應用大數據所帶來的挑戰,從而可以加速數字化轉型,為日益增長的人工智能提供動力。而且很明顯,行業和企業組織都認識到,為了實現大數據的承諾,他們需要獲得大數據的價值。
十二熊貓
這個問題是行業內大家都很關心的問題,但是,目前為止,沒有人能夠給出標準的答案,現在來談一談我個人的一點淺見,希望大家來一起探討。
首先,大家都已經接受了一個觀點,就是數據裡是有大量潛在的價值的,越來越多數據信息服務公司的出現也從側面說明了一些問題。
其次,當前大數據的項目,大部分流於形式,或者說是跟風,但實際做的東西僅僅是一些基礎的應用,比如快速檢索,趨勢預測等,當然,趨勢預測也不能完全算是基礎,但是目前來說,是大數據項目中做的比較多的。出現這種現象的原因也是因為:不管是需方還是協助需方做項目立項的技術單位,也無法給出一些具體的應用場景。對需方來說,由於對大數據技術瞭解的欠缺,或者說是擔心大數據能不能做到期望的目標而不敢輕易試水。對技術服務方來說,缺乏對業務的充分了解而無法給出準確、可行的方案,這也是大數據應用遇到的一個困境。
再次,大數據價值的挖掘仍處於一個成長的階段,大家都在摸索可用、有效的行業解決方案。
最後,根據我個人的一些經驗給出一些數據利用的觀點:
1.對技術服務方,增加對行業專家的培養和吸納,增強企業自身在行業內的權威性好專業性。這個短期可能見效慢,但是是長久之計,也是未來發展的趨勢。
2.對需方來說,加強與技術方的交流合作,增強雙方的信任感,促進技術與業務的有效結合。
3.創客的出現是對大數據發展的一個有利推動,創客更專注於數據的利用,能夠充分發揮人的優勢,每個人都可能提出對大數據的利用方式,通過一點一點的積累,必將極大的推動大數據價值挖掘的進程。