誰掌握大數據和它的使用方式，誰就掌握了明天。
作者 周舟
今天全世界市值前五的公司，即蘋果、亞馬遜、谷歌、微軟和Facebook，有一個共同的特點，它們是掌握世界上最多數據、也最會使用數據的公司。
吳軍在《浪潮之巔》中揭示當下工業革命的範式：現有產業+大數據=新的產業。
如何正確得使用大數據，將公司現有的業務和市場規模變得更大，成為當代幾乎所有企業都必須思考的一個問題。而大數據平臺便是這個問題的解決方案之一。
對此，雷鋒網AI金融評論採訪了京東數科T1大數據平臺負責人。
他和我們分享了京東數科T1大數據平臺的產品特點和技術特色、在金融領域的服務情況以及在具體實施過程中遇到的困難等內容。
以下為對話實錄：
AI金融評論：T1大數據平臺是一款什麼樣的產品？
T1大數據平臺是一個涵蓋數據採集、加工、處理，包括數據資產管理、數據服務和數據應用等一整套從底層到上層的、全生命週期的一站式大數據平臺。
平臺有兩個特點，首先它是一站式的平臺，從底層快速地幫助用戶搭建一整套的大數據體系，幫助客戶迅速完成數據的資產化和價值化，並且通過數據服務層的能力組合，比如數據接口或者畫像、標籤、相關的系統支撐各種業務場景。
第二，整個大數據平臺本身是一個配置式和自動化程度比較高的系統，能為用戶提供良好的操作體驗，大大降低用戶操作門檻。
AI金融評論：T1大數據平臺面向哪類型的客戶？
一般是金融機構，目前我們做的比較多的有民營銀行、股份制銀行和城商銀行，可以簡單的分為三類：
第一類金融機構，目前還不具備高效的實時處理和分析功能，它們需要建設一個實時的大數據處理平臺。
比如一家中型銀行，每年產生的數據量可以達到數十TB，涵蓋了應用數據、行為數據和系統日誌等多種多樣的數據來源和格式。如果沒有合適的運營管控工具，這些數據只能“沉睡”在後臺，無法發揮價值。
第二類金融機構，具備傳統的數據倉庫，可以解決分析報表的需求，它們需要建設一個整體的大數據解決方案。
第三類金融機構，本身具備不錯的大數據平臺能力，但建設的比較分散、孤立，業務之間存在gap，它們需要一些產品，比如數據接口或畫像系統，在大數據平臺和應用之間架起橋樑。
AI金融評論：如果客戶本身已經有大數據平臺，再對接T1大數據平臺，會遇到哪些問題？
客戶在已有大數據平臺上再採購集成其他的大數據產品，主要會碰到的是兼容適配的問題。
相對於業內某些產品的封閉性和排他性，T1大數據平臺是一個開放式的架構，既可以把平臺整體輸出給用戶，也可以按需輸出某些子產品作為客戶的能力補充。
T1的子產品對外部依賴都做了兼容性的處理，也預留了一些對接接口，可以快速和客戶本身已有系統進行對接。比如T1大數據平臺曾輸出畫像產品給某家客戶，需要和客戶已有的ETL系統進行調度對接，由於畫像產品已經預留了調度對接的接口，所以非常順利地就完成了對接工作。
AI金融評論：金融機構十分注重安全性問題，京東數科對此做了哪些工作？
的確，金融公司對數據的歸屬性都比較敏感，T1大數據平臺提供私有化部署的服務，可以把大數據平臺部署到客戶的環境當中，將數據劃定在一定區域中，非公司內部人士不可能直接訪問到相關數據，從機制上保證了數據安全。
在使用大數據平臺時，對於企業客戶內部的操作人員，京東數科提供數據全生命週期的安全管理服務，對敏感數據進行分級分類。這種方式下，操作人員只能接觸到一定範圍內的數據，保障了操作時的數據安全問題。
AI金融評論：T1大數據平臺有直接對標的產品嗎？國外有Cloudera，Hortonworks，國內有神州信息、華為、星環、明略數據等大數據平臺產品，相比這些廠家，T1大數據平臺有哪些優勢和劣勢？
京東數科T1大數據平臺具備實時異構的海量數據處理能力，比如實時數據處理平臺，已經達到TB級的數據在線實時處理，並且能夠提供毫秒級的延時。
此外，京東數科T1大數據平臺還提供了一套新的數據服務架構，在以前傳統的架構中只能處理結構化的數據，而T1能夠對各種結構化、半結構、非結構化的異構數據，實現統一的數據接入、數據整合以及數據加工處理和分析。
AI金融評論：之前您說道，T1大數據平臺”是一個全套的解決方案，可以給我們講一講它“全”在哪裡嗎？它比較特色的組件又在哪裡？
T1大數據平臺的“全”主要體現在三個方面：一是產品功能覆蓋了從異構數據的採集、存儲、加工和使用的數據全生命週期的端到端的整體流程，具備採集的數據類型全，採集的時效性高和使用方式靈活多樣的特點。
二是產品操作方式覆蓋了大數據技能水平的所有用戶群體，既提供了拖拽式、智能化的不需要具備專業大數據技能的便捷操作方式，也為算法工程師、數據科學家等高階用戶提供了自由式的數據探索入口，讓平臺的作用最大化。
三是在大數據價值鏈的傳遞上能夠為數據應用的全場景提供良好的支撐，數據接口、標籤、模型等服務都可和上層數據應用場景做無縫集成和對接。
有不少比較有特色的組件或功能，比如數據複製組件可以實時解析採集MySQL、Oracle、DB2、HBase和Mongodb等多種主流數據庫的數據，在整個業界同類產品中功能也是非常領先和突出的。標籤畫像組件不僅僅具備標籤畫像的加工查看功能，還提供了和上層業務的快捷對接方式和應用效果評估，解決了使用上“最後一公里”的問題。
AI金融評論：對於一些本身體量較小或者目前數據量積累較少的公司，有人認為沒有必要搭建這一套系統，暫時先租用AWS和阿里雲就夠了。對於數據量大，但數據分析需求較簡單的公司，可以直接買Tableau，Splunk，HP Vertica，或者IBM DB2等軟件或服務即可。您覺得數據量或者記錄規模大概達到什麼級別就必須上大數據平臺？
大數據平臺的使用可能和數據量沒有直接的關係。
有的初創公司或者某些行業的公司，對於數據的使用和數據歸屬性的要求沒那麼高；有些公司目前的需求是解決一些業務運營分析，它們的確可以去購買一些公共的服務。但是當這些公司發展到一定階段之後，如果想去更好的開展一些業務，比如說營銷拓客、在線個人信貸或者風控，是需要具備大數據平臺能力的。
AI金融評論：T1大數據平臺是開源的嗎？
T1大數據平臺的底層基於開源的生態體系來打造，這樣能幫助我們的客戶去利用到開源生態體系的一些能力，支撐業務的發展。但就產品本身來說，目前不開源。
AI金融評論：T1大數據平臺從開始定製到正式使用，一般需要多長時間？
目前，T1大數據平臺已經是非常成熟的一套標準化的產品。我們也提供了一鍵式安裝部署的服務，可以把T1大數據平臺以標準化的方式，非常迅速的融入客戶的IT系統中。基本上一週之內，它就可以實現投產運行。
AI金融評論：您提到，一週內可以完成產品的部署。那把產品從0到1部署到銀行原有IT系統的大致流程是什麼樣的？你們這一週主要幹哪些事？
T1大數據平臺為了保障對客戶的交付效率和體驗，更多的工夫會體現在這一週之外。從技術層面上，T1大數據平臺可以實現自動化和容器化的安裝部署模式；從交付方式上，專業的交付實施團隊會提前和客戶規劃好部署架構，並在T1大數據平臺的自有演練環境完成部署演練，從而達到在客戶現場最快速部署落地的效果。
AI金融評論：在這一週的部署過程中，你們需要幫銀行IT部門解決的最複雜的技術和系統對接問題，您認為是什麼？在真正部署的階段前，我們會同銀行IT部門一起來解決適配和對接的問題。在銀行落地過程中，主要會碰到基礎環境兼容、既有系統對接和客戶自有工作流程的銜接等問題，相對來說既有系統的對接是比較複雜的部分，T1大數據平臺各個子產品對可能發生外部交互的功能邏輯進行了抽象封裝，以接口化、插件化的方式實現最小化代價的對接。
下週公開課預告
