雲服務提供商想要贏得並留住客戶，所面臨的競爭異常激烈。要想發展壯大，雲服務提供商就必須保證不斷創新，幫助客戶從數據中獲得新的洞察，找到創造額外價值的方式，從而幫助客戶推動各項業務的發展。
金山雲作為中國領先的雲服務提供商，提供圖片、視頻和銷售日誌等多種數據的雲存儲服務。客戶可以利用金山雲的雲服務器、龐大的雲存儲空間、負載均衡和雲關係型數據庫，動態分配相關資源，以滿足自身的業務需要。金山雲的雲存儲服務可以確保客戶業務的持續性，改善總體擁有成本(TCO)。
當前，金山雲數據存儲量達EB級，單日新增數據超過1PB。金山雲不斷創新，與英特爾合作，探索、研發並推出了一項大數據分析和深度學習服務，可增強現有金山雲存儲平臺的性能。憑藉這一差異化服務，金山雲在雲服務市場上獲得了競爭優勢。
金山雲大數據高級架構師倪煜表示：“我們與英特爾合作，學到了他們與其他全球雲服務提供商的合作經驗。這加快了我們學習的速度，讓我們能夠快速推出新服務，並藉此贏得新客戶。”
在雲存儲服務中添加數據分析和深度學習
金山雲和英特爾很早之前便建立了深入合作創新的夥伴關係。雙方共同發現了一個新的市場機遇，可以充分利用英特爾至強處理器，通過新的分析功能來增強金山雲的對象存儲服務(KS3)。利用這一增強的服務，客戶可從存儲在KS3雲端的數據中獲得切實可行的洞察。更重要的是，這種新服務的成本低，而性能不受影響。
金山雲攜手英特爾共同開發並推出了大數據分析平臺Kingsoft Cloud MapReduce(KMR)，這一平臺能夠幫助客戶快速構建數據分析集群並處理海量數據。KMR雖然基於Apache Hadoop，但是也可以通過Apache Storm和Apache Kafka用於分析實時數據。KS3基於對象存儲，可通過KMR直接查詢。因此，客戶可以通過這種方式使用Apache Hadoop，其成本低於大數據分析通常採用的塊存儲方式。
KMR與KS3結合使用，讓客戶能夠在雲端分析現有的數據。KMR是KS3的增強服務，客戶藉此可以從現有的數據和平臺中獲得更多價值。
KMR是一種託管集群服務，構建在數百個雙路英特爾至強處理器服務器節點之上。每臺服務器都部署了英特爾數據中心級固態盤，可為處理器提供極大的數據吞吐量。每臺服務器採用一個英特爾萬兆以太網融合網絡適配器，集群節點因而可以互相共享數據，這同時也保證了嚴苛的數據中心/雲端環境中服務器的靈活性和可擴展性。另外，還採用英特爾事務性同步擴展(英特爾TSX)對並行工作負載性能進行了優化。
KMR基於Apache Hadoop和Spark等計算框架。客戶可以使用金山雲KMR基於Web的管理控制檯創建集群，也可以為虛擬機配置內核、內存和磁盤空間。客戶可以選擇集群的節點數量，也可以在控制檯中添加新的節點，逐漸對集群進行擴展。KMR集成了Ambari和Ganglia等集群監控管理工具，可以通過基於Web的管理控制檯配置和使用。除此之外，KMR還與金山雲KS3、金山雲表格數據庫服務和金山雲關係型數據庫服務(KRDS)等雲服務實現了集成，以提供端到端的大數據解決方案。這些數據也可以存儲在本地的Hadoop分佈式文件系統(HDFS)中。
由於實現了各項雲服務的端到端集成，金山雲得以在行業競爭中脫穎而出。例如，KMR擁有金山雲KS3的訪問接口。KMR集群中運行的MapReduce和Apache Spark 可以直接將需要處理的數據傳出KS3，然後再將結果寫回KS3。各項雲服務實現端到端集成之後，客戶可以使用KS3確保原始數據和計算結果在集群釋放之後永久存儲在雲端，KS3這一服務的存儲成本相對低廉，數據存儲高度可靠。金山雲按時間對Apache Hadoop集群進行收費，客戶因此可以將他們的結果存入KS3(對象冷存儲)，隨時釋放Apache Haddop集群，從而節省相關成本。
金山雲大數據分析集群的解決方案架構
如何幫助客戶實現雲端分析
金山雲與英特爾共同開發協作，推動其雲存儲服務成功轉型為提供雲分析服務。這項新服務幫助金山雲吸引了眾多新客戶和新型工作負載，讓金山雲在市場競爭中獲得了差異化優勢。
例如，金山雲憑藉KMR贏得了醫療領域的一個新客戶。這家醫院有總計有幾百TB的數據，臨床文檔庫(CDR)包含近十億條患者診斷信息。KMR部署完畢之後，用戶可以在幾毫秒之內找到他們需要的信息，也可以快速獲得分析結果。另一新客戶運營著一個電子商務網站，產品需求受促銷活動的影響非常明顯，難以掌控。客戶採用KMR之後，其電子商務網站與金山雲相連。KMR可快速創建Storm和Kafka集群，構建實時數據處理系統，將數據處理結果寫入MongoDB數據庫。該客戶現已具備數據分析實力，內置雲也具有迅速的可擴展性。這一方式的總體擁有成本遠低於構建企業自有解決方案，推出速度也遠快於後者。
某網絡遊戲公司的日誌文件大小總計有數百GB。以前，這些文件存儲在一個MySQL數據庫中，並且需要定期查詢以生成報告和關鍵績效指標(KPI)。這種方式的數據存儲成本很高，系統的可用性也得不到保障。此外，整合不同的數據集必須由人工操作才能完成。該公司採用KMR統一存儲和處理日誌數據之後，KMR可以快速搭建集群環境，並根據遊戲玩家的數量進行擴展。數據可以存儲在KS3中，通過KMR進行查詢，這樣能夠節省人力，提高效率，大幅降低存儲成本。
不難看出，客戶之所以選擇雲端大數據處理，是因為這種解決方案靈活、高效、便於部署和易於擴展。事實證明，金山雲的客戶最青睞靈活的雲服務。
雲服務提供商可從與英特爾的合作中獲得工程設計專業知識，包括Apache Hadoop和Spark，以及雲計算中廣泛使用的其他技術。升級至新一代英特爾至強處理器可顯著提升吞吐量，大幅增加服務器上虛擬機的數量。這樣可以降低總體擁有成本，幫助雲服務提供商從數據中心資產中獲得更多價值。在這一點上，金山雲無疑是屬於起步最早的一批。
得益於工程師間長期的合作
金山雲成立於2012年，此後英特爾便一直與該公司合作，制定解決方案的詳細規範，對計算、存儲和網絡領域的所有設備和平臺進行基準測試和優化。雙方攜手推出了一種軟件定義基礎設施(SDI)，對金山雲數據中心的基礎設施進行了優化和現代化。
倪煜表示:“英特爾與多家全球最大的雲服務企業合作，他們的工程師非常瞭解數據分析和雲技術。英特爾幫助我們發現了可以涉足的服務領域，與我們一同設計了這一平臺。”
金山雲已經在英特爾架構上實現了標準化，2018年下半年所用處理器將從英特爾至強處理器E5-2690 v4升級至英特爾至強可擴展處理器6132，進一步增強金山雲KMR的計算性能和擴展能力。英特爾工程師從一開始就在金山雲的數據中心和英特爾實驗室中使用實際的基礎設施同步進行基準測試工作。英特爾與金山雲一同分析了總體擁有成本，確認數據中心現代化可以為金山雲帶來可觀的利潤。
英特爾工程師與金山雲一同優化了該公司的網絡，採用了開源數據平面開發套件(DPDK)，幫助改善虛擬開關和防火牆等網絡功能的網絡處理性能。
英特爾利用英特爾數據分析加速庫(英特爾DAAL)幫助金山雲優化深度學習工作負載的性能，同時還利用Apache Spark的分佈式深度學習庫BigDL來加快處理速度。
英特爾將繼續與金山雲合作，探索更大的優化空間，發現其他新的服務機會，幫助金山雲進一步打造差異化雲業務。金山雲目前正在部署英特爾至強可擴展處理器，同時正在評估英特爾的其他技術，希望優化機器學習工作負載的性能。
倪煜表示:“在搭建KMR的過程中，英特爾不僅提供強大穩定的硬件平臺，還提供了BigDL和Spark的其他軟件優化支持。對於改善KMR在數據分析和機器學習應用方面的性能而言，這些都非常重要。”
金山雲還與英特爾合作開發並推出了金山雲深度學習平臺(KDL)，幫助客戶從數據集中獲得更深刻的洞察。這一系統可以提供人工智能雲服務(AIaaS)，幫助客戶使用應用程序編程接口(API)進行深度學習訓練和推理;也可以用於圖像分析、圖像識別、視頻識別和語音識別等應用場景。KDL以容器為構建基礎，支持TensorFlow、Caffe和MXNet深度學習框架。客戶無需搭建深度學習環境，就能專注於構建深度學習模型和運行訓練及推理工作負載。所有數據都可以存儲KS3中。英特爾幫助金山雲優化了英特爾至強處理器上的深度學習性能。金山雲利用英特爾至強可擴展平臺大幅增強KDL的性能，在英特爾至強可擴展處理器6132基礎上，採用Intel Caffe替換標準版Caffe進行優化後，同樣使用8核進行ResNet50 的在線推理，可以獲得超過40倍的性能提升。
閱讀更多 IT經理世界 的文章
