智東西（公眾號：zhidxcom）文 | 家祥
本文根據IBM中國芯片設計部門高級經理尹文，在「智東西公開課」的超級公開課IBM專場《POWER 9-認知時代的驅動力》 上的系統講解整理而來。
本次講解中，尹文老師從內核微架構、總線互連、異構計算等方面對POWER 9處理器進行了系統講解，並表示人工智能的發展，使得如何讓整個硬件平臺滿足不斷迭代和不斷演化的算法成為一個挑戰。大家也更加關注硬件和算法以及平臺應用之間的耦合，以使人工智能應用具備更大的挖掘潛力。目前IT創新更多來自於加速器、I/O設備以及整個垂直軟件棧和硬件之間的耦合，這些創新不僅僅能為深度神經網絡提供加速的可能性，還可以滿足上層的算法和應用進行不斷迭代、不斷延伸以及不斷進化的需求。
精華整理
尹文：大家晚上好，我是來自於IBM的尹文，感謝智東西提供交流的平臺，能有機會跟大家一起交流。
今天分享的主題是《POWER 9-認知時代的驅動力》，我會重點跟大家介紹下POWER 9芯片的架構、技術特點以及一些技術策略，同時也會介紹如何基於POWER 9搭建人工智能應用的服務器和它的應用範圍以及生態。
2008年，IBM首次提出了智慧地球這一概念，把計算又引入到了一個新的維度，就是計算本身可以感知世界本質的變化。另外，通過互聯互通的技術讓各個計算節點能夠更多的互聯互通，在這一基礎上，計算機上面的負載以及所有的事務流程和運行方式也有了更加深入智能化的機會，因此企業在獲得數據的同時，也更加需要一些智能的洞察。
如何來定義一個認知系統呢？我們認為，認知系統至少需要具備以下四個特點才能完成認知技術的定義。這四個特點可以縮寫為URLI，也就是Understanding、Reasoning、Learning、Interaction。
首先在理解（Understanding）中，認知系統要像人類一樣能夠理解非結構化的信息。所謂非結構化，與它相對的是結構化數據，結構化數據是比較易於搜索，並且比較容易被大家所操作。比如進行一些排序或者查找等；而非結構化數據，往往是不容易搜索到的一些數據，包括我們所熟知的互聯網上的音頻、視頻和社交媒體發佈的種種多樣的格式信息；
第二，認知系統必須要具備推理（Reasoning）能力，需要通過對數據進行吸收和消化形成一個基本的概念，能夠產生假設推斷、提取想法、作出決定等這些類人類的邏輯能力；
第三，需要有學習（Learning）能力，通過在數據的提取互動和成果當中不斷地學習，去增加一些新的知識；
最後是互動（Interaction），需要認知系統有看、聽、說等類似於人類五官的特點。
從這張圖我們可以看到，數據的價值是在不斷提升的。在AI領域，大數據、計算能力和算法都是必不可少的，而數據在其中起了非常重要的推動作用。之所以人工智能發展的速度這麼快，也是由於大數據的興起，而掌握流量入口的那些互聯網公司在人工智能領域都有很大的話語權。
同時對數據本身來說也有很明顯的變化。回到2010年，大家會發現非結構化數據並沒有呈現出爆發性增長的趨勢，但在2015年，絕大多數的數據都是來自於非結構化數據，比如各類文本圖片、多媒體數據，也包括物聯網所採集到的各種模擬參數等數據。
預測到2020年，整個數據量會達到幾十個ZB的數量級。不管是零售業、高性能計算還是企業級的應用，如醫療、油氣等這些行業，增長趨勢基本上都是相同的。同時在2020年前後，每天新產生的數據都會達到上億ZB的水平。因此可以看出，隨著應用的驅動會帶來更大的數據量的井噴，從而導致整個數據的消化吸收需要一些更加完善和更加智能的硬件平臺。
剛才談到認知的應用和大數據，我們知道現在大部分的應用都往雲端轉移，而這麼多類型的認知應用，需要數據中心平臺提供多大的計算力呢？可以看一下左邊這張趨勢圖，黃色實線表示傳統的數據量隨著信息的增長呈線性增長趨勢，紅色虛線表示智能化對數據的要求呈指數增長的趨勢，也就是智能化對數據的要求更高，而智能化對計算的需求也在呈指數級增長。
通過右邊這張圖可以看到，之前大量計算力的消耗都是在企業級應用負載上，比如傳統的OA（辦公自動化）、ERP（企業資源管理）以及CRM（客戶關係管理）等企業級辦公軟件。
未來的互聯網，包括雲計算、人工智能等各方面都會對計算能力有新的要求。相比於傳統的數據庫中間件和企業應用都呈線性增長趨勢，在未來我們會有更多商業智能，包括各種人工智能應用，在大數據和深度學習基礎上會有更大規模的增長，這種增長將是指數級的。因此，隨著摩爾定律線性的增長，到入口帶來大量數據的處理以及之後在雲上，數據中心會有更多商業智能應用出現，對計算力也會有不同量級的需求。
為什麼DeepLearning和神經網絡現在會被大家所熟知或者追捧呢？
基於神經網絡的深度學習是人工智能方面的一些專家發明的，他們提出了各種各樣的方法，包括反向傳播、梯度下降訓練、基於GPU神經網絡的加速等。神經網絡算法本身的結構是相對簡單的，也非常有利於算法本身的擴展和延伸。從理論上來說神經網絡算法可以近似為大家經常使用的一些函數，可以解決很多複雜和抽象的問題。神經網絡算法也非常適合應用在圖像識別領域，因為神經網絡本質上解決的是分類問題，因此它在圖像識別領域是一個非常直觀和能夠達到實際應用價值的落地方向之一。
算法需要與硬件加速結合起來。我們都知道神經網絡的結構是非常規整的，它對硬件結構上的要求並不是那麼高，因此硬件工程師可以簡單地去堆砌和延伸計算單元。而現在神經網絡中常用的計算單元是浮點乘加，這些計算單元的不斷累積就可以實現對一定規模的神經網絡算法的加速。隨著芯片技術本身的不斷延伸和進步，作為芯片開發者可以越來越容易將更多的計算單元集成到單塊芯片上，從而達到算法的並行化，同時在計算的過程中，也不需要很複雜的邏輯控制。
從上圖中右邊的趨勢圖可以看到，最近幾年通過搜索引擎對深度學習的搜索次數迎來了爆發性的增長，也說明越來越多人在深度學習上投入了大量的時間去研究和學習，推動深度學習和算法、硬件等各方面的發展。
深度學習之所以在最近幾年會呈現指數級的增長，原因剛才我也提到，隨著計算能力要求的提升，在之前的技術中，計算量大並且很難進行多層計算，而基於很多層神經網絡的深度學習使得快速計算成為了可能，計算力和算法的結合就形成了人工智能當中的熱點區域，直接帶動很多人工智能應用的落地。
從圖上我們可以看到，深度學習是機器學習領域中的一部分，從整個人工智能以及認知計算領域來看，它也只是冰山一角。因此，在整個認知計算中，我們要對很多人類所熟知的一些現象和數據進行更加高級的分析，這就對整個硬件平臺以及計算力提出了更高的需求。
如何實現讓整個硬件平臺能夠滿足不斷迭代和不斷演化的算法也是一個挑戰。
認知時代對數據中心硬件的需求越來越高。在芯片行業有一個摩爾定律，隨著摩爾定律的不斷延伸，即硬件計算能力將隨著時間的延續可以不斷地進行一定規律的增強。而隨著芯片生產製造的設備以及整個架構支撐的投資方向的不斷困難，摩爾定律正在不斷的放緩，當半導體制造工藝達到7nm甚至5nm時能否延續摩爾定律將是一個問題。
隨著人工智能的發展，我們將更加關注硬件和算法以及平臺應用之間的耦合，這使得人工智能應用能夠有更大的挖掘潛力，硬件設備也能達到最好的性能。IT創新更多來自於加速器、I/O設備以及整個垂直軟件棧和硬件之間的耦合。這些創新不僅僅為深度學習神經網絡提供加速的可能性，還包括整個人工智能和認知計算的範疇，並且能夠滿足上層的算法和應用進行不斷迭代、不斷延伸以及不斷進化的需求。
這張圖展示了POWER處理器的路線圖。今年8月份在美國加州的Hot Chips 2018大會上，IBM公佈了POWER 9和未來POWER處理器的路線圖。
2018年和2019年，POWER芯片還將維持在14nm製程、24核架構，也將繼續優化內核架構，包括內存子系統以及I/O互聯技術。
基於POWER 8和POWER 9架構，IBM將開放更多的芯片技術，在這種開放的基礎上，我們可以跟更多的合作伙伴一起開發基於POWER架構的處理器。
上圖黃顏色部分就是基於POWER 8和POWER 9開發的處理器。在合作伙伴開發的過程中，我們可以根據一些特定的應用去選擇不同工藝的架構。而對於未來的POWER 10，雖然它的架構還有很多需要去決策的地方，但是我們會讓大家看到IBM在加速I/O互聯以及先進工藝等領域的不斷更新和驅動。
在Hot Chips 2018上，IBM公佈了POWER 10處理器會支持PCIE第五代技術，這是POWER 9在首發PCIe Gen4後在PCIE總線技術上的領先。IBM在最近十年，從POWER 6、POWER 7、POWER 8到POWER 9和之後的POWER 10，都持續在價格、性能和整個芯片的特點以及生態之間的耦合，包括未來對上層應用和軟件生態等方面做持續的優化和創新。
從這張圖我們可以看到POWER 9一共有24個核，每個核可以支持四線程SMT4。目前POWER 9芯片總共有120MB的L3，即三級非一致緩存（NUCA）架構，12塊20路組相連的區域，片上的帶寬最高可以達到7 TB每秒。
在雲和虛擬化中，我們也有更多新的中斷架構和策略，包括應用負載平衡上所帶來頻率優化策略以及受強制保護的硬件執行。另外值得一提的是，在整個硬件加速平臺的支持上，POWER 9支持NVLink2.0接口；在I/O子系統中，也有全球首發的第四代PCIe接口，最多可以支持48路；另外，在對稱多互聯中，本地對稱多處理系統（SMP）單通道也有高達16GB每秒的接口；在POWER 9工藝中，我們選擇了14納米 SOI FinFET工藝，整個芯片的規模達到了695平方毫米，集成了超過80億個晶體管。
接下來我們來看下POWER 9內核微架構的細節。中間對應的是VSU，上面是IFU和ISU，取址和指令隊列單元，最下面是LSU，是取址和存儲指令的一些單元。從執行單元模塊的數量來看，POWER 9在一個核裡配了四個Load和Store、四個定點、四個浮點、四個VMX單元以及一個十進制浮點預測單元。在整個架構設計上， POWER 9具有更加先進的算法來實現預測準確率。在標量方面有融合的結構，在可執行單元位寬中，有128位位寬，總共可以實現256bit的數據執行位寬以及獨立的Load和Store隊列。另外在指令執行性能為8取指、6分派、9發射。
相比POWER 8，POWER 9採用了很多架構增強的技術，除此之外，在流水線設計上，取指令到計算的延遲縮減了5個時鐘週期，主要得益於整個微結構電路級別上的優化，當然還有一大部分也歸功於整個工藝優化上的效果。以浮點指令為例，從執行到指令完成的延遲減少了8個時鐘週期，所以從整個流水線的優化，可以看到POWER 9相比POWER 8還是做了很大的改進，流水線進一步優化也提升了POWER 9在面積、性能和功耗等方面的競爭力。
POWER 9內部有兩個SMT4的庫共享一個片上L3緩存。緩存也是基於SOI的工藝和eDRAM設計的，相比於SRAM，（ SRAM電路的機理最多是採用6個晶體管搭起來靜態的電路，我們叫6T結構），eDRAM採用ETEC在硅片中打一個深溝道的模，由於在硅片中打一個深溝道的面積非常小，相比於傳統的SRAM，eDRAM在面積上可以得到三倍的提升，也就是相同的容量，eDRAM只需要1/3的面積，同時能耗也可以得到很大的降低。基於eDRAM的存儲結構，還可以在帶寬上得到比較大的提升。
POWER 9芯片採用了17層的金屬，金屬層越多，芯片在物理設計上得到的靈活性也更高。比如POWER芯片想要得到更好的電源穩定性以及時鐘的穩定性，需要更多的走線資源，而POWER 9在整個電源網絡和時鐘網絡中，採用Mesh結構，裡面也有諧振時鐘的電路，可以保證在頻率非常高的運行狀態下得到穩定的性能。
從認知和人工智能的應用對硬件平臺的需求可以看出來現在人工智能的應用千差萬別，算法也層出不窮。為了提高這種上層負載的靈活性和交互性，底層硬件的計算率該如何來滿足上層負載的靈活性和交互性需求以提高硬件架構多樣化也是一個重要的話題。
異構計算就是一個很好的解決方案，異構不是一個非常新的概念，在一二十年前就已經被提出來了，異構計算和異構編程也在之前的十多年中不斷的發展。在整個異構計算框架下，異構的核心是交互。CPU作為host端，要和很多人工智能的硬件進行數據和任務交互，當然也包括GPU、ASIC、FPGA、Memory以及其他的人工智能芯片。
各種異構計算核心都有自己特別的一些計算能力，現在整個計算機體系的結構仍然是以CPU為核心。CPU，顧名思義就是中央處理器，如果大家把整個架構看成是廚房，CPU就是大廚，而擅長各種不同任務的GPU、ASIC或是FEGA可以做各種不同菜系的幫手。作為一個大廚，CPU要建立一個高效的異構廚房來與各個小夥伴之間交互以及數據傳輸，還要保證大家對於一件事情理解的一致性。這是非常重要的，也體現了CPU總線在整個異構平臺上的重要性。
總線有幾個非常重要的因素：
首先是帶寬，帶寬要足夠大才能保證大量數據的快速傳輸；
其次是延遲，比如數據從GPU到CPU，然後再回來，整個延遲儘可能要在整個內存上尋址；
最後是一致性，即保證一致性內存共享對上層編程的應用性是非常重要的。
在接下來的分享中我會針對這幾點做深入的探討。
POWER系列處理器從POWER 8到POWER 9，在異構計算互聯的帶寬以及一致性上是有很多創新的。從最早期的PCIe Gen3通過PCIe來連接加速器，隨著POWER 9首次使用PCIe Gen4後，整個架構帶寬翻倍，這種更大帶寬可以支持更多的數據交互。
POWER 8處理器首次採用的NVlink1.0，相當於打通了POWER處理器和NVIDIA GPU之間的專用高速通路，但NVLink 1.0實際上並不支持統一一致性的內存共享。在NVLink 2.0中，不僅是整個物理傳輸速度的提升（從之前的16G到現在的25G），在整個內存一致性和地址轉換上也有很大的提升。
想必大家對NVLink有比較大的興趣，我們可以更加細緻地來看一下NVLink是如何來實現POWER處理器和GPU之間的高效連接的。
NVLink作為一個總線接口，不僅僅是CPU和GPU之間的互聯，也是唯一能夠在POWER上實現CPU和GPU之間互聯的技術，這也是POWER處理器與其他處理器不同的地方。NVLink可以帶來很大的帶寬。
上圖右上角展示了一個最簡單最基礎的拓撲結構，兩個POWER架構的CPU可以通過本地對稱多互聯（SMP）的技術進行一致性的連接，同時POWER處理器也可以通過CPU和GPU之間，GPU和GPU之間的NVLink做到雙向高速的互聯。基於這個結構，可以實現更加複雜更加多樣的CPU和GPU拓撲結構。在不斷地去擴大拓樸結構的同時，我們可以去設計一個比較好的通信算法，隨著拓撲結構CPU和GPU計算節點的增多，在算法的效果上可以有很好的線性度，這也是非常重要的。
當計算節點不斷增加，有一個比較好的線性度對於大規模的計算集群的構建或是對一個數據中心的構建來說是有非常重要的意義的。首先它可以給整個系統帶來更快的訓練速度和更高的精度。
上圖也是NVLink在整個POWER計算系統中的進化過程。 2016年，我們在POWER 8上發佈了NVLink 1.0，當時也有服務器可以支持NVLink 1.0鏈接，通過NVLink來連接Pascal系列的GPU；從去年到今年中， POWER 9可以支持NVLink 2.0，支持Volta系列的GPU，比如V100，可以支持更高的帶寬。上圖中也有實測的帶寬，還是比較接近理論值的。
相比NVLink 1.0，NVLink 2.0可以讓NVIDIA GPUs和POWER 9處理器有更加緊密快速的連接。
從緊密性來講，我們可以看到一個最大的特點是作為異構計算非常關鍵的部分，異構編程一直是整個異構計算系統中一個比較頭疼的事情。POWER 9和GPU通過POWER 9上比較豐富的異構計算接口資源（NVLink 2.0）緊密相連，使得整個系統的內存在邏輯上可以被統一為一個更大的具有一致性的內存空間，可以同時供POWER 9和GPU來進行訪問，這種一致性的模式可以讓GPU和POWER 9之間更好的協同工作，從而提高整個系統的性能和功耗。
另外很重要的一點是，可以使編程的複雜度大幅度降低，程序員可以更多去關注計算分配本身，而不用去過多的考慮Memory去尋址的問題。因為整個系統具有統一的一致性內存模型，針對該模型，可以去設計專門對統一尋址的模型基礎優化過的軟件庫。
右邊這個圖是在編程當中，為了更好地利用POWER 9和GPU本身的計算特點和計算能力以及整個NVLink在中間數據調度的特點，首先在一個典型的高性能人工智能計算應用本身，從上到下（黑顏色的箭頭）以時間為順序執行；從大的分塊來講，負載或應用程序整體的性能既受中央處理器CPU的影響，又會受GPU的影響。在大量的應用當中，它的控制部分需要通過CPU來執行，這些串行的部分通過CPU來執行可以有效地降低延遲，而數據大規模的分發進行並行計算對於GPU來說也有很大的優勢。
GPU的控制是非常簡單的，它的並行計算單元非常豐富，在GPU做完並行計算之後，在串行和並行計算的邊界，POWER 9和GPU之間的數據交互需要一個非常大的帶寬、極低的延遲和低功耗傳輸到POWER 9中進行處理，處理完之後在Memory中對數據進行存儲，或是更新之後會有一些新的計算任務重新交回給GPU，然後再反覆迭代並行和串行部分。
從這裡可以看出，一個高速低延遲的接口，以及一個統一內存的模型對於整個編程和應用程序的性能調優來說是有非常大的好處的。目前POWER 9上有2 TB的統一尋址的內存空間。
接下來為大家介紹下CAPI和OpenCAPI，也是POWER處理器上一個比較有特色的接口。
CAPI，也叫一致性處理器接口。在POWER 9上，我們首次有了OpenCAPI的概念，在OpenCAPI中，我們把傳輸層和鏈路層開放給合作伙伴和客戶，他們可以去使用OpenCAPI的接口。OpenCAPI也繼續保持了CAPI上一致性的特點，可以顯著提升可編程性，我們主要的應用是在FPGA上（當然也不侷限於FPGA）。
在編程的應用性上，編程人員可以不用過多去考慮設備的驅動以及內核態內存操作，只需要用戶態的程序就可以更加方便地跟加速器進行互動。OpenCAPI不像之前CAPI 1.0和2.0，它是架設在整個PCIe物理接口上的，相當於它的協議變得更薄，這樣所帶來的好處就是接口的延遲和邏輯量會有極大的提升。
POWER 8上的CAPI 1.0是基於PCIe Gen3的，CAPI 2.0時升級到Gen 4；而OpenCAPI的物理傳輸通路採用了25G的標準，在通道數上沒有太多的變化，而在Device靈活性上有了很大的提高。值得一提的是，由於OpenCAPI的協議層更加的薄，延遲上基本上有一個數量級的提升。如果大家對OpenCAPI有更多的興趣，可以訪問OpenCAPI的官方網站以獲取更多信息。
POWER 9在工作負載中深度優化可以分為四大類：
第一、在分析計算人工智能和認知計算上的一些優化特點，在POWER 9上，從內核的設計、執行單元的模塊化、流水線性能的提高以及單線程能力的提高，使得POWER 9可以支持更加複雜的、對計算力要求比較高的一些人工智能負載。通過計算力的不斷提升，可以提供更多的計算資源。在加速上，POWER 9有豐富的加速接口，可以支持更多OpenPOWER。在應用負載上，POWER 9對整個大數據、SAP、DB2 BLU、IBM內部的認知計算以及各種業界廣泛使用的大數據平臺和人工智能的算法框架都有很好的支持。
第二、高性能計算，接下來我會給大家重點分享橡樹嶺實驗室以及勞倫斯利佛摩爾國家實驗室。
第三、在雲計算和數據中心上， POWER 9有不同I/O接口和封裝的選擇，可以有更多的系統設計方案。在虛擬化能力上，目前我們對雲的安全要求也在不斷的提高，同時對於中斷也會有更多的優化。POWER 9上有著良好的網絡擴展和內存的性能。
第四、企業級應用，也是POWER計算系統一直以來的強項，比如OA等傳統的企業級應用，而且大規模容量的緩存技術也對企業級大數據應用有很好的支持。值得一提的是，IBM在企業級應用上的可靠性和可擴展性在業界一直都處於領先的地位。
這裡跟大家介紹基於POWER 9所搭建的AC922人工智能服務器。
今年6月份，在德國舉行的超算大會上，基於AC922的超算集群登上了HPC Top500的榜首。AC922是基於POWER 9芯片的人工智能服務器，是世界上迄今為止速度最快的服務器。在人工智能模型訓練上，AC922相比傳統的服務器有高達3.8倍的時間縮短，在數據庫性能上也有接近2倍的提升。該服務器的規格是2U 19英寸機架式機箱，也是現在數據中心非常普遍的使用規格。每個服務器中有兩個POWER 9處理器，在數據中心的運用當中，基本上達到了70%以上的使用率。同時，AC922可以支持4到6個NVIDIA Volta GPU，把這些組件集成到一個主板上，放在一個標準的機架式機箱當中，並且可以擴展主動式網絡。
珊瑚計劃（CORAL）是美國能源部下幾個研究機構的集合，包括橡樹嶺國家實驗室、阿貢實驗室以及勞倫斯利佛摩爾國家實驗室。這些實驗室主要從事基礎學科的研究，包括高能物理、節能材料以及宇宙等各種分析，它們都需要很大的計算量。而基於AC922所搭建的Summit和Sierra兩個系統，可以很好的支持這些計算。這兩個系統都可以達到億億次級的AI操作，也叫Exascale操作。相比於老一代的泰坦服務器，可以達到十倍以上計算性能的提升，在各種應用場景上，也可以達到5到10倍的提升。同時在今年年初，Summit和Sierra系統在這幾所研究機構均實現了全面的部署。
其實早在1954年，IBM就利用超級計算機進行天氣預測和很多複雜的計算。截至目前為止，IBM在超級計算機上已經有長達半個多世紀的探索和創新。當中有大家熟知的深藍（Deepblue）、藍色基因（Blue Gene）、Watson以及Sequoia這樣的超級計算機。美國橡樹嶺國家實驗室的Summit超算集群也是今年HPC高性能計算大會上公佈的迄今為止速度最快的超算計算集群。
在未來兩年（2020年前後），整個超算要向億億次級去邁進，美國能源部對此投資超過2億美金，而我們也知道在實際上要達到億億次級別的計算是非常困難的。IBM作為在超級計算領域的領軍者，我們認為，未來計算還是以數據為中心的，基於超大數據規模的複雜計算、建模和仿真去構建一個更加可擴展、可靠和可控的解決方案。
另外，在百億億級次計算系統設計中主要技術挑戰在於電源效率、可靠性、可擴展性以及可控性。對於電源效率，需要強調一點，目前一個超算的能耗基本上達到了上百千瓦。對於百億億次級的超算中，如果不提升電源效率，整個功耗將會達到兆瓦級別，是相當恐怖的，如果再繼續像這樣發展下去，在百億億次級時代，一個超算計算集群或者一個數據中心，可能就需要一個發電站來給它供電了。因此在電源效率、可靠性、可擴展性以及散熱等各方面的挑戰是貫穿整個超算系統涉及的各個領域。
人工智能的負載需要更多計算的靈活性，隨著工作負載需求的不斷增加，摩爾定律很難繼續線性化地去滿足性能。在硬件要求上，單純的一家公司是很難滿足多樣化的工作負載變化的，這就需要一個更開放式的平臺。
OpenPOWER就是基於這樣理念的平臺，並期望能夠成為開放創新的驅動力。在OpenPOWER誕生之初，我們也希望能夠提供更多開放式的開發環境，並且能夠在基於高性能的POWER處理器架構的情況下讓整個系統能力得到更大的提升。OpenPOWER不僅僅是系統設計，包括芯片領域也希望能夠跟合作伙伴一起去產生更多的POWER衍生芯片，從而滿足更多這種負載多樣性的需求。OpenPOWER服務器的類型在不斷的豐富，生態也在不斷的壯大。對於客戶來說，他們將會有更多的選擇。
閱讀更多 智東西 的文章
