05.15 鯤雲牛昕宇:一個定製化數據流人工智能芯片憑什麼滿足眾多AI場景需求?

物聯網與人工智能的結合帶來了一個規模和潛力巨大的市場,因此無論是行業巨頭還是創業者紛紛湧入其中。芯片作為人工智能發展的關鍵,在雲端被英特爾、英偉達等巨頭佔據了絕對優勢,留給AI芯片創業者更大的機會在於終端的人工智能,並且有種說法是,前端越智能,人工智能才能產生更強的動能。

鯤雲作為眾多AI芯片初創企業的一員,在成立之前無論是在專利還是技術上已經有了很深的積累,其中Handle-C是鯤雲CEO牛昕宇導師90年代初做的一套開發工具,經過三十多年的迭代和經驗積累,最終成為了鯤雲的核心競爭優勢——全自動化工具鏈。該工具結合鯤雲自主研發的搭載FPGA芯片的雨人板卡,在最大化發揮FPGA性能的前提下,可以針對不同的應用場景需求自動編譯深度學習算法到芯片上,不僅實現高性能,還能兼顧通用性,降低開發成本和難度。

不過,鯤雲自主研發的打通從頂層應用到底層芯片的深度學習方案真的能夠滿足多場景的需求,實現讓IoT終端都裝上智能大腦的願景?在眾多的AI應用場景中,鯤云為何選擇優先為智慧城市和智能製造的IoT設備裝上智能大腦?鯤雲的直接對手是誰?帶著這些疑問,雷鋒網近期採訪了鯤雲科技CEO牛昕宇博士。

鲲云牛昕宇:一个定制化数据流人工智能芯片凭什么满足众多AI场景需求?

鯤雲科技CEO牛昕宇博士

2018年4月18日,在深圳舉辦的《2018全球人工智能應用創新峰會》上,鯤雲科技發佈了一款AI平臺級產品——鯤雲AI開發平臺。這款以自主研發芯片架構為底層,以開放應用平臺為依託,為人工智能的頂層應用開發提供計算資源的人工智能生態平臺,可以為物聯網應用終端自動生成人工智能算法的DFG、配置人工智能芯片板卡所需的比特流文件。其技術平臺將與自動駕駛、城市大腦、醫療影像、智能語音等應用層開放平臺形成協同作用,建立研、產、融相結合的一體化人工智能生態平臺。

產品及技術

雷鋒網:你認為終端側人工智能對整個AI行業發展的意義是什麼?

牛昕宇:終端側的人工智能對整個行業發展的重要意義可以從短期和長期去看。短期內終端側對於人工智能的重要意義一個是分流,另一個是隱私。分流方面,比如深圳市現在安裝了數百萬顆攝像頭,這些攝像頭絕大部分都是高清的。一般1080p的攝像頭一秒鐘就要產生5兆左右的數據,一天大概接近400多G,不過這些物聯網節點發回來的數據大多沒辦法直接使用,以人臉數據為例,直接發回的數據並沒有用,而是需要識別確認這個人到底是誰,這時候其實不需要把所有的數據都在服務器裡處理,而是可以通過前端加後端的方式,後者可以更靈活,更實用,成本也更低。

分流裡還有一個更極端的例子,就是一些需要閉環的反饋,比如機器人、無人機、自動駕駛的車輛,需要前端馬上做出反饋,然後引導設備做下一步的工作。這時候就不能依靠服務器的方式,因為帶寬會不穩定、反應的速度也無法保證,自動駕駛依靠雲端的人工智能是無法想象的一件事情。

另外一個是隱私,現在很多智能的家電終端都裝了攝像頭,所有的計算都在服務器裡進行。但其實用戶對此反應比較敏感,因為這個證明所有的數據都是要上傳到雲端的,這就產生了隱私安全的顧慮。解決這個問題的一個方法是讓前端進行分析,自動判斷並執行所需的操作,讓數據留在終端。最大限度的做到隱私保護。人工智能只是一個工具,這種工具的作用是讓前端設備慢慢變得更加智能,當網絡越發達的時候越需要前端有更強的計算能力,對於前端採集的信息進行實時處理並加以利用。有種說法是前端智能越智能,人工智能才能產生更強的動能,這是中長期的一個大趨勢。

雷鋒網:AI芯片的主流類型,目前來看有GPU、FPGA、ASIC等,你們為什麼押注FPGA?

牛昕宇:首先聲明一點,我們沒有押注FPGA,只是FPGA是ASIC前的一個必要環節,流片之前都會進行FPGA驗證,雖然FPGA所用資源較多,不過可以實現跟ASIC一樣的功能。至於最終是否流片主要由市場規模來定。無論是FPGA還是ASIC,只是芯片的不同形態,GPU也可以認為是一種ASIC。用FPGA有兩個方面的考慮,一個商業考慮,另一個是技術需求。

從商業化上說,不管是做什麼類型的芯片公司,公司總歸要回到商業的本質。站在客戶的角度,他們不關心使用GPU、ASIC,還是FPGA,只關心能不能給他們提供一套方案解決具體問題,需要多少成本。這就意味著不是選擇哪種芯片,而是最終支持人工智能算法的解決方案。人工智能算法要能夠形成一個方案,幫客戶解決具體問題,首先需要解決算力問題,然後把功耗壓到足夠低,讓它能夠在前端應用。有自主研發能力的公司大部分能跨過這個門檻,然後就是成本的問題。FPGA可以認為是固化好的一個完整硬件白板,在這上面寫電路至少能保證電路沒有任何問題,而且它的採購成本是固定的,或者說可以通過談判降低,而ASIC是隨著量的增加成本逐漸降低。所以從商業化上考慮,到達某個量時才可以大規模佈局一個ASIC,我們現在覺得可能是100萬的出貨規模。另外,

從流片到大規模流片是兩個事情,FPGA方案落地週期可以做到比較短,並且FPGA現階段是直接提供產品最快速和穩定的方式。在AI大規模的需求還處於萌芽階段時,我們作為初創公司的策略是通過把芯片做成方案解決客戶性能和功能上的問題,同時保持足夠的價格優勢。

從技術上說,目前主要2個方式,一個是基於指令集(如GPU、TPU),另一個是數據流。這兩個方式各有優劣,基於指令集的方式可能通用性很強,但性能可能沒有那麼高;基於數據流的方式性能非常強,但通用性可能沒有那麼強。我們選擇數據流引擎的方式既能解決性能問題,還可以把性能推到極致。而我們端到端的開發平臺又可以解決通用性的問題。如果我們把深度學習比作造車,可能只是針對勞斯萊斯打造的流水線,但要打造奔馳的時候就需要專業的人員把這個流水線進行對應調整,這個調整過程門檻非常高。這時候我們做的工作也就是我們的第二項核心技術,做一個全自動化的工具鏈,根據車型的不同,這個工具自動化的把流水線調整好,把門檻降下來的同時把通用性補齊。通過數據流架構加開放平臺的方式,既能提高性能又能兼顧通用性。

雷鋒網:相比GPU,FPGA一直存在的一個問題是比較難用,一定程度上提高了開發者的門檻,鯤雲如何讓FPGA發揮出其自身的優勢同時來解決FPGA難用的問題的?

牛昕宇:鯤雲的人工智能方案是基於FPGA和之後的ASIC來實現的,這是一條完整的產業路徑。FPGA和ASIC作為底層硬件,天然具有難用的屬性,因為越往底層,對芯片的性能掌握越高,但對開發者需要的專業知識要求就越高,所以面向的用戶就越狹窄,感覺就越難用。

所以從1991年開始,陸院士和他的團隊開始做定製計算這個方向,在性能提高的同時無疑也抬高了使用門檻。為了解決這一問題,我們花了很大的精力在保證性能的前提下儘量把一層層的優化步驟通過編譯器來自動化實現,從最底層直接打通到最頂層,自動完成硬件的調整控制、數據寬度、算法冗餘的優化,這時候我們就會發現FPGA使用的門檻從硬件開發人員降低到算法開發人員了,只要給一套深度學習算法到我們的開發平臺上,就可以在我們的芯片上實現所需的功能了,這時候它的開發難度就可以降到跟GPU一樣。

鲲云牛昕宇:一个定制化数据流人工智能芯片凭什么满足众多AI场景需求?

鯤雲科技第二代雨人板卡

雷鋒網:如何降低開發者的使用成本?

牛昕宇:我們在做平臺的時候考慮的第一要素是保證開發者基於我們的產品開發出的方案能比較快速的實現商業落地,鯤雲的AI平臺主要面向三類用戶:

  • 終端用戶和專業人員。所謂專業人員不是僅指有計算機背景的人員,而是各個垂直領域內需要AI方案解決實際生產、商業需求的各行各業的人員。他們可以基於我們提供的通用化界面以及各種豐富的接口,能夠在不掌握很多專業算法和硬件細節的情況下進行開發,最終形成落地解決方案。

  • 算法開發人員。可以直接把基於Tensonr Flow訓練好的算法上傳到我們的AI平臺,自動映射到硬件中,不需要了解硬件架構就可以使用高性能芯片。

  • 高校研發人員。鯤雲AI平臺可以為高校研發人員提供一個非常穩定的平臺去測試或實現所需的應用,比如優化算法、測試性能等。

應用場景和公司戰略

雷鋒網:鯤雲之前在航空航天已有一些佈局,目前也在智慧城市和智能製造佈局,主要是考量到這些領域的市場規模比較大?有沒有你們內部的一個Top3領域排序?

牛昕宇:人工智能是一個非常寬廣的領域,各種各樣的應用都可以做,我們選擇的智慧城市、智能製造等裡面有大量的需求,並且這些需求現在沒有得到滿足。選擇什麼領域肯定有一個商業化的考量,我們主要側重2個問題,一個是體量有多大,市場是不是足夠深、足夠寬,能夠容納一家公司在裡面快速成長;另一個,就是在這個領域是否能提供給客戶最需要的價值,這其實是更為核心的一個問題。

這個價值不只是產品本身能夠提供的,還包括與市場上已經能提供的方案的價值差。比如說現在大家都做人臉識別方案,我們也有人臉識別方案,但這裡能提供價值可能是就會比較小。由於大家都已經做到一定水平,即便性能高40%,功耗低個2-3倍,在用戶看來是比較無感的。如果市場上的方案已經解決了80分的需求,你的方案號稱能做到85分,那價值也只有5分。大家都盯著標準化、單一化的方案去做會造成人工智能產品的大量同質化。

而芯片本身,行業發展前期很難給一家公司提供商業上的額外價值。芯片是一個需要持續投入的過程,可以在產業的中期和長期裡面發揮應有的產品價值,一顆定製化的芯片可以把整個領域的成本拉到很低,可以有性能和功耗方面的優勢,長期來看芯片能夠幫助樹立競爭壁壘,那時候就不是單純技術層面的競爭了。對鯤雲科技而言,我們的優勢是從底層硬件到頂層應用全部打通,所以開發一套新的定製化方案的時間成本很低,因此對於看好並進入的市場領域,我們會找到這個市場裡面的標杆客戶,比如中國商飛(C919)、中國航天等,瞭解他們的需求並幫他們深度解決各類問題,形成一體化的落地方案,集合到最終的產品中,這樣我們的一個小的板卡就可以應用到各種各樣不同的領域,客戶也可以切實解決實際問題,而我們的方案也具備了大規模推廣的基礎。

總體而言,在選擇領域或場景的時候,我們主要考慮三點:

  • 市場要足夠大,至少要有千億的級別有深耕的價值;

  • 市場足夠深,需求不能是單一;

  • 客戶的付費意願很強,有些領域它很深也足夠大,但是可能商業化的前景在5年以後,這個不是我們目前考慮的重點領域。

國內目前有非常多的領域滿足這3個條件,鯤雲在今年將重心放在了智慧城市、智能製造等領域。

雷鋒網:你們押的場景,像某些場景的對手已經非常成熟了,比如安防的海康威視,大華,曠視,商湯,選這些領域進軍的時候,你們覺得底氣在哪裡,優勢在哪裡?

牛昕宇:我覺得有兩點,第一是我剛才提過的很多領域大家做了很多同質化的人工智能應用,我們作為一家人工智能公司有技術實力提供這樣的產品,在這些市場需求很強烈的領域,我們會維持產品線,但鯤雲在其中的價值是減去現在客戶已經在用的產品價值。在產品同質化時渠道的價值和客戶關係的價值就會相應升高,這對於初創企業來說不是長久之計。

第二點是在公司的成長過程中我們要有耐心,眼光一定要準,看準了需求去跟客戶一起成長。這也是我們快速發展的一個前提,就像剛才提到的,一個個方案陪著客戶做,利用芯片和平臺的優勢為客戶創造更高的價值。

我們從成立第3個月開始拿出第一代產品,一直都在陪伴客戶實現一個個的落地方案,安防、智能家居、智能城市、自動駕駛這些方案的需求很多人都能看到,但是真正跟客戶一起去體驗場景、積累數據、把應用場景去落地好的過程是很辛苦的,但也是最有核心價值的,我們願意並希望一直這樣做下去。

雷鋒網:鯤雲的願景之一是“讓每一個物聯網終端應用都裝上鯤雲研發的智能大腦”,單說IOT這個大場景就需要集中國全公司之力才能應對,你們這個願景是否太大了?

牛昕宇:願景是公司的一個目標,是我們看到行業的一個趨勢後的努力方向,這肯定需要大家一起才能完成,loT是一個非常完整的生態,我們盯準其中的非常小的一部分,就是人工智能,我們比較看好物聯網跟人工智能的結合。這是很大的一個市場,並且最具潛力,它現在可能是2B或2G的業務形態,但後面慢慢會變成2C再變成服務的形態,如果把自己侷限於某一個部分可能會侷限在某個階段難以持續成長。所以,我們當時定這個願景是希望能夠隨著物聯網和人工智能的慢慢結合而一起成長。

鯤雲的AI業務不僅僅侷限於深圳,而是全國?

牛昕宇:肯定是全國佈局,而且像你剛才說的單位我們都可以合作,不管什麼領域我們只做其中一部分,只提供人工智能的落地解決方案,不碰數據也不碰基礎的IoT終端,只給原有的loT終端做增值。我們提供的人工智能方案,是一個可以跟多方群體合作共贏的機制,在市場落地上是大城市先採購,隨著物聯網和人工智能應用的不斷下沉會落地到全國甚至海外的不同城市,我們目前的客戶群體也包括了一二三線城市的政府機構和企業單位。

雷鋒網:有報道指出您是一個技術和商業兼顧的創業者,您技術跟商業兼顧的思維最初來源於哪裡?

牛昕宇:我本身就是從實驗室出來的,技術方面不能取代,同時作為一家公司的CEO,要將商業化作為公司的主要出發點,去想如何盈利,如何為客戶提供最佳方案並最終商業落地,技術如何配合,而我技術的背景讓我們在商業化的過程中能夠更好的做到兩者之間的結合。並且我們實驗室一直就有產業化的傳統,有實驗室的師兄們去創業,我經常會去跟他們聊,聊完之後會了解到很多,一些公司從外面看著都很光鮮,但真正的難點只有CEO自己清楚。

我記得一個感觸很深的事情,一個師兄當時去了一個非常好的市場,雲計算或者服務器市場,但這個市場太大,並且需求高度定製化,主要的芯片提供商是英特爾和英偉達,競爭非常激烈,很難做出一些差異化再去成長,這就讓新生的創業企業在其中很難成長。

我之前在高校做博士到後來留校,考慮的更多是學術上的成就,想在學術界生長,現在成為CEO,大家聚集到一起,更多的是想要實現個人的一些價值,獲得商業和成就感的回報。這些都讓我不斷的思考創業之後帶領這家公司往哪裡走,大家聚到一家公司不僅僅是為了技術上的情懷和理想,也是想做一番事業,這番事業最核心的問題就是讓市場在商業上認可並給我們提供良好的成長空間。所以我們在創業之初就把技術和商業化這兩點作為公司的重要兩端來抓,目前來看這個思路是可以帶我們走的更遠的。

雷鋒網:我在網上看,好多說您有發明了專利7項,國際專利1項,可以跟我介紹一下是什麼嗎?

牛昕宇:你提到的應該是公司的部分專利,目前我們已經累積了核心技術專利數十項,其中公司第一代底層芯片架構和編譯器架構是我作為核心人員開發的,目前我們有超過30名研發人員,學術的背景也很濃,會持續不斷的進行知識產權的積累。

除了深圳的辦公室外,我們在倫敦也有一個研發中心來支持我們的技術迭代和發展,上個月深圳人工智能應用創新研究院揭牌,這些研發成果將持續為我們提供技術支持,所以在核心技術的突破以及專利佈局上,公司的步驟還是比較穩的。

雷鋒網:國內那些公司你有沒有感覺哪一個比較接近,可以作為你們對標對手的?

牛昕宇:我現在不會過多關注競爭對手在做什麼,因為這無非兩個結果,如果覺得這個人的方向很對,會懷疑自己的方向,如果覺得別人的方向不對,也會讓自己自滿。這並沒有太大的價值,我更關注市場以及市場上大家都在用什麼樣的方案,以及其中的價值。如果一定要說競爭對手,目前應該是英偉達。

國內這個領域的多數企業還在初創階段,更多的是在把蛋糕做大的階段,我們在接觸客戶的時候,也沒有遇到過在某個領域裡客戶說有其他初創企業也跟他們談過,更多的是說現在的一些方案用的是英偉達,那用鯤雲的產品有什麼區別。但英偉達本身不提供方案,只提供板卡平臺,我們提供的一體化的解決方案就是我們的價值,或者給客戶提供的價值比較明顯。

小結:

鯤雲科技從2015年拿到天使輪融資,到2016年總部搬到深圳,再到2017年拿到pre-A輪融資,明確給自己定位為“做AI本地化加速方案的公司”,再到現在明確自己要進軍的IoT場景優先航空電力、工業製造、智慧城市(包括安防),這一系列的動作可以看出他們佈局IoT場景的步子已經走得越來越穩,也越來越有勝算,所以才會在被問及智慧城市中更加細分的安防場景已然對手眾多這種棘手問題時,都給出了他們獨家實踐出的應對策略是“在這些領域,我們保持產品線,但鯤雲在其中的價值是減去現在客戶已經在用的產品價值”。

如果這個策略成功了,那鯤雲科技有望成為又一個切入時,避開熱門對手,熱門場景進入,通過自己在某個單點產品的技術優勢,結合創新的商業模式(提供垂直領域的全套硬件解決方案,即包含從最底層的板卡到頂層應用的解決方案),在當時相對“冷門”的場景進入,試驗成功後,再來向其它市場巨大的場景包抄的“後來居上”者。


分享到:


相關文章: