百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發

文|吳俊宇

1999年,當時42歲的著名的計算機程序員埃裡克·史蒂文·雷蒙德(Eric S. Raymond)在自由軟件的範疇下提出了Open Source開源軟件概念。

他有一個觀點是,“足夠多的眼睛,就可讓所有問題浮現。”(Given enough eyeballs, all bugs are shallow)。

這個名為“林納斯定律”的觀點對開放源代碼運動影響極大。

簡單解釋,只要有足夠的測試員及共同開發者,所有問題都會在很短時間內被發現,而且能夠很容易被解決。

近年來,深度學習推動著AI技術和產業發展浪潮迭起。然而,隨著技術的不斷前進和應用的大規模增長,產業開發者們面臨的挑戰也日漸突出:數據量越來越大,動輒上 TB;模型越來越複雜,模型參數也越來越多……

而另一方面,隨著國內產業互聯網、產業智能化進程及“新基建”的步伐進一步深入,產業界對於AI的需求不斷擴張。

AI落地過程中必然會涉及到更多場景。這些場景或許和工業有關,或許和農業有關,或許和交通有關,或許還與智能城市建設有關,但都需要企業和開發者們深入其中,根據數據、計算、部署場景、硬件解決方案等不斷調教算法。

挑戰越來越大,需求越來越多,稱手的AI開源工具,特別是作為底層核心的開源深度學習框架/平臺,對於在AI落地應用過程中衝在最前方的那些產業開發者而言,重要性再度凸顯。

本週之內,早已在AI開源領域深耕多年的百度打頭,華為為代表的的ICT企業、曠視為代表的AI初創企業跟進,在一週內先後升級或者開源了自家的深度學習框架/平臺,國產深度學習框架/平臺迎來一輪密集爆發。

越來越多的國產眼睛,正在凝視深度學習框架/平臺開源的戰場。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發

在這輪經濟週期中,每家企業都是“新基建”的齒輪。各自的深度學習框架/平臺開源開放,共同推動了國內AI開源的進程。

畢竟,過去國內開源社區氛圍和美國存在差距,缺乏這種相互探討、技術進步的社區氣氛。

去看GitHub上谷歌、Facebook、百度等人工智能前沿企業在深度學習框架這個戰場的和諧交鋒、友好博弈,你能發覺,國內需要走的路還是很長。

這也是國內開源社區真正需要向太平洋東岸學習的地方。

“眾聲喧譁”的誕生

任何技術的交鋒,都像是人與人之間的互動,這是“眾聲喧譁”、“相互吸納”的過程。各有所長各各有所短,競爭和博弈,會帶來行業整體進步。

“新基建”背景下,企業都是在為圍繞著技術、商業、組織乃至對外賦能。尤其是疫情過後,企業一方面面臨著外部壓力困擾,另一方面也面臨著內部協同訴求,於是一大批新的技術產品湧現出來。

我們不妨先去觀察,三者技術方案是怎樣的。

3月23日百度飛槳(PaddlePaddle)宣佈在智能視覺領域得到了提升。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發

PaddleCV全景圖首度曝光,其底層框架與工具層得到了工業級提升,這種提升面向的是當下工業領域訴求。

要知道,目標檢測是計算機視覺領域不可缺少的一環。深度學習往往需要對圖像進行處理,3D視覺往往意味著在工業領域會有更好的實踐。僅僅是在2018年的工博會和2019年的光博會上,工業視覺領域,多的是火爆的3D視覺引導。

我在《培育架構師,要技術,更要技術領導力》一文中就提到:

這次疫情讓一批工業企業倉皇失措中發現,自家商業價值體系及技術架構極其鬆散。想要抵禦突如其來的風險,顯得有些力不從心。

此時針對這部分企業給出工業級部署,其實是在順應市場需求。

工業企業在疫情襲來時,面臨安全生產和停工風險。工業企業對AI需求迅速增長,很多企業甚至剛剛才開始學習使用深度學習,也缺乏必要的人才儲備,甚至還需要讓人才遠程學習,和互聯網、AI大廠的相關領域負責人“陪練”。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發

工業企業需要3D視覺的分析,用於自家業務的改進。還需要更多經過成熟驗證的算法做支撐。所以你可以看到,PaddleCV新增了15個在產業實踐中廣泛應用的算法,整體高質量算法數量達到73個,35個高精度預訓練模型,總數達到203個。

算法重要性無需多言。工業企業一般沒有太多時間和經驗投入算法研究,使用現成的算法,往往可以節約人力和成本。為這些企業提供更好的算法,恰當其實。

除了對智能視覺進行升級之外,百度飛槳還在近期新增適配比特大陸最新算豐系列AI芯片、兩者的融合,體現在芯片利用率、性能功耗比等指標上,相比傳統GPU更適合深度學習推理。這對產業開發者運用AI開源底層工具推動應用落地而言,無疑又是一大福音。

百度對飛槳深度學習平臺的不斷升級改進是值得關注的。

在AI開源、特別是深度學習框架/平臺方面深耕多年,百度深諳技術開源之道,飛槳已經具備了兼具靈活和效率的開發機制、工業級應用效果的模型、超大規模分佈式訓練能力、推理引擎一體化設計以及系統化的服務支持等等特點,解決了諸多實際開發和應用過程中的剛需,讓產業開發者用著更稱手。而對於AI開源領域的後來者而言,飛槳也塑造了一個樣板。

我們再看看曠視。

曠視在3月25日正式發佈了曠視AI生產力平臺Brain++,還開源了其深度學習框架天元( MegEngine)。

追溯MegEngine的誕生,它在2014年由曠視自主開發形成,在這個基礎上則是將數據和算力平臺融合,構建了集“算法、數據和算力”於一體的AI生產力套件。

對曠視這樣一家創業企業而言,此時開源自家深度學習框架可能有著非常複雜的內外因素。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發

從內部視角看,曠視這幾年針對城市、供應鏈、智能設備等領域發佈了一系列解決方案,的確積累了一定的行業經驗,它也到了可以嘗試對外輸出自身解決方案的時刻。這種對外輸出的能力,是當下所有產業互聯網領域耕耘到一定程度公司都會做的事情。

從外部視角看,創業企業在當下的環境中普遍面臨考驗,一批企業面臨現金流斷裂的危機。曠視可能並不存在這方面的問題,但後疫情關口通過對標一線巨頭的方式去“秀肌肉”,一方面是在提振內部士氣,另一方面也是在吸引行業關注。當然,它恐怕還有向上管理的考量。

不過,曠視發佈深度學習框架的時間節點,和百度、華為深度學習框架改進或發佈的時間節點靠的太近,這種“近”,其實有著某種討巧和曖昧的因素——畢竟一家創業公司在面對巨頭的時候,必須要懂得使用“巧勁”才能尋找到自己的位置和空間。

幾乎是同時,華為在3月28日的華為開發者大會2020上也推出了自家全場景AI計算框架MindSpore。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發

華為更是如此。這樣一家ICT企業一直被視為中國數字化轉型領導者。過去它一直以“硬”的形象示人,但是現在卻在愈加往“柔軟”的方向發展。

從內部視角去看,華為此時推出開源框架,是華為雲Cloud&AI BG成立後的重要一步。尤其是這次在華為開發者大會2020上推出這個產品,用意更是明顯。它很大一部分因素在於匯聚起一批開發者。

從2017年華為成立Cloud&AI產品與服務BU開始,這家企業就一直在試圖擺脫“賣盒子”的形象,我在去年一篇文章中就曾戲言“華為雲變得更堅硬也更柔軟了”。

今年1月時,華為又將“Cloud&AI產品與服務BU”提升成了“Cloud&AI BG”,成為華為第四大BG(事業群)。從BU到BG就會發現,雲的地位再次提高了。

雲和開源幾乎是同一個問題的兩個方面,雲的進化必然會帶來開源這個行為。

從外部視角去看,華為雲一直面臨著阿里雲、騰訊雲、百度智能雲等廠商的競爭,百度也早早開源了飛槳(PaddlePaddle)。華為雲也到了關鍵的對外開放的窗口期,這種開放其實也是在適應競爭環境。

爭鳴和博弈的來臨

華為和曠視的入局,讓國產深度學習框架/平臺市場展現出了爭鳴和博弈的態勢。

產業互聯網、產業智能化的進程行至今日,已不可阻擋,疫情還加速了這個過程。這次華為、曠視接連宣佈開源深度學習框架,更是這種環境下的產物。一些後發廠商需要在後疫情的“窗口期”中搶佔位置。

這種搶佔位置的姿態,不僅僅是向上管理,也是橫向競爭,更是對合作夥伴的吸引。

我們不能簡單用“零和”視角去思考當下市場的變化,市場不是幾家企業在簡單切蛋糕。如果你從國內AI、產業互聯網步伐前進的宏觀背景去思考,就會知道,無論是百度、華為、曠視,其實都是中國這輪“新基建”帶來的又一輪數字化轉型浪潮中的參與者。

我們甚至可以這麼理解,“新基建”這個機器中有一個個轉向產業互聯網、產業智能化的“齒輪”,這些中又有一個個“彈簧”,保持著“齒輪”之間互動平衡。大機器的轟鳴前行,會引發所有企業的連鎖反應。

不管怎樣說,這樣的爭鳴和博弈都將集體降低算法研發成本,為接下來AI能力的大規模工業化普及創造條件。

事實上,這也將進一步推動AI技術和智能經濟實現批量生產。

這次值得注意的是兩個玩家,一個是百度,一個是華為。

百度飛槳當前在社區、技術、生態都是最完整的。

先看組數據,飛槳累計服務超過150萬開發者,有超過6.5萬企業用戶,在定製化訓練平臺上發佈了16.9萬個模型,且模型數量呈現顯著增長趨勢,在工業、農業、服務業等各行各業中得到了的廣泛應用。

飛槳的深度學習模型開發能力、訓練能力、預測和部署能力一直在持續提升,可比肩TensorFlow、PyTorch等國際主流框架,甚至不少技術還更強。飛槳也是中國首個全面開源開放、功能完備的產業級深度學習平臺。

2019年底IDC行業市場調研報告中,國內整體市場形成TensorFlow、PyTorch、飛槳(PaddlePaddle)三強爭霸的局面。

總的來說,百度飛槳處在國內領頭羊的位置,甚至可以認為,飛槳是國內目前功能最完備的端到端開源深度學習平臺。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發

用百度CTO王海峰的話來說,在智能時代,深度學習框架向下對接芯片指令集,向上承接各種業務模型、行業應用,起到承上啟下的作用,是“智能時代的操作系統”。

華為目前則是強在硬件。華為自身在ICT領域對技術和能力有所積澱,尤其是“鯤鵬+昇騰”的算力充沛,它的實力不可小覷。

華為在硬件開發者生態這塊的聚合的確也處在相對領先的位置,尤其是在政企市場,很多客戶要求私有化部署。華為在ICT領域的積澱,容易在政企客戶隱私的情況下實現跨場景協同。

曠視的體量相對百度和華為小一些,它要在自身的優勢領域進行發揮。

在各家的爭鳴和博弈中,很大程度要看社區的建設——畢竟從漏斗模型來說,社區開發者規模,幾乎決定了客戶規模。

國外典型開源商業模式是,社區-產品-利潤(典型的包括Spark,MySQL,Hadoop等等都是如此),這個模式已經被國外成功驗證。

也就是說,在社區內提供開源、免費的產品,為開發者提供新的模塊,商業版則是會提供Bug修復、性能優化 、增值功能 、技術支持等能力。

深度學習框架/平臺的開源商業模式和其他領域的開源經典模式略有不同,並非所有的開源廠商都會免費提供產品,開源不等於免費,企業級用戶在獲得可修改的算法的同時依然有義務支付授權費用。

開源框架/平臺能夠節省設計和開發的時間,但選擇任何一個開源平臺都需要客戶對這個平臺充分熟悉。任何一個開發平臺都不可能提供完全自由的設計空間,應用的實現受制於開源框架/平臺和特性基礎。

百度飛槳的社區建設,起步早,規模已經很大,可以說“社區”這道護城河已經又寬又深。曠視、華為等的產品,則需要從無到有去走社區-產品-利潤的路。

雖然說,百度和華為都在芯片、雲、深度學習平臺三者之間構建起了智能硬件到算法軟件再到算力供給的智能製造解決方案大閉環,具備端到端軟硬一體的能力。

但真正值得注意的是,還是百度和華為這樣體量較大的公司,它們的未來空間的想象力,主要在於兩塊。

一塊是複雜場景的考驗,想要真正部署落地,往往需要全面能力,其中包括Serving、服務器端集成、移動/邊緣/AI芯片等多種芯片上的集成,Web端集成等,這是一個系統工程。

另一塊是系統工程的整合,供應鏈體系需要ARM這類提供CPU和GPU的國外廠商配合支撐。系統工程對大廠而言會顯得相對遊刃有餘,對創業公司來說,需要多多觀察。

當然,我們可以預料到,百度會進一步增強軟硬結合能力,華為則是會加強社區的建設,曠視則要在巨頭之間舞動長袖尋找自己的空間。

至於哪家會取得優勢,我們暫時不好判斷。但是這種生態與生態之間的競爭,往往取決於社區自下而上的創新湧現,而不是自上而下的主動建構。

另外一點值得注意的是,國內深度學習框架/平臺的集中湧現,它接下來可能會帶來的變化是,谷歌的Tensorflow目前在國內的地位會極大遭受蠶食和挑戰。

野心、格局和胸懷

開源社區的協同模式改變和顛覆了軟件業的工作方式,可以創造出高質量的軟件產品。

在過往RedHat、MySQL、Asterisk都是非常成功的開源公司。當然最重要的是,開源軟件真正釋放了軟件開發人員的創造力和生產力,

但實際上,中國的開源相比海外依舊不足。直至今日,國內都沒有構建起像GitHub這樣大影響力、成規模而且在世界範圍和企業內部具備認可度的開源社區。

原因在於三塊。

  • 語言障礙,中國軟件開發人員在國際開源社區很難有大規模的參與;
  • 中國軟件開發發展的時間還不長,核心開發人員積累還不夠;
  • 大學教育在開源領域嚴重不足,教師也缺乏瞭解。

相比於GitHub這種環境,國內社區氛圍依舊不足,企業雖然對開源深度學習框架/平臺的使用火熱,但是開發氛圍依舊不濃。

在過去,百度的飛槳,一直是國內首個也是唯一一個自研的開源開放的深度學習平臺,被視為“智能時代的操作系統”。

現在華為和曠視的加入,也將對開發者群體有一些影響。

我們可以期待的是這個市場的百花齊放。

我們不妨去看看埃裡克·史蒂文·雷蒙德在他那本《大教堂與集市》中提出的觀點。

他把軟件開發分成了兩種最為經典且截然不同的模式:大教堂模式和集市模式。

傳統大型軟件公司的開發模式就像是艱難而緩慢的大教堂建造工程,它有著嚴密的管理和封閉的集中式結構,但在創新上、生產力上和Bug控制上卻落後於集市模式。

集市模式是一種並行的、對等的扁平化開發結構,其參與者大多來自於志願者,結構鬆散,來去自由,就像是一個亂糟糟的集市,但就是這樣的組織形式,卻取得了像Linux這樣令人驚歎的成功。

反觀今日深度學習框架/平臺市場,一定是選擇“集市”的模式,才能獲得自下而上的創新。

依舊是,埃裡克·史蒂文·雷蒙德那個觀點——足夠多的眼睛,就可讓所有問題浮現。

過去深度學習框架/平臺使用有限,但隨著華為、曠視的加入,凝視BUG的眼睛變得更多了——對百度飛槳來說,其實也是利好消息,因為這意味著將來市場會變得更大、環境會變得更好,飛槳的商業化進程也將進一步加快。

華為有華為的問題,曠視有曠視的苦惱 ,百度在華為和曠視入場的大背景下,其實面臨更多利好。

很多事情,要跳出原有框架去解決現存問題。不然永遠都是格局低、零和博弈的死局,企業也是如此。一方面需要有上帝視角,另一方面也需要有個體理解。

每一家企業身處市場,必然會有自己的思量、無奈和妥協。企業在輿論場上相對輸出自己的觀點固然可以理解,但因為向上管理的因素,一些企業還是會做出超出事實的觀點,這對不明就裡的觀眾而言,不過是搏一搏眼球。

深度學習框架/平臺這個市場,雖說有競爭,但其實當下來看,還是相對穩定。不管怎樣,企業的入場會帶來市場的變化,AI從研究到生產一直存在一定的距離,縮短距離顯得極為重要——畢竟一切都是為了開發者。

市場上雖然也的確存在一定的泡沫,但啤酒有泡沫才會香甜,開發者面臨泡沫,才會多幾個選擇,從中得到最適合自家的深度學習框架/平臺。

你去看2019年上海谷歌開發者大會期間,TensorFlow全球產品總監 Kemal Moujahid面對競爭時對 DeepTech說過的一段話就很有意思:

我們非常樂於看到行業取得發展。現在,全球範圍來看,雖然機器學習和AI的普及度還處在初期階段,但是我們不能忘了最終的目標,在全球推廣普及機器學習和AI。所以,我們現在能做的就是提供最好的應用和最好的技術平臺,讓整個應用場景可能性更多,普及速度更快。

谷歌其實是站在全球AI發展的視角去思考這個問題,對國內企業而言,也需要站在國內AI工業化大生產的環境以及“新基建”的背景去思考這個問題。

我們甚至可以暢想,隨著華為、曠視的入場,一些領頭廠商是否能夠牽頭建設起中國的GitHub。當然這種想法有些不切實際,但我真正想表達的意思是:

中國企業應該有更大的野心和胸懷。因為最後拼的,其實還是企業格局和內在實力。


分享到:


相關文章: