有幾十個工程師擠在美國德州奧斯汀(Austin)近郊重劃區的咖啡店與美容院之間，探索運算技術的新方向──這是一家名為Mythic的新創公司，目標是將神經網絡映像至NOR閃存數組，以或許可節省兩個數量等級功耗的方式來運算與儲存數據。
如果他們成功了，這家新創公司就可跳過來自諸如英特爾(Intel)或是其他IP供應商、以及眾多富裕中國新創公司的數字處理器與核心；這些處理器的目標都是進駐下一代保全攝影機、無人機、工廠設備等試圖搭上人工智能(AI)熱潮的嵌入式系統，甚至是未來的自動駕駛車輛。
“我們從研究所的時候就知道，混合信號處理很適合這類應用；”與同事Mike Henry在密歇根大學(University of Michigan)一起創立Mythic的David Fick表示：“你需要利用其可調閾值電壓來儲存很大的數據量與閃存──每個晶體管都非常具吸引力。”
Mythic所開發的閃存數組，基本上可免除將數據從外部內存移出移入的需要，因此大幅節省功耗；Fick表示，他的指導教授David Blaauw與Dennis Sylvester“已經展開一些閃存研究，我們也擁有一些專長技術，因此能很輕易地加速啟動一個項目。”
不過要在內存中執行模擬處理器這種有數十年曆史的老概念是件棘手任務，Fick表示：“你必須考慮很多模擬效應──不匹配(mismath)、噪聲、溫度，而且內存單元也有很多類似的顯著效應；”不同於配備經過妥善定義之內存、處理與儲存子系統的數字計算機，機器學習使用的模擬計算機基本上是一個整合性的龐大工程。
“你需要同時一起設計所有的東西，因此需要了解重迭領域的人，例如瞭解彼此領域的組件端設計與神經網絡設計工程師；”Fick解釋：“我們在這方面已經遠勝於其他人，因為我們擁有一個可以完成整個任務的超強團隊。”
確實，這家公司才剛完成B輪融資、獲得一筆高達5,000萬美元的資金，有部分原因是他們擁有一個總監等級(director-level)專家組成的多元團隊，包括來自德州儀器(TI)的模擬專家、Microchip的閃存設計總監，以及Netronome的實體設計專家。
Mythic也藉由實現一系列的原型投片逐步展現其技術進展贏得投資者青睞，Fick在學校裡的VLSI設計表現就贏得不少聲譽；他表示：“當你以研究所學生身份設計芯片，包括內存、合成、設計規則檢查變異(DRC variations)…等所有的步驟都得自己動手；而如果你是直接進入業界，你可能永遠看不到整個設計流程，所以很多從學校獨立的新創公司會更容易成功量產。”
這家公司的兩個創辦人從小就是“科技宅男”(geek)；Fick在高中時的第一份工作就是網頁開發工程師，念研究所時則進入AMD、IBM與Intel等多家大公司當實習生。Henry則是為了好玩，很愛參加各種快速寫程序競賽。
大大小小的競爭對手以及需要克服的軟件障礙
這些日子以來，Mythic的二人組遇到大大小小的競爭對手，至少有40家老牌與新創IP供應商或芯片業者，紛紛表示準備推出或是正在規劃某種形式的客戶端AI加速器芯片；這些競爭對手還包括中國幾家財力雄厚的新創公司，例如地平線(Horizon Robotics)就是其中最具潛力的一家，已經用較傳統的數字架構推出低功耗客戶端AI加速器。
還有一家美國新創公司Syntiant，跟Mythic一樣在開發利用閃存的內存內處理器(processor-in-memory)架構，該公司的團隊成員包括幾位Broadcom前任工程經理，並獲得了Intel Capital的支持。此外IBM Research也正在研究以電阻式RAM (ReRAM)為基礎的機器學習加速器，但Fick認為該公司採用了錯誤的方法。
他表示：“他們正在嘗試以完美的內存來讓所有事情變得簡單，但我們是透過共同設計所有東西取得領先…就算他們找到了理想內存，總是會有一種不太完美的內存可以支持更低功耗或是更快速度。”
創新的並行儲存器在歷史上總因為太難編程而失敗，新興的內存內處理器芯片肯定也會面臨相同的問題，因為機器學習本身需要全新的、仍在發展的編程模型。Mythic的工具雖名為開發平臺，但扮演的角色像是編譯程序，能為其芯片將TensorFlow數據庫內描述的神經網絡轉換為機器語言。
Fick表示，該開發平臺採用PCI Express與芯片鏈接，能提供“如何從芯片取得額外性能的提示，以及一些常見應用的優化網絡範例。”想要使用TensorFlow以外其他框架的客戶，顯然會需要使用ONNX格式來轉譯其任務；ONNX (Open Neural Network Exchange)是少數幾種用來轉譯幾個不同AI軟件架構的新興工具之一。
而Fick也充分體認到他的客戶所面臨之軟件障礙：“為了進入這個領域，你需要聘請幾個深度學習科學家，但這類專家因為非常短缺、費用也非常昂貴 …建立數據集與神經網絡並進行訓練非常耗時、代價也很高…這些都是冒險進軍且投資此領域的限制。”
好消息是，與競爭對手方案相較，Mythic芯片的內存數組應該能處理更多樣化的卷積(convolutional)或歸遞(recurrent)神經網絡，而且其性能的提升可望實現在功耗受限制的邊緣系統執行更復雜模型。
Mythic有幾個重量級合作伙伴，例如洛克希德馬丁(Lockheed Martin)希望未來的無人機能使用該公司芯片，富士通(Fujitus)則是該公司的閃存供應商。到目前為止，有兩種應用似乎超出其能力範圍，一個是預算只有幾美元的智能音箱，與Mythic的目標應用相較太過需要控制成本；另一個是自動駕駛車輛，因為需要車用等級規格，是該公司目前無法負擔的。
這家新創公司預計在今年底推出40納米工藝芯片，這個節點可支持嵌入式閃存單元設計，也符合低成本目標。Fick指出，其閃存單元已通過28納米工藝質量認證，這會是該公司的下一步；在那之後，晶圓代工業者正在開發嵌入式MRAN與ReRAM單元。
Fick表示：“沒有任何理由能阻止我們前進最小節點，我們能從工藝微縮中受益；”而如果Mythic成功了，並不會是因為摩爾定律(Moore’s Law)或是那些數字處理器使他們受到歡迎，而會是因為他們將運算技術推往一個全新的方向。
編譯：Judith Cheng
閱讀更多 EET電子工程專輯 的文章
