會躲閃的AI無人機,籃球砸不到!新算法讓飛行器更智能

用籃球砸中 3 米外懸停的無人機,你能做到嗎?

那些打過籃球並玩過無人機的人,會想當然地回答,小事一樁。但在這臺無人機面前,你錯了,因為它會快速、靈活地躲避飛來的襲擊。

最近,來自瑞士蘇黎世大學(University of Zurich)的研究人員設計出一種新方法,可以讓無人機在主動躲閃移動障礙物的情況下快速導航。該研究讓無人機向著擁有更優異的性能,比如在惡劣環境下更快速地飛行,在更短時間內完成更多任務等邁出很大一步。

會躲閃的AI無人機,籃球砸不到!新算法讓飛行器更智能|專訪

圖 | 成功躲避球的無人機(來源:Davide Scaramuzza)

當下市面上的無人機已經可以承擔很多工作,但是躲避障礙物並不是它們的強項——尤其是在無人機快速移動時。儘管許多飛行機器人都配備了可以檢測障礙物的攝像頭,但通常它們都需要 20~40 毫秒的時間來處理圖像並做出反應。這個時間看似很快,但當無人機自身以較高的速度飛行時,20~40 毫秒的反應時間對於避開飛鳥或者另一架無人機,甚至是靜態障礙物來說,都是不夠的。尤其是當無人機在一個不可預測的環境中使用時,或者有多架無人機在同一片區域飛行時,這會是個棘手的問題。

蘇黎世大學的研究人員將一種類似運動傳感器的 “事件攝像頭” 整合在一起,並設計了新的算法,從而將無人機的反應時間縮短到了幾毫秒。這個近乎一個數量級的提升,足以讓無人機在空中躲開短距離內向其砸來的球或其他物品該研究發表在了最新一期的《科學 · 機器人》(Science Robotics)雜誌上,由蘇黎世大學機器人技術和感知方向的教授 Davide Scaramuzza 領導。

會躲閃的AI無人機,籃球砸不到!新算法讓飛行器更智能|專訪

圖 | 躲避球的無人機(來源:Davide Scaramuzza)

新型攝像頭與算法結合,3.5 毫秒快速反應

傳統的攝像頭,例如智能手機上的那種,都是通過定期拍攝整個場景的快照來工作,它會同時曝光圖像的所有像素。但是,通過這種方式,只能在機載計算機分析完所有像素之後才能檢測到運動物體。

Davide 研究團隊的 “事件攝像頭” 則不同,其具有彼此獨立工作的智能像素。它在未檢測到外界的變化像素時會保持沉默,而一旦看到了光強度變化的像素就會立即發送信息。這樣一來,機載計算機只需處理圖像中的一小部分變化像素,因此大大加快了計算速度,從而縮短了反應時間。

Davide 向 DeepTech 具體解釋道:“事件在時空域中生成一個體。我們的算法只考慮在過去 10 毫秒內出現的事件。我們補償攝像頭看到的運動,並分析所有事件的統計數據。對於每個像素,我們計算歸一化的平均時間戳,它的範圍介於 -1 和 1 之間,動態對象的得分非常接近於 1。這使我們可以將事件的閾值分別以靜態對象和動態對象區分開。”

會躲閃的AI無人機,籃球砸不到!新算法讓飛行器更智能|專訪

圖 | 自我運動補償算法的各個階段,以便區分出屬於移動障礙的事件(來源:Davide Scaramuzza)

除此之外,“目前的無人機,其目標檢測算法無法很好地和我們開發的新型攝像頭配合工作。” Davide 解釋說,“事件攝像頭”是一項最近的創新工作,並且功能與傳統攝像頭不同。我們的攝像頭不以恆定的時間間隔輸出標準圖像,而是輸出與每個像素強度變化相對應的異步事件流。

因此,其他研究人員必須發明自己的算法,在很短的時間內收集攝像頭記錄的所有事件,然後減去無人機自身運動的影響。

據 Davide 介紹,該研究使用的 “事件攝像頭”,目前世界上只有 5 家公司生產。“因為這種傳感器直到 10 年前還只是研究原型,我們使用的是 Insightness 公司的設備。” 研究中所用的無人機平臺,是 Davide 實驗室定製的四軸飛行器,跟市售的商品區別不是很大,但用於感知和導航的算法都是他的團隊開發的。

在研究過程中,Davide Scaramuzza 和同事首先分別測試了攝像頭和算法。

在攝像頭被單獨靜止放置時,他們將各種形狀和大小的物體扔向它,同時測量了算法檢測物體的效率。結果顯示,根據物體大小和投擲距離的不同,檢測成功率在 81%~97% 之間上下浮動。此外,該系統的平均反應時間只需 3.5 毫秒,便可檢測到飛來的物體。

隨後,最為嚴峻的考驗開始了:他們將攝像頭安裝在真正的無人機上,讓其在室內和室外飛行,然後直接向無人機投擲物體。

經過多次測試,無人機能夠成功避開物體的概率超過 90%,這其中包括從 3 米遠的地方以 10 米 / 秒的速度扔出的球。當測試無人機提前 “知道” 物體的大小時,只需一臺 “事件攝像頭” 就足夠了;而當無人機需要面對大小不同的飛來物體時,則需要使用兩個攝像頭來為其提供立體視覺。

視頻 | 在室外躲避多個物體的測試(來源:Davide Scaramuzza)

正在接洽商業化

那麼,這項研究能否在短期內投入規模化應用呢?Davide 向 DeepTech 透露:“在原則上,該技術已經做好了商業化準備,我們正在與一些公司討論細節之中。”

至於未來的研究方向,Davide 對 DeepTech 說:“我們的計劃是在一個更靈活的四旋翼上測試這個系統。而對於更長遠的目標,我們最終是想有一天能夠讓無人機達到如今飛行員操縱一般的駕駛自如。當前,在涉及無人機的所有搜索和救援應用中,實際上都是人為控制的。如果我們能讓無人機擁有像人類飛行員一樣可靠的導航能力,那麼就可以將其用於超出視線範圍或無法遠程控制的任務中。

會躲閃的AI無人機,籃球砸不到!新算法讓飛行器更智能|專訪

圖 | 比較傳統攝像頭與事件攝像頭的輸出:傳統攝像頭以固定的速率捕獲幀;而事件攝像頭僅以時空事件的螺旋形式,連續輸出亮度變化的信號,紅色為正向變化,藍色為負向變化(來源:Davide Scaramuzza)

Davide Scaramuzza 所在的蘇黎世大學機器人與感知小組實驗室,一直專注於開發可以讓自動無人機快速飛行的新技術,以便執行對時間要求更為嚴格的任務,例如在發生自然災害之後對惡劣的環境進行探索等。

“對於諸如地震、海嘯發生後的搜尋和救援工作來說,時間是非常關鍵的。因此人們需要能夠在有限的電量時間內(通常為 10~20 分鐘)完成儘可能多任務的快速導航無人機。” Davide 向 DeepTech 解釋道。“當我們的新攝像頭將無人機的導航速度提高十倍左右時,也擴展了其潛在的其他應用可能。”

“未來總有一天,無人機將會被投入到各種各樣的應用中,例如貨物交付、人員運輸、航空攝影術等,當然還有提到的搜救。” 他說,“但是,讓機器人能夠更快地感知並更快地做出決策,對於其他領域來說也可以改變遊戲規則。在一些領域中,比如無人駕駛汽車、運輸、採礦機器人,以及進行遠程檢查工作的設備等,可靠地檢測視野內的障礙也是至關重要的。

安全問題,對於每個人來說都是非常重要的事情。“我們的研究向著未來無人機或者汽車更加智能化且更加安全邁出了一小步。” 他表示,他和團隊成員對這項研究所展現的躲避功能感到十分興奮,“我們從未見過商用無人機對快速移動的障礙做出如此迅速的反應,這是所有飛行機器人在任何環境中安全導航的關鍵要素。”

植根學界,兼顧創業

會躲閃的AI無人機,籃球砸不到!新算法讓飛行器更智能|專訪

圖 | Davide Scaramuzza 教授(來源:本人)

Davide Scaramuzza 於 1980 年出生於意大利,目前是蘇黎世大學信息學和神經信息學的教授,同時他也是蘇黎世聯邦理工學院(ETH Zurich)神經信息學教授。他從事機器人、計算機視覺和神經科學交叉領域的研究。具體來說,他研究標準和神經形態攝像頭的使用,使微型無人機在搜索和救援場景中能夠自主、靈活地導航。

他在蘇黎世聯邦理工學院獲得了機器人和計算機視覺博士學位,隨後在賓夕法尼亞大學(University of Pennsylvania)進行博士後的學習和工作。從 2009 年到 2012 年,他領導了歐洲 sFly 項目——該項目引入了 PX4 自動駕駛儀,並開創了基於視覺衝擊的微型無人機自主導航。

由於他在視覺導航方面的研究貢獻,他被授予 IEEE 機器人與自動化社會職業生涯早期獎,SNSF-ERC 啟動資金,谷歌研究獎,庫卡、高通和英特爾等獎項,歐洲青年研究獎,Misha Mahowald 神經形態工程獎,以及一些會議論文獎等。

他與人合著了《自主移動機器人導論》(Introduction to Autonomous Mobile Robots,由 MIT Press 出版),並在頂級期刊(TRO、PAMI、IJCV、IJRR)和會議(RSS、ICRA、CVPR、ICCV)上發表過 100 多篇關於機器人和感知的論文。

2015 年,Davide 與他人共同創立了一家名為“蘇黎世之眼”(Zurich-Eye)的公司,致力於將移動機器人的視覺慣性導航解決方案商業化,該公司後來成為了 Oculus 公司(2014 年被 Facebook 收購, 5 年多時間馬克 • 扎克伯格在虛擬現實領域投入了數十億美元)的歐洲研究中心。此外,他還是 Dacuda 公司(瑞士一家計算機視覺公司,其 3D 部門在 2017 年被 Magic Leap 公司收購)的戰略顧問。


分享到:


相關文章: