HoloLens試圖賦予視障人士辨別方向和物體的超能力

計算機有視覺而人沒有,我們為什麼不試圖讓前者幫助後者呢?或許這就CARA背後的主旨,CARA 是加州理工學院開發的一款新的 HoloLens 應用程序。

該軟件藉助 HoloLens 的深度感知能力,使用計算機視覺算法掃描環境並識別物體。然後,該應用程序向視力受損的用戶告知物體的存在,使用空間音頻讓用戶確定物體在他們空間中的相對位置。

HoloLens試圖賦予視障人士辨別方向和物體的超能力

加州理工學院(Caltech)生物科學教授、神經生物學執行官馬庫斯 · 梅斯特(Markus Meister)博士和本傑明 · f · 比亞吉尼(Benjamin f. Biaggini)博士在一份聲明中表示:“想象一下,在這個世界裡你周圍所有的物體都有聲音,都能和你說話。無論你注視著什麼,你關注的不同物體都會被激活,並對你說出它們的名字。你能想象在這樣一個世界裡四處走動,完成一些我們通常使用視覺系統完成的任務嗎?這就是我們在這裡所做的——為物體賦予聲音。”

HoloLens試圖賦予視障人士辨別方向和物體的超能力

Cara 是由研究生 Yang Liu 領導的科學家團隊在 Meister 的實驗室開發的,可以提供了幾種模式來幫助使用者。當 HoloLens 掃描環境時,系統的聚光模式可以根據用戶的視線來識別物體,而Scan模式則可以從左到右來識別物體。

研究小組通過設計一條通往加州理工學院貝克曼行為生物學大樓的路線來測試這個應用程序。在使用Cara 系統時,每個測試對象都成功地根據HoloLens的導航走出迷宮。 此外,研究小組還設計了一個虛擬現實環境,作為其他研究人員評估自己輔助設備的考試。

HoloLens試圖賦予視障人士辨別方向和物體的超能力

該應用程序仍在開發中,目前的工作包括改進和加強計算機視覺算法。這個團隊設想在銀行、酒店和商店等場所部署軟件來幫助客戶瀏覽他們的環境。Meister 、 Liu以及合著者、南加州大學的博士後學者 Noelle Stiles,在一篇名為《AR為盲人提供認知幫助的能力》的研究論文中詳細說明了該研究小組的發現。

去年,遊戲開發者 Javier Davalos 用 HoloLens 創造了一個類似的概念驗證。他的版本也使用環境掃描識別表面和空間音頻給用戶提示他們的相對位置,但不是以口述識別的對象的形式:演示應用程序會在用戶接近障礙物的時候增強音量,併發出警報。

我們很欣喜的看到,越來越多的從事增強現實和視覺輔助工具應用的公司在用各種技術來幫助殘疾人。比如,此外VR網曾報道過的紐約大學的學生團隊開發了一個可以實時翻譯手語的應用程序,甚至 Magic Leap 也獲得了類似的專利技術。與此同時,Starks 的AR耳機也可以通過頭戴式顯示器為聽力受損的人提供字幕。

經常有人把增強現實描述為給普通人“超能力”,如果你瞭解自己的超級英雄傳說,這可能是件好事,當然也可能是件壞事。但是現在,為了給那些沒有擁有能力的人提供虛擬視覺的禮物,至少我們在用這些能力做好事。


分享到:


相關文章: