ARKit 2眼動追蹤,人機互動新模式

ARKit 2眼動追蹤,人機交互新模式

在ARKit 2.0發佈之後不久,不少開發者發現了新版本ARKit對利用iPhone X前置結構光攝像頭進行眼動追蹤的支持。

類似的功能我們在過去也見識過(不會寫程序怎麼當好藝術家?跳出iPhone X屏幕的3D立體視覺效果)

ARKit 2眼動追蹤,人機交互新模式

該藝術效果的開發者就是利用了前置景深攝像頭獲取眼球位置,根據位置實時改變動畫呈現角度。

ARKit 2眼動追蹤,人機交互新模式

但嚴格意義來說,這並不算是眼動追蹤,只是對眼球位置的識別,換言之如果頭部和手機的相對位置不改變,眼球轉動時畫面不發生變化。

而ARKit 2下眼動追蹤的效果效果就非常驚豔了

ARKit 2眼動追蹤,人機交互新模式

轉動眼睛,屏幕中的十字光標便會隨著注視點的移動而移動,響應速度和精確度都很不錯

ARKit 2眼動追蹤,人機交互新模式

通過眨眼睛(忍不住想眨眼了怎麼辦,會不會誤觸)完成點擊選擇,操縱手機全程不需要動手,在很多場景中可以說是非常方便了。得益於紅外方案,即便是在黑暗中也能實現眼動追蹤。

手機眼球追蹤

用眼動追蹤來控制手機,是不少開發者一直以來都在設想的。

ARKit 2眼動追蹤,人機交互新模式

去年年初發布的ZTE Hawkeye加入的眼球追蹤利用前置攝像機檢測用戶的虹膜運動,上下或左右滑動控制屏幕。

滑動的功能能方便人們在手上沒空的情況下簡單的操作手機,但是對於一些使用群體(肢體殘障)來說,他們渴望功能更加強大的眼動追蹤方案。

一般而言,有兩種跟蹤眼球的方案,即普通攝像頭和紅外攝像頭。

ARKit 2眼動追蹤,人機交互新模式

普通攝像頭方便小型化,低成本但是精度低,紅外方案體積大,造價高,同時精度高。

但隨著技術的發展,優缺點不能一刀切,針對普通攝像頭方案,2016年麻省理工開設的“Eye tracking for everyone”就利用了卷積神經網絡(CNN)預測用戶對手機或者平板的注視位置,只使用普通攝像機的情況下讓精度變為1.34cm到2.12cm。

ARKit 2眼動追蹤,人機交互新模式

儘管精度上有所提高,但從目前的市場情況可見雖然該技術還並沒有成熟。

紅外攝像頭則一直都是主流的眼動追蹤識別方案

ARKit 2眼動追蹤,人機交互新模式

例如Tobii眼動儀採用的技術就是通過識別用戶眼球上角膜、瞳孔產生的反射圖像,使用兩個圖像傳感器分別採集眼睛與反射圖像,通過圖像處理算法和一個三維眼球模型精確地計算出眼球、注視點在空間中的具體位置。

解決了小型化問題的True-Depth相機模組是否也採用了相似地技術原理呢?

ARKit 2眼動追蹤,人機交互新模式

6月20日,開發者Andrew Zimmer在Twitter發佈了一個demo,展示ARKit 2對眼睛注視點位置的實時追蹤效果,隨著Andrew眼球的轉動,注視點點的移動在屏幕上畫出一條連貫的曲線。在圖中,顏色越暖(橘色、紅色),代表注視時間越長。注視點位置的檢測精確,識別軌跡流暢連貫,在未來的人機交互中潛力巨大。

有相當數量的患者由於操作不便,與信息時代脫節。其中有不少唯一與設備相互動的渠道就是眼睛,眼球追蹤加入智能手機的交互模式同樣也能造福健全人,讓我們在手上沒空的情況下操作手機比如做飯看菜譜、開車看導航。

不過同時,技術也帶來了很大的隱私問題。相信大家都有同感,在網上瀏覽過某一類商品之後,pc和手機app的各種廣告和彈窗中會根據你的瀏覽內容推薦一堆類似商品。當未來的APP知道了你因為感興趣而長時間注視的內容,內容推送會更加精確,人們的注視內容信息會被拿去販賣,更無隱私可言了。

ARKit 2眼動追蹤,人機交互新模式


分享到:


相關文章: