手勢交互全攻略

Kurtenbach和Hulteen這樣定義手勢:

手勢是包含信息的身體運動。

揮手告別是一種手勢,但按下鍵盤上的鍵不是手勢,因為手指在敲擊鍵過程中的運動既沒有被觀測到,也沒有特定意義,關鍵是按了哪個鍵。

從文本用戶界面到 圖形用戶界面(GUI),“可視化”的領域日趨豐滿與成熟,人們開始探索更自然的交互方式—— 自然用戶界面(NUI)


圖形用戶界面限制了用戶需要使用鍵盤、鼠標等輸入設備……而 非接觸式用戶界面(TUI)是通過身體動作和手勢命令計算,無需觸摸鍵盤、鼠標或屏幕的過程,可以更自然的傳遞信息或與環境互動。

智能交互圖譜 | 手勢交互全攻略

微軟 HoloLens

2015年1月,微軟發佈MR頭顯-Microsoft HoloLens,引起了大家對手勢交互的密切關注。


眼鏡會追蹤用戶移動和視線,生成適當的虛擬對象,通過光線投射到用戶眼中。因為設備知道用戶方位,用戶可以通過手勢與虛擬3D對象交互。HoloLens的兩種核心手勢——AirTap空中點擊和Home手勢。


智能交互圖譜 | 手勢交互全攻略


01手勢分類

智能交互圖譜 | 手勢交互全攻略

伴隨說話時手與胳膊的自發運動,打招呼與再見時的揮手動作,表示勝利✌️、讚揚的標誌性動作,或是語言系統中有明確意義的手勢……在生活中,手勢在不同場景中有不同的意義。

智能交互圖譜 | 手勢交互全攻略

手勢交互中,也會有不同類型的手勢。

  • 指示類 | 用於指示物體或方向的手勢;
  • 信號類 | 傳達一些意義的手勢或動作;
  • 情景演繹類 | 無對象執行的特定任務演示;
  • 標誌類 | 用於傳達特定對象或實體店信息的手勢;
  • 操控類 | 手勢可以在較短的反饋循環中引導運動。


02手勢識別

在技術層面,手勢識別通過數學算法理解人的手勢。大多使用傳感器、相機、雷達等設備採集用戶手勢信息。

智能交互圖譜 | 手勢交互全攻略

Cyber Touch II

可穿戴設備的手勢識別是通過傳感器直接獲取手的空間姿勢。


數據手套可以高精度檢測手指彎曲、甚至可以向用戶提供觸覺反饋,這是對觸覺的模擬。數據手套是用了沿著手背延伸的光纜,產生光脈衝,當手指彎曲時,光會通過小裂縫漏出,並記錄下損耗,從而給出手部姿勢的近似值。

智能交互圖譜 | 手勢交互全攻略

微軟Kinect

深度感知相機的手勢識別:使用諸如結構化光或飛行時間相機之類的專用相機,可以生成在短範圍內通過相機看到的景深的深度圖,並使用此數據來近似表示所看到的景物的3d表示。


由於它們的近距離能力,這些可以有效地檢測手勢。

智能交互圖譜 | 手勢交互全攻略

谷歌Soli


Project Soli雷達芯片,採用 微型雷達來捕捉細微的手勢動作,雷達主要利用無線電波的反射來進行成像。


計算機從天線發射無線電波,雷達反射波,通過對比發射波和反射波,就得到了物體的位置和速度,也就可以精細地捕捉物體的運動

03非接觸式交互

在非接觸式交互中,通常分為直覺型、指令型、隱喻型的交互手勢對應不同場景的應用。

1.直覺型(Intuition)

用戶的手勢動作對應界面中的動作,並與被操控物體的移動直接對應,手勢特徵即作用特徵。其主要應用於虛擬現實、互動裝置或遊戲中。

智能交互圖譜 | 手勢交互全攻略

微軟 HoloLens

2.指令型(Manipulation)

用戶將其既有的手勢習慣延伸至對UI界面元素的控制,手勢特徵引發界面的變化。其主要應用於有交互界面的使用場景,包括與手機、智能電視、可穿戴設備、車內中控等界面的互動。

智能交互圖譜 | 手勢交互全攻略

谷歌Soli

3.隱喻型(Metaphor)

用戶與設備通過手勢建立協議,手勢的語意與所控制的功能相對應,手勢特徵並不直接對應作用。其主要應用於對智能產品和智能家居系統的控制。


智能交互圖譜 | 手勢交互全攻略


04問題與挑戰

  • 由於不存在通用手勢語言,不同用戶做出不同手勢,手勢識別難度大;
  • 創建過多的手勢,學習手勢的成本高過原本傳達的信息,複雜的交互也會消磨用戶興趣;
  • 如何防止手勢識別會干擾用戶的自然行為?


基於以上及更深的研究,我們彙總了所有手勢交互相關的內容,請看這裡

智能交互圖譜 | 手勢交互全攻略


一張圖帶你掌握手勢交互的核心內容!

知識點包括:

手勢的基礎分類

手勢識別的設備及相關原理

手勢交互圖庫

手勢交互技術的發展歷程

私信我,回覆「手勢」即可獲得高清無碼大圖

  • 《Gesture Recognition Technology》
  • 《Brave NUI World: Rise of touch-less gesture control》
  • 《Interaction Methods for Smart Glasses》
  • 《Gesture interaction in virtual reality》
  • 《User Preference for Smart Glass Interaction》
  • 《Beyond touch: designing effective gestural interactions》
  • Wiki百科
  • HoloLens官網


校對:文阿婆

更多內容請移步微信公眾號:艾體驗AIUX

"


分享到:


相關文章: