VR虛擬現實技術:三維虛擬聲音的實現技術,自然交互與傳感技術

三維虛擬聲音的實現技術

三維虛擬聲音系統的核心是聲音定位技術,它有三個主要特徵,分別是全向三維定位特性、三維實時跟蹤特性與沉浸感與交互感。全向三維定位特性是指在三維虛擬空間中把實際聲音信號定位到特定虛擬專用源的能力。它能使用戶準確判斷出聲音的精確位置,從而符號人們的真實聽覺方式。三維實時跟蹤圖像是指三維虛擬空間中實時跟蹤虛擬聲音位置變化的能力。三維虛擬聲音的沉浸感指加入三維虛擬聲音後能使用戶產生身臨其境的感覺,有助於增強臨場效果。三維聲音的交互特性是指隨用戶的運動而產生的臨場反應和實時響應能力。

VR虛擬現實技術:三維虛擬聲音的實現技術,自然交互與傳感技術

用語音和虛擬現實進行交互是我們的一個目標。語音技術主要分為語音識別技術和語言合成技術。語音識別技術是指將人說話的語言信號轉換為可以被計算機程序所識別的信息。一般包括參數提取,參考模式建立,模式識別等過程。語音合成技術是指用人工的方法產生語音技術。實現語音輸出有兩種方法,一是錄音/重放;二是文—語轉換。如果將語音合成與語音識別技術結合起來,就可以讓用戶和虛擬環境進行簡單的語音交互了,從而實現人機自然的交互。

自然交互與傳感技術

1、手勢識別

手勢識別可以分為兩種,一種是基於數據手套的識別,另一種是基於視覺的手勢識別。基於數據手套的手勢識別系統就是利用數據手套和位置跟蹤器來捕捉手勢的運動軌跡和檢測手的方向,手指彎曲程度等信息,根據這些信息對手勢進行分析。這種方法的優點是系統識別率高,缺點是不方便。基於視覺的手勢識別是從視覺通道獲得信號,通常採用攝像機採集手勢信息,由攝影機連續拍攝手的運動,再用邊界特徵識別的方法判斷出具體手勢。這種方法的優點是輸入設備簡單,但識別率較低,實時性較差。

VR虛擬現實技術:三維虛擬聲音的實現技術,自然交互與傳感技術

2、面部表情的識別

根據對人臉知識的利用方式,可以將人臉檢測分為兩大類:基於特徵的人臉檢測方法和基於圖像的人臉檢測方法。基於特徵的人臉檢測方法直接利用人臉信息,比如人臉膚色,人臉的幾何構造等。基於圖像的人臉檢測方法不直接利用人臉信息,而是將人臉檢測問題看作一般的模式識別問題。

網絡虛擬現實系統的網絡架構有3 種:對等模型、客戶服務器模型、和混合的架構

(1)對等模型。

每個對等實體共享其他對等實體的資源,沒有客戶和服務器的區別。這種對等模型使每個對等實體直接發送包給任一其他對等實體。對等模型具有低延遲的優點,因為數據包直接通過最短路徑從發送方到接收方。但對等模型有伸縮性問題。因為隨著對等實體數量增多,它們發送的數據包的數量會快速增長。

(2)客戶/服務器模型。客戶服務器模型是一種集中管理模型,由服務器完成管理任務。客戶服務器模型能有效管理數據,過濾服務,但有更大的延遲,每個包從源主機到目的主機交換需要通過服務器。因為一個服務器負擔與每一個客戶通信的任務,所以隨著虛擬現實參與者增加,服務器必須處理更大的通信量。服務器成為限制虛擬現實用戶參與數量的一個瓶頸。

VR虛擬現實技術:三維虛擬聲音的實現技術,自然交互與傳感技術

(3)混合模型。由對等模型和客戶服務器模型相結合的模型稱為對等服務器模型,或稱為混合模型。混合模型利用了這兩種模型的優點。對等通信模型用在短距離高寬帶的局域網,而客戶服務器通信用在長距離低寬帶的廣域網上。混合模型體現了通信中速度和距離的一種折中。它是一種自適應的網絡虛擬環境系統的體系結構。


分享到:


相關文章: