• 導航菜單

    用于虛擬現實和增強現實的新工具使用深度學習

    未來允許人們與虛擬環境進行交互的系統將需要計算機來解釋人的手幾乎無窮無盡的變化和復雜性,包括不斷變化的運動和關節角度。在虛擬現實和增強現實中,用戶戴著耳機將虛擬環境顯示為視頻和圖像。增強現實允許用戶看到現實世界以及虛擬世界并與兩者交互,而虛擬現實則將用戶完全沉浸在人造環境中。

    “在兩種情況下,這些系統都必須能夠看到并解釋用戶的手在做什么,”普渡大學機械工程系唐納德·W·費德森教授和C設計實驗室主任Karthik Ramani說。“如果您的手無法與虛擬世界互動,那么您將無能為力。這就是為什么雙手如此重要的原因。”

    新系統DeepHand使用模仿人類大腦的“卷積神經網絡”,并能夠“深度學習”以了解手的關節角度和扭曲幾乎無窮的復雜性。

    拉瑪尼說:“我們實時了解您的手在哪里,手指在哪里,以及手和手指的所有運動。”

    Ramani說:“這被稱為空間用戶界面,因為您是在空間中而不是在觸摸屏或鍵盤上與計算機接口。” “假設用戶想從虛擬桌面上拿起物品,駕駛虛擬汽車或生產虛擬陶器。雙手顯然是關鍵。”

    研究人員使用250萬個手勢和配置數據庫對DeepHand進行了“培訓”。手指關節的位置被分配了可以快速獲取的特定“特征向量”。

    Sinha說:“我們確定手中的鍵角,然后觀察這些角度如何變化,并用一組數字表示這些配置。”

    然后,系統從數據庫中選擇最適合相機看到的圖像的系統。

    Ramani說:“這個想法類似于Netflix算法,該算法能夠根據該客戶購買的先前電影的記錄為特定客戶選擇推薦的電影。”

    DeepHand選擇最適合相機拾取的手部位置的“空間最近的鄰居”。盡管訓練系統需要很大的計算能力,但是一旦訓練了系統,它就可以在標準計算機上運行。

    該研究得到了國家科學基金會和普渡大學機械工程學院的部分支持。

    鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

    中国WC厕所偷窥撤尿