• 導航菜單

    教授人工智能以連接視覺和觸覺等感官

    在加拿大作家瑪格麗特·阿特伍德的著作“盲刺客”她說:“身體接觸的眼前,演講前。它是第一種語言,也是最后一種語言,它總是說實話。“

    雖然我們的觸覺給了我們一個感受物理世界的通道,但我們的眼睛幫助我們立即理解這些觸覺信號的全貌。

    已被編程為看到或感覺到的機器人不能互換地使用這些信號。為了更好地彌合這種感覺差距,來自麻省理工學院計算機科學與人工智能實驗室(CSAIL)的研究人員提出了一種預測性人工智能(AI),可以通過觸摸學會看到,并通過觀察來學習感受。

    團隊的系統可以從視覺輸入創建逼真的觸覺信號,并直接從那些觸覺輸入預測哪個對象和哪個部分被觸摸。他們使用KUKA機器人手臂和一個名為GelSight的特殊觸覺傳感器,由麻省理工學院的另一個小組設計。

    該團隊使用簡單的網絡攝像頭記錄了近200件物品,如工具,家用產品,織物等,觸摸次數超過12,000次。將這12,000個視頻片段分解為靜態幀,該團隊編制了“VisGel”,這是一個包含300多萬個視覺/觸覺配對圖像的數據集。

    “通過觀察現場,我們的模型可以想象觸摸平坦表面或鋒利邊緣的感覺”,CSAIL博士學生和主要作者Yunzhu Li在一篇關于該系統的新論文中說。“通過盲目地觸摸,我們的模型可以純粹從觸覺中預測與環境的相互作用。將這兩種感官結合在一起可以增強機器人的能力并減少我們在涉及操縱和抓取物體的任務時可能需要的數據。“

    最近為機器人配備更具人性的物理感覺的工作,例如麻省理工學院2016年使用深度學習來直觀地指示聲音的項目,或預測物體對物理力的反應的模型,都使用了無法理解相互作用的大型數據集在視覺和觸覺之間。

    團隊的技術通過使用VisGel數據集以及稱為生成對抗網絡(GAN)的東西來解決這個問題。

    GAN使用視覺或觸覺圖像以其他方式生成圖像。他們通過使用相互競爭的“發生器”和“鑒別器”來工作,其中發生器旨在創建真實的圖像以欺騙鑒別器。每次鑒別器“捕獲”發生器時,它必須暴露出決定的內部推理,這允許發生器反復改進自身。

    人類可以通過觀察物體來推斷物體的感受。為了更好地為機器提供這種能力,系統首先必須定位觸摸的位置,然后推斷出有關該區域的形狀和感覺的信息。

    參考圖像 - 沒有任何機器人 - 對象交互 - 幫助系統編碼關于對象和環境的細節。然后,當機器人手臂操作時,模型可以簡單地將當前幀與其參考圖像進行比較,并且容易地識別觸摸的位置和比例。

    這可能看起來像是給系統提供計算機鼠標的圖像,然后“看到”模型預測應該觸摸對象的區域以便拾取 - 這可以極大地幫助機器計劃更安全和更有效的操作。

    對于觸摸視覺,目標是模型基于觸覺數據產生視覺圖像。該模型分析了一個觸覺圖像,然后找出了接觸位置的形狀和材料。然后回顧參考圖像以“幻覺”相互作用。

    例如,如果在測試期間模型在鞋上輸入觸覺數據,則可以產生最可能觸摸該鞋的位置的圖像。

    這種類型的能力可能有助于在沒有視覺數據的情況下完成任務,例如當燈關閉時,或者一個人盲目地進入一個盒子或未知區域時。

    當前數據集僅包含受控環境中的交互示例。該團隊希望通過在更多非結構化區域收集數據或使用新的麻省理工學院設計的觸覺手套來改善這一點,以更好地增加數據集的大小和多樣性。

    仍有一些細節可以從切換模式推斷出來,例如通過觸摸它來告訴對象的顏色,或者告訴沙發在沒有實際按壓的情況下有多柔軟。研究人員表示,這可以通過為不確定性創建更強大的模型來改進,以擴大可能結果的分布。

    在未來,這種類型的模型可以幫助實現視覺和機器人之間更加和諧的關系,特別是對象識別,抓取,更好的場景理解,以及幫助在輔助或制造環境中進行無縫的人機器人集成。

    “這是第一種可以令人信服地在視覺和觸摸信號之間進行轉換的方法”,加州大學伯克利分校的博士后安德魯歐文斯說。“像這樣的方法有可能對機器人技術非常有用,你需要回答諸如'這個物體是硬還是軟?'之類的問題,或者'如果我用手柄舉起這個杯子,我的握力有多好?' 這是一個非常具有挑戰性的問題,因為信號是如此不同,這個模型已經證明了它的巨大能力。“

    鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

    中国WC厕所偷窥撤尿