麻省理工學院的博士生，同時也是該論文的第一作的者Xavier Puig說：“把行動描述成計算機程序的好處是，它可以清楚地描述完成一項任務所需要的所有步驟。這些程序可以引導機器人或虛擬角色，也可以用更簡單的動作完成複雜的任務。
該項研究由CSAIL和多倫多大學共同開發，其中還包括來自加拿大麥吉爾大學（McGill University）和盧布爾雅那大學（University of Ljubljana）的研究人員。它將在本月於鹽湖城舉行的計算機視覺與模式識別（CVPR）會議上展出。
與人類不同，機器人需要更明確的指令來完成簡單的任務；他們不能進行推斷或推理。比如，在做描述時，一個人可能會說“打開電視，在沙發上看電視。”在這裡，像“拿起遙控器”和“坐在沙發上/躺在沙發上”這樣的動作就被省略了，因為這是人類日常溝通中的常識部分。
一旦這些程序被創建，團隊就會將它們輸入到VirtualHome的3D模擬器中，將其轉換成視頻。之後虛擬代理將執行程序定義的任務，無論是看電視、在爐子上放一個罐子，還是打開或關閉一個烤麵包機。
項目的最後不僅僅是獲得一個訓練機器人做家務的系統，還包括一個使用自然語言描述家庭任務的大型數據庫。像亞馬遜這樣的公司也在努力開發類似於Alexa的機器人系統，試圖利用這些數據來訓練其模型完成更復雜的任務。
未來，該團隊希望用實際視頻來訓練機器人，而不是通過模擬的視頻，這樣機器人就可以通過觀看YouTube來進行學習。此外，他們還在致力於實現一個獎勵學習系統，在這個系統中，當代理執行正確的任務時，會得到積極的反饋。
“你可以想象這樣一個場景：機器人在家裡幫忙做家務，”Puig說。“這對於老年人或那些可能行動不便的人來說尤其有用。”
分享到:
閱讀更多 AI小智君 的文章
