近年來，全球許多研究團隊一直在開發(fā)和評估技術，以使腿式機器人實現不同的運動風格。訓練機器人像人或動物一樣走路的一種方法是讓它們分析并模擬真實世界的演示。這種方法稱為模仿學習。

蘇格蘭愛丁堡大學的研究人員最近設計了一個框架，用于訓練人形機器人通過人類演示像人一樣行走。在arXiv上預發(fā)表的一篇論文中提出的這個新框架將模仿學習和深度強化學習技術與機器人控制理論相結合，以實現人形機器人的自然運動和動態(tài)運動。

“我們著手研究的關鍵問題是如何將(1)機器人運動中的有用人類知識和(2)模仿人類的運動捕獲數據納入深度強化學習范例，以更有效地提升有腿機器人的自主能力，” Chuanyu進行這項研究的研究人員之一，楊告訴TechXplore。我們提出了兩種將人類先驗知識引入DRL框架的方法。”

Yang和他的同事設計的框架基于獨特的獎勵設計，該設計使用人類步行的運動字幕數據作為訓練參考。另外，它利用了兩種專門的分層神經架構，即相功能神經網絡(PFNN)和模式自適應神經網絡(MANN)。

Yang解釋說：“復制類似人的運動方式的關鍵是引入人的行走數據，作為學習代理模仿的專家演示。” “獎勵設計是強化學習的重要方面，因為它支配著代理的行為。”

Yang和他的同事使用的獎勵設計包括一個任務術語和一個模仿術語。這些組件中的第一個組件為類人機器人實現高水平的運動提供了必要的指導，而后者則可以實現更人性化和自然的行走方式。這種獨特的設計與其他常規(guī)人形控制方法背后的關鍵理論概念保持一致。

研究人員通過在模擬環(huán)境中進行的一系列實驗評估了他們的模仿學習框架。他們發(fā)現，即使在存在干擾或不良因素(例如地形不規(guī)則或外部推動)的情況下，它也能夠在各種情況下產生強大的運動行為。

楊說：“通過利用人類的步行動作作為人工代理模仿的專家演示，我們可以加快學習速度，提高整體任務績效。” “人類的示范知識使我們能夠更有意義地設計學習框架，這被證明總體上對運動技能和運動控制有益。”

這組研究人員收集的發(fā)現表明，專家演示(在此示例中為人類行走的鏡頭)可以顯著增強深度強化學習技術，以針對不同的運動風格訓練機器人。最終，他們提出的新框架可用于訓練類人機器人，使其以與人類相似的方式更快，更高效地行走，同時還實現更自然和類似人類的行為。

具有模仿效果的自然且類似人的步態(tài)：人類的演示確保AI策略不會偏離建議的動作。圖片來源：Yang等

到目前為止，Yang和他的同事們只在仿真中評估了他們的框架，因此他們現在計劃研究將其從仿真環(huán)境轉移到現實環(huán)境的方法。他們最終希望在真正的人形機器人上實現它，以便進一步評估其有效性和可用性。

楊說：“在未來的工作中，我們還計劃擴展學習框架，以模仿更加多樣化和復雜的人類運動，例如橫跨運動，操縱和抓握的一般運動技能。” “我們還計劃研究有效的從仿真到現實的策略傳輸，以實現對真正機器人的學習策略的快速部署。”