克雷西 發自 凹非寺

量子位 | 公眾號 QbitAI

斯坦福的ALOHA家務機器人團隊，發布了最新研究成果——

項目名為Yell At Your Robot（簡稱YAY），有了它，機器人的“翻車”動作，只要喊句話就能糾正了！

而且機器人可以隨著人類的喊話動態提升動作水平、即時調整策略，并根據反饋持續自我改進。

比如在這個場景中，機器人沒能完成系統設定的“把海綿放入袋子”的任務。

這時研究者直接朝它喊話，“用海綿把袋子撐得再開一些”，之后就一下子成功了。

而且，這些糾正的指令還會被系統記錄下來，成為訓練數據，用于進一步提高機器人的后續表現。

有網友看了說，既然已經能朝著機器人喊話了，那汽車是不是也快點安排上，還在線點名特斯拉和其自動駕駛軟件總監Ashok Elluswamy。

成果發布后，前谷歌機器人高級研究員Eric Jang，前DeepMind研究員、斯坦福客座教授Karol Hausman等一眾大佬也紛紛表示了肯定和贊許。

那么，用喊話調整的機器人，都能實現什么樣的動作呢？

喊話就能發號施令

利用YAY技術調教后，機器人以更高的成功率挑戰了物品裝袋、水果混合和洗盤子這三項復雜任務。

這三種任務的特點是都需要兩只手分別完成不同的動作，其中一只手要穩定地拿住容器并根據需要調整姿態，另一只手則需要準確定位目標位置并完成指令，而且過程中還涉及海綿這種軟性物體，拿捏的力度也是一門學問。

以打包裝袋這個任務為例，機器人在全自主執行的過程中會遇到各種各樣的困難，但通過喊話就能見招拆招。

只見機器人在將裝袋的過程中不小心把海綿掉落了下來，然后便無法再次撿起。

這時，開發者直接朝它喊話，口令就是簡單的“往我這邊挪一挪，然后往左”。

當按照指令做出動作后，第一次還是沒成功，但機器人記住了“往左”這個指令，再次左移之后便成功把海綿撿起來了。

但緊接著就出現了新的困難——袋子的口被卡住了。

這時只要告訴它再把袋子打開一點點，機器人就“心領神會”，調整出了一系列后續動作，并最終成功完成任務。

而且不只是能糾正錯誤，任務的細節也能通過喊話實時調整，比如在裝糖的任務中，開發者覺得機器人拿的糖有點多了，只要喊出“少一點”，機器人就會將一部分糖果倒回盒子。

進一步地，人類發出的這些指令還會被系統記錄并用作微調，以提高機器人的后續表現。

比如在刷盤子這項任務中，經過微調之后的機器人清潔力度更強，范圍也變大了。

統計數據表明，機器人在經歷這種微調之后，平均任務成功率提高了20%，如果繼續加入喊話指令還能繼續提高。

而且這樣的指令-微調過程可以迭代進行，每迭代一次機器人的表現都能有所提升。

那么，YAY具體是如何實現的呢？

人類教誨“銘記在心”

架構上，整個YAY系統主要由高級策略和低級策略這兩個部分組成。

其中高級策略負責生成指導低級策略的語言指令，低級策略則用于執行具體動作。

具體來說，高級策略將攝像頭捕捉到的視覺信息編碼，與相關知識結合，然后由Transformer生成包含當前動作描述、未來動作預測等內容的指令。

而低級策略接收到語言指令后，會解析這些指令中的關鍵詞，并映射到機器人關節的目標位置或運動軌跡。

同時，YAY系統引入了實時的語言糾正機制，人類的口頭命令優先級最高——經識別后，直接傳遞給低級策略用于執行。

且在這個過程中命令會被系統記錄并用于微調高級策略——通過學習人類提供的糾正性反饋，逐漸減少對即時口頭糾正的依賴，從而提高長期任務的自主成功率。

在完成基礎訓練并已經在真實環境中部署后，系統仍然可以繼續收集指令信息，不斷地從反饋中學習并進行自我改進。

作者簡介

本項目的第一作者是斯坦福大學的學生研究員Lucy X. Shi，2019年畢業于人大附中后進入南加州大學就讀計算機科學專業。

其間，Lucy曾到英偉達實習研究多模態大模型，并曾與知名AI學者Jim Fan博士合作。

她的論文曾連續兩年被機器人頂會CoRL收錄，還入選過NeurIPS，本人還被DeepMind邀請發表過演講。

Lucy的導師Chelsea Finn是斯坦福計算機科學和電氣工程系助理教授，谷歌學術論文引用數超4.7萬，此前還在Google Brain工作過一段時間。

包括本項目在內，在ALOHA團隊發表的一系列論文當中，Finn總是作為通訊作者出現。

此外，ALOHA團隊的Tony Z. Zhao、Sergey Levine等研究人員，也是本文的共同作者。

論文地址：
https://arxiv.org/abs/2403.12910

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態