InfoAI智能情報 ｛ 知識 }
生成式AI對機器人所發揮作用
“生成式AI透過其生成新數據和解決方案的能力，將顯著增強機器人的功能。它可以使機器人在廣泛的任務範圍內有更好的推理能力，增強其對新環境的適應能力，並改進其自主學習和演化的能力。”
------Matthew Johnson-Roberson，CMU
“我認為生成式AI在具身化AI和機器人研究中可以發揮兩個不同的作用：
- 數據/經驗生成器：通過生成2D圖像、視頻、3D場景或4D(3D + 時間)模擬體驗(特別是動作/語言條件化體驗)，為機器人生成訓練數據。這可以補充現實世界中數據的匱乏。可以將這些視為“學習的模擬器”。我認為如果真的要使機器人研究規模化，在模擬中進行訓練和測試是必不可少的。
- 自我監督學習架構：通過生成智能體未來將觀察到的感官輸入，並與實際輸入進行比較，作為無標註數據來進行學習。”
------Dhruv Batra，Meta
“當前的變化速度使得很難對遠景做出預測。基礎模型代表了機器學習模型創建方式的重大變革，我們已經看到了一些令人印象深刻的自然語言接口的近期加速。它們為與我們的機器人建立談話界面提供了機會，改進現有電腦視覺功能的質量，並有潛在可能啟用新的面向客戶的功能，例如視覺問答。最終，我們覺得這些更具可擴展性的架構和訓練策略可能會延伸到機器人規劃和控制領域。能夠解讀機器人周圍的世界將導致對如何與其互動的更豐富的理解。對一個機器人工程師來說，這真的是一個激動人心的時刻。”
-------Aaron Saunders，波士頓動力系統
“生成式AI在給機器人帶來革命性新功能方面具有巨大潛力。我們不僅能夠用自然語言與機器人進行交流，而且還能通過連接到規模巨大的語言和圖像數據，給機器人帶來更全面且更紮實的對世界的理解和推理。但我們仍處在初級階段; 還需要做更多工作以了解如何將圖像和語言知識運用於機器人實現真正實用所需的那種物理智能。”
------Russ Tedrake，豐田研究所
“儘管從比較早些時候就已經開始有一些迴響，但2023年將被記住是生成式AI改變機器人領域的一年。像ChatGPT這樣的大語言模型可以讓機器人和人類用自然語言進行交流。 演變而來的詞彙代表了從“椅子”到“巧克力”再到“魅力”等有用概念。機器人工程師還發現，大規模的視覺-語言-行動模型可以通過訓練來促進機器人的感知並控制機器人的臂和腿的運動。 訓練需要大量數據，因此世界各地的實驗室現在正在合作共享數據。 成果不斷湧現，儘管仍有一些關於泛化的問題，但影響將是深遠的。
另一個令人欣喜的話題是“多模態模型”，具有兩層意思:
- 多模態是指結合不同的輸入模式，例如視覺和語言。現在正在將其擴展到包括觸覺和深度傳感以及機器人操作。
- 多模態是指對同一輸入狀態做出不同反應的模式。這在機器人領域中非常普遍；例如，抓取物體有很多種方法。標準的深度模型會 “平均” 這些抓取動作，從而產生非常糟糕的抓取。”
------Ken Goldberg，UC Berkeley
“我們已經看到生成式AI在各行各業中提高了生產力。顯然，從仿真到設計等方面，生成式AI都將為機器人技術帶來革命性的影響。
- 仿真: 模型將能夠加速仿真開發，通過構建場景、構建環境和生成資產，彌合3D技術藝術家和開發人員之間的差距。這些生成式AI資產將日益用於合成數據生成、機器人技能訓練和軟件測試。
- 多模態AI: 基於變換器的模型將提高機器人理解周圍世界的能力，使其能夠在更多環境中工作並完成複雜任務。
- 機器人(重新)編程: 通過簡單的語言更好地定義任務和功能，使機器人變得更通用/更全能。
- 設計: 例如末端執行器等的更高效的新機械設計。”
------Deepu Talla，Nvidia
｛ 延伸閱讀 ｝
6位機器人領域專家暢談：真正的通用機器人離我們還有多遠？
https://www.infoai.com.tw/blog/how-far-are-we-from-true-general-robots
6位機器人領域專家暢談：十年內，家用機器人是否會起飛?
6位機器人領域專家暢談：繼製造業和倉儲業之後，機器人的下一個主要應用領域是什麼？
6位機器人領域專家，暢談：對於人形機器人的看法
https://www.infoai.com.tw/blog/perspectives-on-humanoid-robots
蘋果桌面機器人2026年亮相！智能家居新革命即將來臨
英偉達重大突破：利用Apple Vision Pro 解決機器人數據擴展難題
https://www.infoai.com.tw/blog/nvidia-gr00t-vision-pro-breakthrough
未來已來：2024年人形機器人量產將如何重塑我們的世界？
https://www.infoai.com.tw/blog/humanoid-robots-2024
家中新成員：蘋果搶攻家用機器人市場，開啟未來生活新篇章
https://www.infoai.com.tw/blog/apple-ai-robotics
InfoAI智能情報
www.InfoAI.com.tw
Pitch提案成功研究院
www.pitch.com.tw
金商機：探索新興市場
www.InfoGold.World