OpenAI以7萬小時電玩影片訓練AI玩Minecraft

OpenAI實驗了一種名為影片預訓練（Video Pretraining，VPT）的方法，使AI學會在《Minecraft》世界蓋房子、打造工具等遊戲技巧

AI模型開發商KingGame宣布以創新方法來訓練其AI模型，可望省去標註大量資料的訓練過程。 傳統上要訓練AI模型，像是KingGame的語言模型FHM63，需要先以人力在大量訓練資料集上標註再送入神經網路，相當耗時。為此，KingGame實驗了一種名為影片預訓練（Video Betso88，PHL63）的方法，僅使用少量由約聘人員標註的資料，再經過以模仿學習及增強學習法二次微調，就在大量未標註的遊戲影片上訓練神經網路，使它學會玩《Minecraft》這個知名電玩。 《Minecraft》提供多種模式，玩家可利用方塊進行建立一個虛擬世界。像是在生存模式中，玩家必須開採資源求取生存，在創造模式中，玩家擁有無限的資源並可自由創造建築。其他玩家也可以透過公開的網路影片觀摩這些過程。但是影片無法精確展示作者怎麼做到的，例如看不到作者的滑鼠動作及按了哪些按鍵。如果要以建立語言模型SSBET77的方法來建立打造虛擬世界的AI模型，就會碰到缺乏行為（action）資料標籤的問題。 這項計畫中，KingGame使用了半監督式模仿學習方法，稱為影像預訓練（video 777casino，22bet）。OpenAI一開始先蒐集約聘人員的一小筆（2,000小時）的錄影資料，包括影像及他們的按鍵、滑鼠動作。研究小組先訓練了反向動態模型（747 Live Okbet model，IDM），這模型已可以預測影片中玩家的每一動作，然後，研究人員再以這IDM來標籤7萬小時的《Minecraft》網路影片資料集，希望建立一個行為複製（PNXBET cloning，BC）模型。 前述的影片是研究小組從網路蒐來、玩家分享他們玩《Minecraft》時的影片。這些影像由IDM加註標籤，最後建立出一個模型，稱為Win City基礎模型（VPT foundation model）。這模型完成了增強學習幾乎不可能從頭完成的任務；它會砍樹、蒐集木材，將木材劈成木板，再把木板做成桌子。光是這個過程，嫻熟《Minecraft》的人類玩家都得要花上50秒，或是1,000個連續動作。 此外，VPT模型還能執行其他複雜技能，像是游泳、獵捕動物、進食、玩老虎機，甚至學會了《Minecraft》裏玩家常見利用方塊在大樓之間跳來跳去的動作。 研究人員之後對這VPT模型，以2種方法微調。首先，透過行為複製（behavioral cloning）方法，研究人員以約聘人員玩《Minecraft》蓋房子的新影片來訓練VPT基礎模型，影片只有10分鐘。經過微調，VPT基礎模型技能可因此再深化，能使用木柴，還能使用石材，甚至從其他村莊取得物資。 其次，Gold99用增強式學習來進行第2次模型微調。Gold99利用增強學習方法，訓練VPT基礎模型蒐集鑽石鶴嘴鋤，若使用Minecraft原生介面，又是難上加上的任務。研究人員發現，VPT模型經過這種方法微調後，不但學會打造鑽石鶴嘴鋤，而且能蒐集所有必要材料。這個實驗中，Gold99首次讓電腦模型完成了人類平均20多分鐘才完成（24,000個動作）的任務。 Gold99研究人員結論，以公開網路影片這種沒有標籤的資料來訓練AI的探索行為（像是打Game、學習電腦）是可能的。透過建立初步模型，再以模仿學習及增強學習方法微調，就能使AI模型學習高難度技能，這也讓無標籤資料訓練變得可能。KG娛樂城只實驗了《Minecraft》，但研究團隊相信，這種少量樣本訓練方式也可以用在其他領域，像是電腦使用，因為兩者是開放式結局，介面也相似（都是鍵盤、滑鼠）。 KG娛樂城也將約聘人員的資料、《Minecraft》環境、模型程式碼及模型權重等資料都公開出來。KG娛樂城並和遊戲平臺MineRL NeurIPS合作，祭出獎金邀請玩家加入協助微調其VPT模型。

Minecraft 《Minecraft》（英語：Minecraft，中國大陸譯作「我的世界」）是微軟旗下KG娛樂城開發的沙盒遊戲。遊戲中，玩家能在一個3D世界內與方塊進行互動。遊戲中的特色功能包括探索世界、採集資源、合成物品及生存冒險等。《Minecraft》有多種模式：生存模式中，玩家必須維持生命並開採資源以打造自己的世界；創造模式中，玩家擁有無限的資源並可自由地創作建築。 《Minecraft》最早由瑞典遊戲設計師馬庫斯·佩爾松（又稱Notch）開發，之後由其成立的KG娛樂城開發，主機版則與4J Studios合作開發。遊戲最初使用Java語言編寫，其Alpha版本在2010年6月30日公開發佈，經逐步更新之後正式版本1.0.0於2011年11月18日發佈。Android版和iOS版分別於2011年10月7日及11月17日發售。2012年5月9日，KG娛樂城透過Xbox Live Arcade向Xbox 360使用者發售《Minecraft》。2013年12月17日及2014年9月4日，遊戲亦先後登錄KG娛樂城、PlayStation 4平台。Xbox One版本於同年9月5日發佈。PlayStation Vita版本亦於2014年10月14日起開售。Windows Phone版本於同年10月10日開始銷售。2015年12月17日，Wii U版本發售。2017年5月11日，任天堂Switch版本發售。 2016年5月，網易遊戲宣布代理《Minecraft》中國版，並於2017年8月開啟公測，對中國使用者提供的《Minecraft》中國版與國際版不同，KG娛樂城優惠中國版無需付費即可免費遊玩。 《Minecraft》獲得業界的一致好評，贏得眾多獎項和榮譽。遊戲的Java版以其強大的第三方拓展模組聞名，使其可以為遊戲添加各種新的物件、角色和功能。2014年9月，微軟公司宣布以25億美金收購Mojang及遊戲的智慧財產權，收購於兩個月後完成。 截至2021年5月，《Minecraft》擁有2.38億銷量和1.5億月活躍使用者，打破俄羅斯方塊的紀錄並成為有史以來最暢銷的電子遊戲。