為了讓 AI 不斷打怪升級,DeepMind 打造「宇宙」
作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |
DeepMind 又給我們小驚喜。我們都知道,強化學習苦於類化能力差,經常只能針對單個任務從頭學習。
DeepMind之前開發的AlphaZero,儘管可以玩圍棋、西洋棋和日本將棋,但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處,就在藉鑑之前經驗迅速適應新環境。
但類化能力不是一蹴而就,就像玩遊戲,也是先做簡單任務,逐步升級到複雜任務。《空洞騎士》(Hollow Knight)一開始只需要隨意走動揮刀砍怪,但噩夢級難度的「苦痛之路」關,沒有前面累積的技巧,只能玩寂寞。
多任務宇宙
DeepMind此次採用「課程學習」,讓智慧體於不斷擴展升級的開放世界學習。也就是說,AI新任務(訓練資料)是基於舊任務不斷生成。智慧體可盡情鍛鍊自己,簡單的如「靠近紫色立方體」,複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」,甚至和其他智慧體玩耍,如捉迷藏──「找到對方,且不要被對方發現」。
每個小遊戲存在世界小角落,千千萬萬個小角落拼成龐大的物理模擬世界,如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成,即任務=遊戲+世界+玩家,並根據三要素關係,決定任務的複雜度。
複雜度的判斷有四個維度:競爭性、平衡性、可選項、探索難度。
比如「搶方塊」遊戲,藍色智慧體需要把黃色方塊放到白色區域,紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾,因此競爭性較強;同時雙方條件對等,平衡性比較高;因目標簡單,所以可選項少;DeepMind把探索難度評為中上,可能是因定位區域算較複雜的場景。
再如「球球喜歡和方塊一起玩」遊戲,藍色和紅色智慧體有共同目標,讓相同顏色的球體和方塊放在相近位置。
這時競爭性自然很低,平衡性毋庸置疑很高的;可選項比上面遊戲高很多;探索難度沒有定位區域,智慧體隨便把球體和方塊放哪都行,難度就變小了。
基於這四個維度,DeepMind打造超大規模「宇宙」任務空間,幾何「地球」也只是這宇宙的小角落,是四維任務空間的一點。DeepMind將「宇宙」命名為XLand,包含數十億個任務。
來看XLand的全貌,由一系列遊戲組成,每個遊戲在許多模擬世界進行,這些世界的拓樸和特徵平滑變化。
終生學習
數據有了,接下來得找到合適的算法。 DeepMind發現,目標注意代理(GOAT)可學習更通用的策略。
具體來說,智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後,生成中間輸出,傳遞給GOAT模組,會根據智慧體目前目標處理中間輸出的特定部分,邏輯分析目標。
邏輯分析是指,每個遊戲可藉由一些方法,構建另一個遊戲,並限制策略的價值函數的最優值上限或下限。
DeepMind提出一個問題:對每個智慧體,什麼樣的任務是最好的?換句話說,打怪升級時,什麼樣的關卡設置才讓玩家順利升級為「真」高手,而不是一刀9999?
DeepMind的答案是,每個新任務都基於舊任務生成,「不會太難,也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。
訓練開始時,太難或太容易的任務可能會鼓勵早期學習,但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀,而是鼓勵終身學習,即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法,在新任務和舊任務之間彈性連接。
怎麼不讓智慧體做新任務時不適應而「暴死」?進化學習就提供很好的靈活性。總體來說,新任務和舊任務同時進行,且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體,會選拔到新任務繼續學習。
新任務中,舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製,參與新一輪「競爭」。除了舊任務的優秀智慧體,還有很多新人參與,這就引進隨機性、創新性、靈活性,不用擔心「暴死」問題。
當然,因任務不斷生成、動態變化,一個任務可訓練不同長處的智慧體,並往不同方向演化(隨著智慧體相對性能和強健性進行)。最終每個智慧體都會形成擅長任務的集合,就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小,簡直是模擬地球。
DeepMind表示,「這種組合學習系統的特性是,不最佳化有界性能指標,而是更新定義的通用能力範圍,這使智慧體開放式學習,僅受環境空間和智慧體的神經網路表達能力的限制。」
智慧初現
最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種?DeepMind說,智慧體有很明顯的零樣本學習能力,比如使用工具、合圍、數數、合作+競爭等。
來看具體例子。首先智慧體學會臨機應變。目標有三個:
黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板
AI一開始找到一個黑色金字塔,想拿到橙色地板(目標3),但搬運過程瞄見黃色球體,瞬間改變主意,「我可以實現目標1啦」,將黑色金字塔放到黃色球體旁邊。
第二個例子是,不會跳高,怎麼拿到高台上的紫色金字塔?智慧體需要想辦法突破障礙,取得高台上的紫色金字塔,高台周邊並沒有類似階梯、斜坡的路。
因不會跳高,所以智慧體「掀桌子」,把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊,「等等,這不就是我要的階梯嗎?」這過程是否體現了慧體的智慧,還無法肯定,可能只是一時幸運。關鍵還是,要看統計數據。
經過5代訓練,智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲,涉及340萬個獨立任務,最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務,除了少數即使人類也無法完成的任務。
DeepMind的研究,或許一定程度體現「密集學習」重要性。也就是說,不僅資料量要大,任務量也要大。這也使得智慧體在類化能力有很好表現,如資料顯示,只需對一些新複雜任務進行30分鐘集中訓練,智慧體就可快速適應,而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。
往後我們也期待這「宇宙」更複雜和生機勃勃,AI經過不斷演化,不斷給我們帶來驚喜(細思極恐)的體驗。
資料來源:https://technews.tw/2021/07/30/deepmind_xland/
同時也有41部Youtube影片,追蹤數超過5,860的網紅跟著領隊玩,也在其Youtube影片中提到,由 NEXON 發行,「天堂 2」、「TERA」知名製作人「朴永現」所打造的最新力作《V4:跨界戰》,於今日起正式上市開站。官方指出,《V4:跨界戰》除了利用 Unreal 4 引擎打造出細緻角色與遊戲環境外,本次也同步推出了手機雙平台與 PC 的連動版本,以更便利的遊戲性及 PC 高畫質的雙重享受...
「hollow knight難度」的推薦目錄:
- 關於hollow knight難度 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文
- 關於hollow knight難度 在 歐小憲 Facebook 的精選貼文
- 關於hollow knight難度 在 黑貓老師 Facebook 的最佳貼文
- 關於hollow knight難度 在 跟著領隊玩 Youtube 的最讚貼文
- 關於hollow knight難度 在 真電玩宅速配 Youtube 的最佳解答
- 關於hollow knight難度 在 ガチョック Youtube 的最佳解答
- 關於hollow knight難度 在 [問題] hollow knight! 難度問題- 看板NSwitch - 批踢踢實業坊 的評價
- 關於hollow knight難度 在 [閒聊] 為什麼hollow knight這麼難- steam - PTT遊戲區 的評價
- 關於hollow knight難度 在 分享#Steam夏日遊戲大賞#空洞騎士Hollow Knight - Dcard 的評價
- 關於hollow knight難度 在 [閒聊] "空洞騎士" 的難度 - PTT 的評價
- 關於hollow knight難度 在 一款音樂優美、難度適中、必玩捲軸動作冒險類游戲-來來LeiLei ... 的評價
- 關於hollow knight難度 在 [閒聊] 為什麼hollow knight這麼難- 看板Steam - PTT網頁版 的評價
- 關於hollow knight難度 在 [心得] Ori and the Will of the Wisps 無雷- 看板Steam 的評價
- 關於hollow knight難度 在 Re: [閒聊] 空洞騎士算高難遊戲嗎? - 看板C_Chat - PTT 動漫區 的評價
- 關於hollow knight難度 在 [心得] 空洞騎士Hollow Knight 無傷五門 - PTT評價 的評價
- 關於hollow knight難度 在 [閒聊] 空洞騎士沒打過5門的人多嗎? PTT推薦- C_Chat 的評價
- 關於hollow knight難度 在 [心得] Hollow Knight 有雷心得- 看板Steam - PTT遊戲區 的評價
- 關於hollow knight難度 在 Steam - [閒聊] 為什麼hollow knight這麼難 - PTT生活政治八卦 的評價
- 關於hollow knight難度 在 [徵文] Hollow Knight 忘卻悲劇,只憶奇蹟 - PTT Uncovered 的評價
hollow knight難度 在 歐小憲 Facebook 的精選貼文
好久沒開PS4來玩了
剛好11月的PS PLUS有這款可以免費下載...(賺)
只是難度好像跟黑魂一樣,之前看人玩都會死很大XD
hollow knight難度 在 黑貓老師 Facebook 的最佳貼文
STEAM夏日特賣快結束了啊各位!
遊戲買幾款了啊?
之前有同學問我「老師,有沒有推薦的遊戲呀?」
有,當然有!
我本來想說做一支影片傳到youtube。
(但欠稿太多寫不完,所以就用打的吧 (´;ω;`))
以下就是十款我推薦的STEAM特價遊戲
如果各位還在觀望的話,可以參考一下
-
#第一推:《Refunct》
第一人稱跑酷
玩法很簡單,就只要WSAD + 空白鍵。
跑來跑去、跳來跳去、踩開關,然後就破關了。
遊戲時間大概30分。
但可以讓人很放鬆的玩,非常療癒。
適合壓力爆表又對人生迷惘的你我 QQ
現在特價19元,超划算 (-71%)
-
#接著推《Ori and the blind forest》
現在特價116元 (-75%)
這款介於類銀河戰士惡魔城與跑酷遊戲之間,全破大概需要15小時左右。
雖然有點吃操作,但遊戲、解謎、畫面、劇情跟音樂都超棒的。
另外,這款前陣子才出了二代:《Ori and the Will of the Wisps》,現在350元 (-20%)
我前幾天才破關,一樣全方面的非常優秀 (不過相較一代簡單了不少)
-
#第三推薦:《Princess Maker 2 Refine》
美少女夢工廠二,這款是很老的遊戲了。
是養成遊戲的始祖,經典中的經典!
遊戲就是給你一個女兒養到18歲。
你這現成老爸負責安排每一個月的行程。
最後看你把女兒培育出來的數值會導向不同的結局。
神作!
我就是玩了這款,現在才成為一位頂天立地的男子漢的。
現在159元 (-50%)
雖然有點翻譯上的小問題
(也沒有神秘商店的密技可以用)
但沒玩過的同學建議一定要試一試。
-
#第四推:《Hollow Knight》
虛空騎士,或翻空洞騎士。
一樣是類銀河戰士惡魔城,全破時間介於10小時到100小時。
流暢的戰鬥、多變的技能、巨大的迷宮、深度的劇情、華麗的音樂。
神作!
不過氛圍、色調與劇情稍嫌灰暗,難度也高。
較適合斗M玩家。
然後沒有手把的話建議是不要玩,手會受傷的。
現在199元 (-50%)
-
#第五推:《Monster Hunter: World》
鼎鼎大名的《魔物獵人:世界》
MW是動作遊戲中的頂尖之作,全系列賣破6000萬套。
光《世界》跟《冰原》加起來就接近2000萬套,真的很猛。
玩過才會知道猛在哪裡。
這遊戲可以自己單挑爆幹大隻的恐龍。
也可以找朋友一起來圍毆爆幹大隻的恐龍。
收藏要素多到數不清!
時間全部被偷光光!
「再,再獵一隻就好 ......」
然後太陽就出來了,很恐怖。
(雖然破關不用20小時,但實際上,隨便玩都會超過200小時)
(然後玩200小時還只能算剛出新手村的菜逼巴)
現在特價-34%中,一片607元
CP值高到滿出來。
p.s.:
連資料片冰原《ICEBORNE》一起買1154元 (-25%)
-
#第六推《DARK SOULS 3》
鼎鼎大名的黑暗靈魂。
本來分類是動作遊戲,但因為玩法太難太靠北,所以獨樹一格的黑暗靈魂直接變成一種全新遊戲分類:「類魂遊戲」
三代可以說是體驗宮崎英高善意的最佳入門作
(一代有點久遠了,畫面跟操作......現代玩家可能會玩得有點痛苦,而且現在沒特價)
適合斗M中的斗M
>_o)b
心理素質不夠堅強、技術不好的人要三思。
現在322元 (-75%)
-
#第七推:隻狼
GOTY,神作中的神作,貨真價實的10/10
英高哥哥與魂系列的集大成顛峰。
這次打完折是1033元 (-35%)
我玩過這麼多遊戲。
沒有任何一款有辦法跟隻狼一樣讓人感到挫敗。
但也沒有任何一款有辦法跟隻狼一樣這麼刺激!
跟BOSS兩小時不斷地以命相搏後取勝,那種成就感,那種雙手不住發抖的爽感,真的只有隻狼才有。
適合斗M中的斗M。
喜歡挑戰的玩家一定要買來玩!
-
#第八推:《Half Life 2》
戰慄時空2
要說我玩過最好玩的單機FPS,我心中只會有《戰慄時空2》跟《使命招喚4:現代戰爭》
(甚至在曠野之息出來前,我心中的總排名第一名就是戰慄時空二)
明明是第一人稱視角射擊,卻可以有這麼多玩法,著實令我驚艷。
雖然過了這麼多年了
也許有很多更好玩的遊戲超越了它
但37元(-80%)的價錢應該就沒辦法超越了吧
ps.
一代、一代REMASTER版也有特賣,一樣37元
一代之後還出了全新重製版《black mesa》現在206元(-35%),不過我還沒破 QQ
-
#第九推:《Resident Evil 2》
惡靈古堡二重製版
恐怖遊戲系列中,最有名也最受歡迎的作品重製。
也是近年來公認最香的冷飯,完整度高,誠意滿滿。
以前從三代開始,一直到六代,因為加入太多動作與技巧的成分,導致恐怖感越來越低,甚至變得有點在玩三國無雙的感覺 ...
但這次重製後,重回恐怖遊戲初衷。
重新給予玩家極大的無力感跟壓迫感。
劇情也沒有亂改。
如果喜歡玩恐怖遊戲的話,實在找不到不玩的理由。
現在五折,一片655 (-50%)
p.s.
猶豫的話,可以先抓試玩版Resident Evil 2 "R.P.D. Demo"來玩玩看。
-
#第十推:《Stardew Valley》
星露谷物語
一言以蔽之,就是像素風格的牧場物語。
但玩起來其實也不輸牧場物語。
謎之療癒 + 時間小偷
有完整的中文包可以抓,而且MOD很豐富
極度適合休閒型玩家
現在238元 (-40%)
-
#特別推:UNDERTALE
現在94元 (-66%)
這款是獨立製作的RPG中,並譽為「神作中的神作」
STEAM總排名第13名,97%的壓倒性好評
難以想像這幾乎是一個人做出來的遊戲
唯一可惜的是沒有繁體中文,要另外找漢化包
會放在特別推薦區,是因為我買了還沒玩
但每個實況主都推薦我玩,聽到我沒玩都露出不可置信的表情。
好啦,我玩完小魔女諾貝塔就玩這個!
有空的同學記得來陪我玩! (゚∀゚)/
twitch傳送門:
https://www.twitch.tv/kurtsunx
hollow knight難度 在 跟著領隊玩 Youtube 的最讚貼文
由 NEXON 發行,「天堂 2」、「TERA」知名製作人「朴永現」所打造的最新力作《V4:跨界戰》,於今日起正式上市開站。官方指出,《V4:跨界戰》除了利用 Unreal 4 引擎打造出細緻角色與遊戲環境外,本次也同步推出了手機雙平台與 PC 的連動版本,以更便利的遊戲性及 PC 高畫質的雙重享受下,嘗試帶給玩家不同感受的跨服戰爭。
如影似幻的矯捷身手,以行雲流水的劍術自在穿梭在敵陣間的劍士,善使雙劍來擾亂敵人視線並趁機給予弱點致命一擊!同時擅長使用各種異常狀態攻擊與「衝刺技能」,瞬間取走敵人性命的恐怖「殺手」。
如果是想要挑戰高難度操作跟爽快連招的,可以考慮「法師或劍士」,法師跟劍士的技能都是一招接一招,環環相扣的觸發,控場能力也不錯、輸出傷害也不錯。
hollow knight難度 在 真電玩宅速配 Youtube 的最佳解答
由澳洲獨立研發團隊 Team Cherry 自製研發,於 2017 年在 PC 平台上推出的《Hollow Knight》,是一部主打橫向卷軸類型的2D動作遊戲,在台灣又名為《窟窿騎士》以及《骸骨騎士》,作品當時還在集資階段就已備受關注,遊戲推出後也是大獲好評,如今即將要推出的續作,不意外的也是受到眾多玩家們的期待;
在這次遊戲內,除了將會有超過 150 種以上的新敵人登場之外,整體動作表現以及各方面,也都將會比前作更加豐富多變,玩家們將要扮演在前作中亦敵亦友的角色「Hornet」,在全新的地圖場所內進行探索冒險,與各式各樣的敵人進行戰鬥,並設法解開未知的謎團;
遊戲內同時也準備了高難度的「Silk Soul Mode」來讓玩家們進行挑戰,只要將遊戲一輪全破之後,便可解鎖這個模式,想挑戰操作極限的玩家們可千萬別錯過囉,目前遊戲尚未宣布正式發售的時間,如果對這款作品有興趣的話,不妨可以多多留意後續遊戲的相關報導唷。
(C) Team Cherry
「電玩宅速配」粉絲團:https://www.facebook.com/tvgamexpress
「美女愛玩Game」節目:http://bit.ly/1Qwt7S3
休閒平台:http://myfun.gamedb.com.tw
遊戲庫粉絲團:http://www.facebook.com/Gamedbfans
hollow knight難度 在 ガチョック Youtube 的最佳解答
セールで衝動買いしたHOLLOW KNIGHT(ホロウナイト)で遊びます!
クリア後?の要素に挑戦!
集中していてゲームに関係ないコメントなどを聞き逃すことが多々ありますので、あらかじめご了承ください
良ければチャンネル登録お願いいたします!
ツイッター
https://twitter.com/gachok_place
こちらで放送や動画を告知しています。
hollow knight難度 在 [閒聊] 為什麼hollow knight這麼難- steam - PTT遊戲區 的推薦與評價
如題黑魂3都可以滾到過節奏遊戲麻再不行看人玩抓boss行動模式可是hollow knight真的好難特別是是那個夢世界的boss 靠背喔超級吃反應也沒什麼地方能外 ... ... <看更多>
hollow knight難度 在 分享#Steam夏日遊戲大賞#空洞騎士Hollow Knight - Dcard 的推薦與評價
遊戲:Hollow Knight,遊戲類型:類銀河戰士惡魔城,類魂系列平台, ... 其中也帶有魂系的要素,即較高的難度和碎片化的敘事風格, 之前大火的艾爾登 ... ... <看更多>
hollow knight難度 在 [問題] hollow knight! 難度問題- 看板NSwitch - 批踢踢實業坊 的推薦與評價
先說一下時空背景
我上一台主機是xbox 黑暗靈魂剛出的時候就買來全破了
撿屍系統 體力值 PK系統 + 存檔點的設計 讓整個遊戲難度飆升
第一次到病村每一步都戰戰兢兢的感覺 多年後還是記憶猶新
後來工作 結婚 生子 就只用零碎時間玩玩手遊 沒再碰主機了
一直到switch問世 攜帶的便利性 讓我可以一邊顧小嬰兒一邊玩遊戲
也因為生活模式的改變 所以連線遊戲完全無緣(我好想玩花枝)
薩爾達有破 但實在是太花時間(只有打完4王 加農 約90神廟) 連回憶都沒找完
只玩隨時可以停止讓我去做家事的遊戲 變成挑選遊戲的重要條件
像是...夜戰(回合制RPG) 馬力歐兔(SLG) 蒸氣世界(存檔容易) 就玩得很開心
switch 跟獨立遊戲真的很搭 非常適合上班族或是只能用零碎時間玩遊戲的人
但動作遊戲已經退化到蒸氣世界2 的最終boss 用齒輪裝第二條命才打得過了
連曾經很愛的魔兵驚天錄 2代續作也嫌動作太過激烈完不太下去..整個變大叔XD
Hollow Knight 一直很有興趣 但礙於以上考量
不知道遊戲難度 跟 可以即時暫停遊戲與存檔 這兩點 是否符合我的需求?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.44.191.125
※ 文章網址: https://www.ptt.cc/bbs/NSwitch/M.1530155128.A.0E2.html
... <看更多>