為了讓 AI 不斷打怪升級,DeepMind 打造「宇宙」
作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |
DeepMind 又給我們小驚喜。我們都知道,強化學習苦於類化能力差,經常只能針對單個任務從頭學習。
DeepMind之前開發的AlphaZero,儘管可以玩圍棋、西洋棋和日本將棋,但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處,就在藉鑑之前經驗迅速適應新環境。
但類化能力不是一蹴而就,就像玩遊戲,也是先做簡單任務,逐步升級到複雜任務。《空洞騎士》(Hollow Knight)一開始只需要隨意走動揮刀砍怪,但噩夢級難度的「苦痛之路」關,沒有前面累積的技巧,只能玩寂寞。
多任務宇宙
DeepMind此次採用「課程學習」,讓智慧體於不斷擴展升級的開放世界學習。也就是說,AI新任務(訓練資料)是基於舊任務不斷生成。智慧體可盡情鍛鍊自己,簡單的如「靠近紫色立方體」,複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」,甚至和其他智慧體玩耍,如捉迷藏──「找到對方,且不要被對方發現」。
每個小遊戲存在世界小角落,千千萬萬個小角落拼成龐大的物理模擬世界,如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成,即任務=遊戲+世界+玩家,並根據三要素關係,決定任務的複雜度。
複雜度的判斷有四個維度:競爭性、平衡性、可選項、探索難度。
比如「搶方塊」遊戲,藍色智慧體需要把黃色方塊放到白色區域,紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾,因此競爭性較強;同時雙方條件對等,平衡性比較高;因目標簡單,所以可選項少;DeepMind把探索難度評為中上,可能是因定位區域算較複雜的場景。
再如「球球喜歡和方塊一起玩」遊戲,藍色和紅色智慧體有共同目標,讓相同顏色的球體和方塊放在相近位置。
這時競爭性自然很低,平衡性毋庸置疑很高的;可選項比上面遊戲高很多;探索難度沒有定位區域,智慧體隨便把球體和方塊放哪都行,難度就變小了。
基於這四個維度,DeepMind打造超大規模「宇宙」任務空間,幾何「地球」也只是這宇宙的小角落,是四維任務空間的一點。DeepMind將「宇宙」命名為XLand,包含數十億個任務。
來看XLand的全貌,由一系列遊戲組成,每個遊戲在許多模擬世界進行,這些世界的拓樸和特徵平滑變化。
終生學習
數據有了,接下來得找到合適的算法。 DeepMind發現,目標注意代理(GOAT)可學習更通用的策略。
具體來說,智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後,生成中間輸出,傳遞給GOAT模組,會根據智慧體目前目標處理中間輸出的特定部分,邏輯分析目標。
邏輯分析是指,每個遊戲可藉由一些方法,構建另一個遊戲,並限制策略的價值函數的最優值上限或下限。
DeepMind提出一個問題:對每個智慧體,什麼樣的任務是最好的?換句話說,打怪升級時,什麼樣的關卡設置才讓玩家順利升級為「真」高手,而不是一刀9999?
DeepMind的答案是,每個新任務都基於舊任務生成,「不會太難,也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。
訓練開始時,太難或太容易的任務可能會鼓勵早期學習,但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀,而是鼓勵終身學習,即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法,在新任務和舊任務之間彈性連接。
怎麼不讓智慧體做新任務時不適應而「暴死」?進化學習就提供很好的靈活性。總體來說,新任務和舊任務同時進行,且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體,會選拔到新任務繼續學習。
新任務中,舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製,參與新一輪「競爭」。除了舊任務的優秀智慧體,還有很多新人參與,這就引進隨機性、創新性、靈活性,不用擔心「暴死」問題。
當然,因任務不斷生成、動態變化,一個任務可訓練不同長處的智慧體,並往不同方向演化(隨著智慧體相對性能和強健性進行)。最終每個智慧體都會形成擅長任務的集合,就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小,簡直是模擬地球。
DeepMind表示,「這種組合學習系統的特性是,不最佳化有界性能指標,而是更新定義的通用能力範圍,這使智慧體開放式學習,僅受環境空間和智慧體的神經網路表達能力的限制。」
智慧初現
最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種?DeepMind說,智慧體有很明顯的零樣本學習能力,比如使用工具、合圍、數數、合作+競爭等。
來看具體例子。首先智慧體學會臨機應變。目標有三個:
黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板
AI一開始找到一個黑色金字塔,想拿到橙色地板(目標3),但搬運過程瞄見黃色球體,瞬間改變主意,「我可以實現目標1啦」,將黑色金字塔放到黃色球體旁邊。
第二個例子是,不會跳高,怎麼拿到高台上的紫色金字塔?智慧體需要想辦法突破障礙,取得高台上的紫色金字塔,高台周邊並沒有類似階梯、斜坡的路。
因不會跳高,所以智慧體「掀桌子」,把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊,「等等,這不就是我要的階梯嗎?」這過程是否體現了慧體的智慧,還無法肯定,可能只是一時幸運。關鍵還是,要看統計數據。
經過5代訓練,智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲,涉及340萬個獨立任務,最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務,除了少數即使人類也無法完成的任務。
DeepMind的研究,或許一定程度體現「密集學習」重要性。也就是說,不僅資料量要大,任務量也要大。這也使得智慧體在類化能力有很好表現,如資料顯示,只需對一些新複雜任務進行30分鐘集中訓練,智慧體就可快速適應,而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。
往後我們也期待這「宇宙」更複雜和生機勃勃,AI經過不斷演化,不斷給我們帶來驚喜(細思極恐)的體驗。
資料來源:https://technews.tw/2021/07/30/deepmind_xland/
同時也有2部Youtube影片,追蹤數超過5萬的網紅William Lo,也在其Youtube影片中提到,很多人在我不同的的社交網絡平台表示希望我可以提供一些制定訓練計劃,尤其如何能夠跳高一點這個主題上。我們提供訓練課程之前,我們都必須對每個運動員作出他們的個人運動表現評估。今日為大家介紹四個評估方法,希望大家對自己的運動表現能夠了解多些。 If you are not assessing you a...
跳高訓練課程 在 Facebook 的精選貼文
【力量 vs 肌力:用語影響訓練目標與方向】
目前台灣的各種訓練、健身、健美相關書籍與網路上的文章,大都把「Strength」這個詞譯成「肌力」,包括體育大專院校的教科書亦同。例如台灣運動生理暨體能學會策劃的《運動員肌力訓練》,包括國際知名的教練認證單位「NSCA」(全名是National Strength and Conditioning Association),台灣訓練界也習慣譯成「美國『肌力』與體能訓練協會」,以及該協會出版的經典教科書「Essentials of Strehgth Training and Conditioning」,也是譯成《肌力與體能訓練》,這本也是國內體育系常用的教科書。
「肌力」與「肌力訓練」一詞已經成為台灣訓練界與健身圈常用的概念,筆者認為這對訓練理論與訓練法產生了深遠的影響,下面試著從翻譯、田徑選手與教練的三種角度來簡論述之。
[從翻譯的角度]
首先,「Strength」一詞在許多訓練的專書中不單指「肌肉力量(肌力)」的訓練,專指訓練肌肉時會用的詞彙會是「muscle hypertrophy」或是明確指出「trains the muscles」,也有更具體指出該訓練會增加「Muscle EMG Activity」(肌電圖活動)和「Relative Muscular Effort (RME)」(相對肌肉費力程度)。換句話說,有些訓練課表是特別用來刺激肌肉、訓練肌肉活性與增加肌肉量,但肌肉量愈多或肌肉力量(肌力)愈大,不代表運動員就能在特定的動作中表現出力量,下面用幾種最常見的訓練動作來說明:
當一位能背蹲舉(Back Squat)兩倍體重,或臀部與下肢肌肉量遠大於常人的健美選手(假定為選手A),如果後大腿很緊繃、髖關節活動度不足,在單腿硬舉這項需要平衡、後側柔軟度、髖關節活動度等其他「力量」所需基礎能力不足的情況下,能夠以接近標準動作來完成的最大重量,可能會比不上其他肌肉量小得多,背蹲舉1RM輕得多但其他力量基礎能力更好的運動員(假定為選手B)。也就是說選手B雖然肌肉量少,背蹲舉能舉起的最大重量較輕,但在單腳硬舉這個動作的「力量」有可能比A還大。
過頭蹲(Overhead Squat)這個動作更是如此,如果選手A的肩關節或踝關節活動度不佳,他在過頭蹲這個動作所展現出來的「力量」,可能會比肌肉量較小的B選手還差。當肩關節活動度不好時,一下蹲,頭上的重量就會往前傾而失去平衡;或是踝關節活動度不夠,也會無到蹲到底,踝關節會讓身體卡住,重心無法保持在雙腳上方,很容易會往後仰。反之,選手B的肩關節與踝關節活動度很好,平衡感也很好,可以把重量很自然地「支撐」頭上,而不用費力保持平衡,那他自然就可以用過頭蹲這個動作舉起更大的重量。
[從田徑選手的角度]
許多中長距離的跑者(意指1500公尺到全馬的跑者),身材都非常纖細,肌肉量很少,但跑步時每一步對地面所產生的力(地面反作用力)都非常大,每一步地面反作用力的峰值大都在2.5倍體重以上,而他們一分鐘會落地185到190次,所展現的力量十分驚人。然而,他/她們下肢的肌肉量很少,甚至少於一般高中大學校隊的業餘選手。有些舉重選手為了符合量級要求,會刻意減重縮小體型,但他/她們的最大肌力超大;不過這些頂尖跑者並不屬於這種類型,他/她們不只肌肉量少,最大肌力也不算頂尖,就我所知有些人可能蹲舉PR就在一倍體重上下而已,算是沒有特別練最大肌力的選手,然而他們在落地時所展現的力量和爆發力卻相當驚人。
跳高選手的案例也很具體,他們不只是身材,腿部也相當纖細,但起跳時的爆發力(Power)卻相當高,起跳瞬間單腳要承受大約八倍體重。但他們的背蹲舉、硬舉的最大肌力可能不一定可達兩倍體重的水準,為什麼呢?
我們要了解到:肌肉主要是為了身體支撐重物時執行相對較慢速動作,它們是我們可以透過意識「主動」使用的身體組織;但非肌肉組織也有力量,像筋膜與肌腱等結締組織,它們無法主動用力,需要外部施壓,是像彈簧一樣的功能,外部施壓後會產生「彈力」,這種「彈力」正是田徑選手所特別發展出來的能力。
我們可以再腦中想像一下把一個彈簧或一顆球丟到地上,它會向上彈起,彈起的瞬間會對地用力,這個力不是肌肉用力收縮造成的(因為它們沒有肌肉),而是重力使彈簧或球的「質量」產生了重量與加速度後,與地面接觸的瞬間產生地面反作用力,這個力再回饋給彈簧或(充飽氣的)球這種具有彈性的特殊結構後才能向上運動。也就是說,一塊木頭往下丟也會有地面反作用力,但是無法產生明顯的彈力讓它向上運動,這是物體本身「不具彈性結構」所致。而中長跑與跳高跳遠選手的身體就是具有良好的「彈性結構」,因此才能在沒有極強最大肌力與超大肌肉量的情況下展現出世界頂尖的力量與爆發力。這是另一個「肌力」不等於「力量」的視角。
[從教練的角度]
從上面兩個視角我們可以了解到「Strength Coach」比較恰當的譯法是「力量教練」,而非「肌力教練」。肌力,只是「力量」的其中一個訓練環節,並非力量訓練的全部。目前用「肌力訓練」或「肌力教練」一詞會以為訓練的重點只有肌肉,或只有肌力,這是不對的,是名副其實以偏概全了。
如果「Strength Coach」一直以「肌力教練」自居,很容易把自己的角色當作在訓練學員/運動員/選手的肌肉,運動員與選手也很容易會自以為把「練力量」等同於「練肌肉」。對於想要健美、健身的人來說,這還沒什麼問題,但對於想要追求運動表現(跑得更快或跳得更高更遠)的運動員來說,再用「肌力教練」這樣有偏差的用語來定位自己,很容易會偏於一端。
[關於跑者力量訓練]
優美的跑姿、高效的跑步技術或流暢的擺臂與收腿動作都是建立在「力量」基礎之上;換言之,如果跑者的核心沒力、下肢剛性不足或彈力系統沒被發展起來,優秀的跑姿與技術要麻一直練不出來,不然就是可以做到但維持不久(例如五公里後力量不足,優秀的跑姿與技術也會跟著垮掉)。因此若只看跑者的生理層,在KFCS的訓練邏輯「體能→力量→技術」這三個環節中,「力量」位於中間,扮演著如同「承軸」般一角色,負責轉化體能並表現為優秀跑步動作的工作。它不像最大攝氧量可以量化體能的優劣,也不像優美流暢跑姿皆可由肉眼所見,它藏在內部,雖然看不見,但重要性卻跟跑者最在意的體能與技術相當。也正因為它不易見,所以很常被忽略其重要性。
經過上述的思考,那跑者的力量該怎麼練?
這次跟RQ合作,不談太多理論(註),直接透過實作來帶大家直接操作四堂力量課表。有興趣的跑步愛好者可以在本週上線一同練力量:https://reurl.cc/a95D84
註:這四堂課只會在每次訓練前五分鐘簡單講述訓練框架與當天課表的訓練目標,不會談太多理論,課程的重點放在「練」與每個動作的描述與要領上;若對跑者力量訓練的理論有興趣,可以前來 KFCS討論區中的「跑步✕力量」專區,已把之前課程的講義目錄與所有內容(約兩萬字的內容)整理在裡面,有問題也可在裡頭提出:https://www.runningquotient.com/group-forum/topic?tid=785
跳高訓練課程 在 Shirlyn 的分享空間 Facebook 的最佳解答
🙋♀️我想參加線上課程但我沒有輔具怎麼辦!?
很簡單的!! 👉蝦皮 或是 👉迪卡儂 都可以找到你需要的東西窩!! 線上購物快速又安全! 或是 👉PC home 也可以試試窩~~
先知道不同課種需要什麼, 只要知道輔具品項就知道怎麼找囉!!
🙏瑜珈:
瑜珈墊-可依照個人喜好選擇厚墊或是薄墊
瑜珈繩-有細的或是粗的長度也有分別,有時可以用彈力帶或是毛巾代替瑜珈繩。
瑜珈磚-有分軟木材質的或是泡棉材質的,小琳老師個人喜歡重一點紮實一點的材質,支撐感夠又穩固,如果沒有磚頭可以試著用寶特瓶代替。
🩰BARRE:
啞鈴- 0.5 公斤或是1磅的啞鈴,也可以用裝水的寶特瓶代替啞鈴。
Pilates 球: 直徑20公分,最大就 22公分不然會太大顆窩~
毛巾或是抱枕可以代替。
彈力圈: 磅數最輕或是最輕再往上一點的強度,不需要買磅數最重的呦~~~如果有三種磅數可選選最輕的,如果有四種磅數可以選,選最輕再往加上一點的。
如果家裡橡皮筋很多可以串在一起自製彈力圈,就像小時候用橡皮筋串成可以玩跳高遊戲的方式!😅
瑜珈墊: 可以選擇厚一點的。
下方的網站連接有需要購買輔具的粉友也可以參考看看窩~~💋
https://www.funsport.com.tw/SalePage/Index/5037804?gclid=CjwKCAjwqIiFBhAHEiwANg9szgB0KCIqD4GtqRyZkt8OAVl7VAnmAsXT30w3vXnlQ-kniTgoC74C_BoCm0sQAvD_BwE
跳高訓練課程 在 William Lo Youtube 的最讚貼文
很多人在我不同的的社交網絡平台表示希望我可以提供一些制定訓練計劃,尤其如何能夠跳高一點這個主題上。我們提供訓練課程之前,我們都必須對每個運動員作出他們的個人運動表現評估。今日為大家介紹四個評估方法,希望大家對自己的運動表現能夠了解多些。
If you are not assessing you are guessing! So many of friends on social media have asked us to write up programs on how to jump higher and jump higher. But without doing a performance assessment on our athletes, it would be very hard to write a program specifically for their goals and weaknesses. Today we will be introducing 4 staple assessments that we use.
1.) vertical jump (non counter movement, counter Movement and approach)
2.) 4 jump elasticity test
3.) 10 Yard Dash
4.) Single Leg Broad Jump
![post-title](https://i.ytimg.com/vi/GYHf53o2AwQ/hqdefault.jpg)
跳高訓練課程 在 Daniel Schreiber Youtube 的最讚貼文
歡迎來到我的頻道!你想知道如何跳得更高、提升你的整體運動表現嗎?想知道的話,請觀看這部影片並訂閱我的頻道!我的頻道最主要的目的是記錄我學習灌籃的過程以及學習垂直跳躍期間所需要做的訓練有哪些。除此之外,我還會分享更多有關健身和飲食的影片。
這影片中,記錄了我現階段灌籃訓練的過程。我是採用Tim Grover設計的"Jump attack"灌籃課程。雖然訓練的過程很有挑戰性、很辛苦,但是我的跳耀能力有明顯的進步。
最後,請大家持續關注我的下一部影片,我將會在影片中教大家如何完成所有第一階段的運動。謝謝各位的觀賞!
![post-title](https://i.ytimg.com/vi/hKifMgmjqdw/hqdefault.jpg)
跳高訓練課程 在 優秀跳高選手訓練歷程之個案研究 的推薦與評價
能量系統的恢復時間,是透過計算一次訓練課程中、兩次訓練課程間. 及比賽之後,應有多長間隔時間的基礎(林正常,2004 )。經由表2.1 ATP-PC. ... <看更多>
跳高訓練課程 在 出事了教練! 跳耀訓練課程正夯你還沒聽過?😱... - 動立方 ... 的推薦與評價
讓跳躍訓練研習課程帶你飛! ... 與運動表現的關聯✓跳躍所需解剖學✓跳躍動作分析✓垂直彈跳測量方法✓跳躍技巧練習和訓練原理✓如何設計彈跳訓練課表✓跳躍常見傷害 ... <看更多>