#島讀回顧 #人工智慧
今年島讀網站被搜尋最多次的關鍵字是「人工智慧」(AI)。
人工智慧近年的發展迅速,許多領域都能看到其應用。
島讀今年一篇《機器學習 — 知識工作者的未來》,以「文字產生器」GPT-3 討論人工智慧,獲得不少會員迴響。
---
寫論文很痛苦。有些人痛苦到整份照抄別人的論文。現在出現一線曙光,美國 OpenAI 公布機器學習模型 GPT-3(Generative Pretrained Transformer),堪稱是「萬用」的文字產生器。最近 GPT-3 開始封測,推出 API,更在矽谷引發轟動。目前已知有人用 GPT-3 寫程式、請牛頓解釋地心引力、回答醫學問題、摘要文章,甚至寫詩。
先說 OpenAI。OpenAI 是一個非營利組織,贊助者包括 PayPal 創辦人 Peter Thiel、Elon Musk 與 Salesforce 創辦人 Marc Benioff 等。其使命是確保通用人工智慧(Artificial General Intelligence)將用於服務人類,而非迫害人類。
GPT-3 則是其開發的語言生成模型,第三代的「文字產生器」(島讀去年討論過第二代)。使用者輸入一段文字,它就會生出下一個字,再繼續生出下一個字,不斷重複下去,直到人類喊停或是達到約 1,000 個英文字為止。例如我輸入:「天下分久必合,合久必 ___」,GPT-3 大概會預測下一個字是「分」。
如果我沒喊停,也沒有設定明確的任務,GPT-3 就會繼續生成下一個字,寫出一段故事或一篇文章。
或許你會問:「世界上文字千萬種,GPT-3 怎麼知道要寫論文或小說呢?」
這就是 GPT-3 驚人的地方:它是通用模型。只要使用者稍許提示,它就會自動調整輸出內容類型,不需要使用者另外精調(fine tune)。就像一個真的有用的 Siri,不管你丟什麼任務,只要是文字,它都接得下來。
例如有人簡短的提示(prompt) GPT-3「用 19 世紀作家 Jerome k. Jerome 的語氣寫一篇關於 Twitter 的文章」,GPT-3 就生出相當完整的作品。
只要是需要文字的任務,不論是回覆 email、寫新聞稿、翻譯外文、「翻譯」法律術語、編吉他和弦,甚至是寫程式,GPT-3 都能做得還不錯。一篇網路文章《GPT-3 可能是比特幣以來最重要的創新》更是格外轟動,因為讀者讀完才發現整篇都是 GPT-3 寫的。
相較於 GPT-2,GPT-3 效能是「暴力式」的飛越性成長。換言之,GPT-3 的基本架構與 GPT-2 幾乎一樣,只是參數由 15 億增加到 1,750 億(117 倍),但效果隨之大幅成長。這讓矽谷圈精神為之一振,因為代表機器學習仍可以透過擴大規模來成長。
雖說使用成本也等比增加 — 訓練一次 GPT-3 需要 460 萬美金 — 但能用錢解決的都是小問題。目前已知人類大腦的突觸約 1 百萬億個(100 trillion),是 GPT-3 的 1 萬倍。許多人不免幻想如果再來兩次升級 100 倍(共一萬倍),是不是就能逼近人類大腦了?
有成本就需要收入。OpenAI 現在提供 API,就是為將來商業化營運作準備。其他雲服務商如微軟、AWS、Google 也都開始提供機器學習「模型即服務」(Model as a Service, MaaS)。這大致可分三種應用:
● 垂直情境,簡單但量大的工作:如辨識異常、偵測錯字、回覆 email、回答客服基本問題等。這有點類似聘僱國中生實習,但聘雇的是無限個實習生。
● 垂直情境內,困難但狹隘的工作:以 AlphaGo 為代表。它打敗所有人,但只會下圍棋。
● 不限情境,多樣性比正確性重要的工作:以 GPT-3 為代表,如虛擬秘書、虛擬陪伴(《雲端情人》)、發想劇本、草擬程式碼、撰寫科技分析電子報(咦)等。
MaaS 固定成本高,因此會傾向集中於大型平台,特別是擁有資料的企業,如 Google。邊際成本現在也很高,但應該會逐漸降低,因此有利於擁有最多客戶(用量)的企業,如 AWS、微軟。
目前 GPT-3 率先大步起跑,將引發其他企業加大投資。其他企業需要差異化,因此會開發封閉的模型;GPT-3 則會是開放或開源的形式。同時,週邊的企業也需要開發工具,形成生態圈。例如目前運算的延遲嚴重,因此雲端的速度必須跟上。有更多相容的 app 提供更精準的提示,才能發揮 GPT-3 的價值。
⠀
想知道文章對 GPT-3 的原理、隱憂的討論,歡迎試用島讀的 1 元訂閱方案:https://bit.ly/3myOL0D
---
更多人工智慧內容:
[Podcast] 從邊緣挑戰雲上的人工智慧|特別來賓耐能智慧創辦人劉峻誠(公開)
https://apple.co/2WrmCgC
臉部辨識 — 30 億張照片的資料庫|執法機關熱烈採用|三條路線(會員限定)
https://bit.ly/3p791an
蛋白質的 50 年難題|AlphaFold 遙遙領先|諾貝爾獎在望(會員限定)
https://bit.ly/2LSzIBt
alphafold原理 在 Facebook 的最佳解答
「它將改變一切!」
DeepMind AI解決生物學50年來重大挑戰,破解蛋白質分子折疊問題。
本週振奮全球AI界的消息:Google旗下人工智能企業DeepMind發布了最新 AlphaFold成果,這是全球AI界無比振奮的重大科研突破。蛋白質存在於我們世界中的所有有機物體及奧妙人體中,全新的AlphaFold 算法揭秘了生物學界50年來試圖破解蛋白質分子折疊的難題,這項AI帶來的重大突破,將幫助科學家弄清某些困擾人們的疾病機制、加速找出新型流行病的具體原因(比如今年的全球新冠大流行),促進新藥設計、幫助農業增產、解析可有效降解廢棄物的嶄新成分、甚至探索為大氣減碳的全新解決方案。
我特別期待 AlphaFold 能為人類健康、環境生活推向更寬廣的可能性。在魔幻2020 最後一個月,這真是一個讓人懷抱希望的全新技術可能性,期待 AlphaFold之後締造更多 AI for Good 落地應用。
以下文章詳盡解釋了這項突破,內容經《機器之心》微信公眾號授權轉載。
▎生物學界最大的謎團之一,蛋白質折疊問題被 AI 破解了。
11 月 30 日,一條重磅消息引發了科技界所有人的關注:谷歌旗下人工智能技術公司 DeepMind 提出的深度學習算法「Alphafold」破解了出現五十年之久的蛋白質分子折疊問題。
最新一代算法 Alphafold 2,現在已經擁有了預測蛋白質 3D 折疊形狀的能力,這一複雜的過程對於人們理解生命形成的機制至關重要。
DeepMind 重大科研突破的消息一出即被《Nature》、《Science》等科學雜誌爭相報導,新成果也立刻獲得了桑達爾 · 皮查伊、伊隆 · 馬斯克等人的祝賀。
科學家們表示,Alphafold 的突破性研究成果將幫助科研人員弄清引發某些疾病的機制,並為設計藥物、農作物增產,以及可降解塑料的「超級酶」研發鋪平道路。
「這是該研究領域激動人心的一刻,」DeepMind 創始人、首席執行官德米斯 · 哈薩比斯說道。 「這些算法今天已經足夠成熟強大,足以被應用於真正具有挑戰性的科學問題上了。」
蛋白質對於生命至關重要,它們是由氨基酸鏈組成的大型複雜分子,其作用取決於自身獨特的 3D 結構。弄清蛋白質折疊成何種形狀被稱為「蛋白質折疊問題」。在過去 50 年裡,蛋白質折疊一直是生物學領域的重大挑戰。
DeepMind 的 AlphaFold 讓人類在這一問題上取得了重要突破。在今年的國際蛋白質結構預測競賽 CASP 中,DeepMind 開發的 AlphaFold 最新版本擊敗了其他選手,在準確性方面比肩人類實驗結果,被認為是蛋白質折疊問題的解決方案。這一突破證明了 AI 對於科學發現,尤其是基礎科學研究的影響。
在兩年一次的 CASP 競賽中,各組爭先預測蛋白質的 3D 結構。今年,AlphaFold 擊敗了所有其他小組,並在準確性方面與實驗結果相匹配。
對於不熟悉生物領域的人來說,CASP 的大名可能有些陌生——CASP 全稱 The Critical Assessment of protein Structure Prediction,旨在對蛋白質結構預測進行評估,被譽為蛋白質結構預測的奧林匹克競賽。 CASP 從 1994 年開始舉辦,每兩年一屆,目前正在進行的一屆是 11 月 30 日開始的 CASP14。
而 DeepMind 這一突破有什麼影響?
用哥倫比亞大學計算生物學家Mohammed AlQuraishi 在Nature 文章中的話來說,「可以說這將對蛋白質結構預測領域造成極大影響。我懷疑許多人會離開該領域,因為核心問題已經解決。這是一流的科學突破,是我一生中最重要的科學成果之一。」
▎蛋白質折疊問題
蛋白質的形狀與它的功能密切相關,而預測蛋白質結構對於理解其功能和工作原理至關重要。很多困擾全人類的重大問題(如尋找分解工業廢料的酶)基本上都與蛋白質及其扮演的角色有關。
多年以來,蛋白質結構一直是熱門的研究話題,研究者使用核磁共振、X 射線、冷凍電鏡等一系列實驗技術來檢測和確定蛋白質結構。但這些方法往往依賴大量試錯和昂貴的設備,每種結構的研究都要花數年時間。
1972 年,美國科學家 Christian Anfinsen 因「對核糖核酸酶的研究,特別是對其氨基酸序列與生物活性構象之間聯繫的研究」獲得諾貝爾化學獎。在頒獎禮上,他提出了一個著名的假設:從理論上來說,蛋白質的氨基酸序列應該可以完全決定其結構。這一假設引發了長達五十年的探索,即僅僅基於蛋白質的一維氨基酸序列計算出其三維結構。
但這一思路的挑戰在於,在形成三維結構之前,蛋白質的理論折疊方式是一個天文數字。 1969 年,Cyrus Levinthal 指出,如果使用蠻力計算的方式來枚舉一種蛋白質可能存在的構象,要花費的時間甚至比宇宙的年齡還要長。 Levinthal 估計,一種蛋白質大約存在 10^300 種可能構象。但在自然界中,蛋白質會自發折疊,有些只需幾毫秒,這被稱為 Levinthal 悖論。
CASP 14 比賽最新結果:AlphaFold 中位 GDT 高達 92.4
CASP 競賽由 John Moult 和 Krzysztof Fidelis 兩位教授於 1994 年創立,每兩年進行一次盲審,以促進蛋白質結構預測方面的新 SOTA 研究。
一直以來,CASP 選擇近期才經過實驗確定的蛋白質結構,作為參賽團隊測試其蛋白質結構預測方法的目標(有些結構即使在評估時仍然處於待確定狀態)。這些蛋白質結構不會事先公佈,參賽者也必須對其結構進行盲測,最後將預測結果與實驗數據進行對比。正是基於這種嚴苛的評估原則,CASP 一直被稱為預測技術評估方面的「黃金標準」。
CASP 衡量預測準確率的主要指標是 GDT(Global Distance Test),範圍從 0 到 100,可以理解為預測的氨基酸殘基在正確位置閾值距離內的百分比。 John Moult 教授表示,GDT 分數在 90 分左右,即可視為對人類實驗方法具備競爭力。
在剛剛公佈的第14 屆CASP 評估結果中,DeepMind 的最新AlphaFold 系統在所有預測目標中的中位GDT 達到92.4,意味其平均誤差大概為1.6 埃(Angstrom),相當於一個原子的寬度(或0.1納米)。即使在難度最高的自由建模類別中,AlphaFold 的中位 GDT 也達到了 87.0。
歷屆 CASP 競賽自由建模類別中預測準確率中位數的提升情況,度量指標為 BEST-OF-5 GDT。
CASP 競賽自由建模類別中的兩個目標蛋白質示例。 AlphaFold 能夠預測出高度準確的蛋白質結構。
這些令人振奮的結果開啟了生物學家使用計算結構預測作為科研主要工具的時代。 DeepMind 提出的方法對於某些重要的蛋白質類別尤其有用,例如膜蛋白(membrane protein)。膜蛋白很難結晶,因此很難通過實驗方法來確定其結構。
該計算工作代表了在蛋白質折疊這一具備 50 年曆史的生物學問題上的驚人進展,比該領域人士成功預測蛋白質折疊結構早了幾十年。我們將很興奮,它能從多個方面對生物學研究帶來基礎性改變。 ——Venki Ramakrishnan 教授(諾貝爾獎得主,英國皇家學會會長)
▎DeepMind 這樣解決蛋白質折疊問題
2018 年,DeepMind 團隊使用初始版 AlphaFold 參加 CASP13 比賽,取得了最高的準確率。之後,DeepMind 將 CASP13 方法和相關代碼一併發表在 Nature 上。而現在,DeepMind 團隊開發出新的深度學習架構,並使用該架構參加 CASP14 比賽,達到了空前的準確率水平。這些方法從生物學、物理學、機器學習,以及過去半個世紀眾多科學家在蛋白質折疊領域的工作中汲取靈感。
我們可以把蛋白質折疊看作一個「空間圖」,節點表示殘基(residue),邊則將殘基緊密連接起來。這個空間圖對於理解蛋白質內部的物理交互及其演化史至關重要。對於在 CASP14 比賽中使用的最新版 AlphaFold,DeepMind 團隊創建了一個基於注意力的神經網絡系統,並用端到端的方式進行訓練,以理解圖結構,同時基於其構建的隱式圖執行推理。該方法使用進化相關序列、多序列比對(MSA)和氨基酸殘基對的表示來細化該圖。
通過迭代這一過程,該系統能夠較強地預測蛋白質的底層物理結構,並在幾天內確定高度準確的結構。此外,AlphaFold 還能使用內部置信度度量指標判斷預測的每個蛋白質結構中哪一部分比較可靠。
DeepMind 團隊在公開數據上訓練這一系統,這些數據來自蛋白質結構數據庫(PDB)和包含未知結構蛋白質序列的大型數據庫,共包括約 170,000 個蛋白質結構。該系統使用約 128 個 TPUv3 內核(相當於 100-200 個 GPU)運行數週,與現今機器學習領域出現的大型 SOTA 模型相比,該系統所用算力相對較少。
此外,DeepMind 團隊透露,他們準備在適當的時候將這一 AlphaFold 新系統相關論文提交至同行評審期刊。
AlphaFold 主要神經網絡模型架構概覽。該模型基於進化相關的蛋白質序列和氨基酸殘基對運行,迭代地在二者的表示之間傳遞信息,從而生成蛋白質結構。
▎對現實世界的潛在影響
「讓 AI 突破幫助人們進一步理解基礎科學問題」,經過 4 年的研究攻關,現在 AlphaFold 正在逐步實現 DeepMind 初創時的願景,在藥物設計和環境可持續性等領域都產生了重要的影響。
馬克斯· 普朗克演化生物學研究所所長,CASP 評估員Andrei Lupas 教授表示:「AlphaFold 的精確模型讓我們解決了近十年來被困擾的蛋白質結構,重新啟動關於信號如何跨細胞膜傳輸的研究。 」
DeepMind 表示願與其他研究者合作,以進一步了解 AlphaFold 在未來幾年的潛力。除了作用於經過同行評審的論文以外,DeepMind 還在探索如何以最佳的可擴展方式為系統提供更廣泛的訪問可能。
同時,DeepMind 的研究者還研究了蛋白質結構預測如何幫助人們理解一些特殊的疾病。例如,通過幫助識別存在故障的蛋白質,並推斷其相互作用的方式,來理解一些疾病的原理。這些信息能夠讓藥物開發更加精確,從而補充現有的實驗方法,並更快找到更有希望的治療方法。
AlphaFold 是十分卓越的,它在預測結構蛋白質的速度和精度上有著驚人的表現。這一飛躍證明了計算方法對於生物學中的轉換研究,加速藥物研發過程都具有廣闊的前景。
同時許多證據也表明,蛋白質結構預測在未來的大流行應對上是有用的。今年早些時候,DeepMind 使用 AlphaFold 預測了包括 ORF3a 在內的幾種未知新冠病毒蛋白質結構。在 CASP14 中,AlphaFold 預測了另一種冠狀病毒蛋白質 ORF8 的結構。目前,實驗人員已經證實了 ORF3a 和 ORF8 的結構。儘管具有挑戰性,並且相關序列很少,但與實驗確定的結構相比,AlphaFold 在兩種預測上都獲得了較高的準確率。
除了加速對已知疾病的了解,AlphaFold 還具備很多令人興奮的技術潛力:探索數億個目前還沒有模型的數億蛋白質,以及未知生物的廣闊領域。由於 DNA 指定了構成蛋白質結構的氨基酸序列,基因組學革命使大規模閱讀自然界的蛋白質序列成為可能——在通用蛋白質數據庫(UniProt)中有 1.8 億個蛋白質序列。相比之下,考慮到從序列到結構所需的實驗工作,蛋白質數據庫(PDB)中只有大約 170000 個蛋白質結構。在未確定的蛋白質中可能有一些新的和未確定的功能——就像望遠鏡幫助人類更深入的觀察未知宇宙一樣,像 AlphaFold 這樣的技術可以幫助找到未確定的蛋白質結構。
▎開創新的可能
AlphaFold 是 DeepMind 迄今為止取得的最重要進展之一,但隨著後續科學研究的開展,依然有很多問題尚待解決。 DeepMind 預測的結構並非全部都是完美的。還有很多要學習的地方,包括多蛋白如何形成複合體,如何與 DNA、RNA 或者小分子交互,以及如何確定所有氨基酸側鏈的精確位置。此外,在與他方合作的過程中,還需要學習如何以最好的方式將這些科學發現應用在新藥開發以及環境管理方式等諸多方面。
對於所有致力於科學領域中計算和機器學習方法的人而言,像 AlphaFold 這樣的系統彰顯了 AI 作為基礎探索輔助工具的驚人潛力。正如 50 年前 Anfinsen 提出的遠超當時科研能力所及的挑戰一樣,這個世界依然有諸多未知的方面。
DeepMind 取得的這一進展令人們更加堅信,AI 將成為人類擴展科學知識邊界的最有用工具之一,同時也期待未來多年的艱苦工作能夠帶來更偉大的發現。
影片及原文,參考 DeepMind官方部落客 https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology
alphafold原理 在 AlphaFold 2 三分鐘手把手教學(用DeepMind 預測 ... - YouTube 的推薦與評價
AlphaFold 2 三分鐘手把手教學(用DeepMind 預測蛋白質摺疊的結構) ... Alphafold 的 原理 和展望钟博子韬| 钰沐菡公益公开课. Yu Muhan (钰沐菡). ... <看更多>