摩爾定律放緩 靠啥提升AI晶片運算力?
作者 : 黃燁鋒,EE Times China
2021-07-26
對於電子科技革命的即將終結的說法,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有的,但這波革命始終也沒有結束。AI技術本質上仍然是第三次科技革命的延續……
人工智慧(AI)的技術發展,被很多人形容為第四次科技革命。前三次科技革命,分別是蒸汽、電氣、資訊技術(電子科技)革命。彷彿這“第四次”有很多種說辭,比如有人說第四次科技革命是生物技術革命,還有人說是量子技術革命。但既然AI也是第四次科技革命之一的候選技術,而且作為資訊技術的組成部分,卻又獨立於資訊技術,即表示它有獨到之處。
電子科技革命的即將終結,一般認為即是指摩爾定律的終結——摩爾定律一旦無法延續,也就意味著資訊技術的整棟大樓建造都將出現停滯,那麼第三次科技革命也就正式結束了。這種聲音似乎是從十多年前就有,但這波革命始終也沒有結束。
AI技術本質上仍然是第三次科技革命的延續,它的發展也依託於幾十年來半導體科技的進步。這些年出現了不少專門的AI晶片——而且市場參與者相眾多。當某一個類別的技術發展到出現一種專門的處理器為之服務的程度,那麼這個領域自然就不可小覷,就像當年GPU出現專門為圖形運算服務一樣。
所以AI晶片被形容為CPU、GPU之後的第三大類電腦處理器。AI專用處理器的出現,很大程度上也是因為摩爾定律的發展進入緩慢期:電晶體的尺寸縮減速度,已經無法滿足需求,所以就必須有某種專用架構(DSA)出現,以快速提升晶片效率,也才有了專門的AI晶片。
另一方面,摩爾定律的延緩也成為AI晶片發展的桎梏。在摩爾定律和登納德縮放比例定律(Dennard Scaling)發展的前期,電晶體製程進步為晶片帶來了相當大的助益,那是「happy scaling down」的時代——CPU、GPU都是這個時代受益,不過Dennard Scaling早在45nm時期就失效了。
AI晶片作為第三大類處理器,在這波發展中沒有趕上happy scaling down的好時機。與此同時,AI應用對運算力的需求越來越貪婪。今年WAIC晶片論壇圓桌討論環節,燧原科技創始人暨CEO趙立東說:「現在訓練的GPT-3模型有1750億參數,接近人腦神經元數量,我以為這是最大的模型了,要千張Nvidia的GPU卡才能做。談到AI運算力需求、模型大小的問題,說最大模型超過萬億參數,又是10倍。」
英特爾(Intel)研究院副總裁、中國研究院院長宋繼強說:「前兩年用GPU訓練一個大規模的深度學習模型,其碳排放量相當於5台美式車整個生命週期產生的碳排量。」這也說明了AI運算力需求的貪婪,以及提供運算力的AI晶片不夠高效。
不過作為產業的底層驅動力,半導體製造技術仍源源不斷地為AI發展提供推力。本文將討論WAIC晶片論壇上聽到,針對這個問題的一些前瞻性解決方案——有些已經實現,有些則可能有待時代驗證。
XPU、摩爾定律和異質整合
「電腦產業中的貝爾定律,是說能效每提高1,000倍,就會衍生出一種新的運算形態。」中科院院士劉明在論壇上說,「若每瓦功耗只能支撐1KOPS的運算,當時的這種運算形態是超算;到了智慧型手機時代,能效就提高到每瓦1TOPS;未來的智慧終端我們要達到每瓦1POPS。 這對IC提出了非常高的要求,如果依然沿著CMOS這條路去走,當然可以,但會比較艱辛。」
針對性能和效率提升,除了尺寸微縮,半導體產業比較常見的思路是電晶體結構、晶片結構、材料等方面的最佳化,以及處理架構的革新。
(1)AI晶片本身其實就是對處理器架構的革新,從運算架構的層面來看,針對不同的應用方向造不同架構的處理器是常規,更專用的處理器能促成效率和性能的成倍增長,而不需要依賴於電晶體尺寸的微縮。比如GPU、神經網路處理器(NPU,即AI處理器),乃至更專用的ASIC出現,都是這類思路。
CPU、GPU、NPU、FPGA等不同類型的晶片各司其職,Intel這兩年一直在推行所謂的「XPU」策略就是用不同類型的處理器去做不同的事情,「整合起來各取所需,用組合拳會好過用一種武器去解決所有問題。」宋繼強說。Intel的晶片產品就涵蓋了幾個大類,Core CPU、Xe GPU,以及透過收購獲得的AI晶片Habana等。
另外針對不同類型的晶片,可能還有更具體的最佳化方案。如當代CPU普遍加入AVX512指令,本質上是特別針對深度學習做加強。「專用」的不一定是處理器,也可以是處理器內的某些特定單元,甚至固定功能單元,就好像GPU中加入專用的光線追蹤單元一樣,這是當代處理器普遍都在做的一件事。
(2)從電晶體、晶片結構層面來看,電晶體的尺寸現在仍然在縮減過程中,只不過縮減幅度相比過去變小了——而且為緩解電晶體性能的下降,需要有各種不同的技術來輔助尺寸變小。比如說在22nm節點之後,電晶體變為FinFET結構,在3nm之後,電晶體即將演變為Gate All Around FET結構。最終會演化為互補FET (CFET),其本質都是電晶體本身充分利用Z軸,來實現微縮性能的提升。
劉明認為,「除了基礎元件的變革,IC現在的發展還是比較多元化,包括新材料的引進、元件結構革新,也包括微影技術。長期賴以微縮的基本手段,現在也在發生巨大的變化,特別是未來3D的異質整合。這些多元技術的協同發展,都為晶片整體性能提升帶來了很好的增益。」
他並指出,「從電晶體級、到晶圓級,再到晶片堆疊、引線接合(lead bonding),精準度從毫米向奈米演進,互連密度大大提升。」從晶圓/裸晶的層面來看,則是眾所周知的朝more than moore’s law這樣的路線發展,比如把兩片裸晶疊起來。現在很熱門的chiplet技術就是比較典型的並不依賴於傳統電晶體尺寸微縮,來彈性擴展性能的方案。
台積電和Intel這兩年都在大推將不同類型的裸晶,異質整合的技術。2.5D封裝方案典型如台積電的CoWoS,Intel的EMIB,而在3D堆疊上,Intel的Core LakeField晶片就是用3D Foveros方案,將不同的裸晶疊在一起,甚至可以實現兩片運算裸晶的堆疊、互連。
之前的文章也提到過AMD剛發佈的3D V-Cache,將CPU的L3 cache裸晶疊在運算裸晶上方,將處理器的L3 cache大小增大至192MB,對儲存敏感延遲應用的性能提升。相比Intel,台積電這項技術的獨特之處在於裸晶間是以混合接合(hybrid bonding)的方式互連,而不是micro-bump,做到更小的打線間距,以及晶片之間數十倍通訊性能和效率提升。
這些方案也不直接依賴傳統的電晶體微縮方案。這裡實際上還有一個方面,即新材料的導入專家們沒有在論壇上多說,本文也略過不談。
1,000倍的性能提升
劉明談到,當電晶體微縮的空間沒有那麼大的時候,產業界傾向於採用新的策略來評價技術——「PPACt」——即Powe r(功耗)、Performance (性能)、Cost/Area-Time (成本/面積-時間)。t指的具體是time-to-market,理論上應該也屬於成本的一部分。
電晶體微縮方案失效以後,「多元化的技術變革,依然會讓IC性能得到進一步的提升。」劉明說,「根據預測,這些技術即使不再做尺寸微縮,也會讓IC的晶片性能做到500~1,000倍的提升,到2035年實現Zetta Flops的系統性能水準。且超算的發展還可以一如既往地前進;單裸晶儲存容量變得越來越大,IC依然會為產業發展提供基礎。」
500~1,000倍的預測來自DARPA,感覺有些過於樂觀。因為其中的不少技術存在比較大的邊際遞減效應,而且有更實際的工程問題待解決,比如運算裸晶疊層的散熱問題——即便業界對於這類工程問題的探討也始終在持續。
不過1,000倍的性能提升,的確說明摩爾定律的終結並不能代表第三次科技革命的終結,而且還有相當大的發展空間。尤其本文談的主要是AI晶片,而不是更具通用性的CPU。
矽光、記憶體內運算和神經型態運算
在非傳統發展路線上(以上內容都屬於半導體製造的常規思路),WAIC晶片論壇上宋繼強和劉明都提到了一些頗具代表性的技術方向(雖然這可能與他們自己的業務方向或研究方向有很大的關係)。這些技術可能尚未大規模推廣,或者仍在商業化的極早期。
(1)近記憶體運算和記憶體內運算:處理器性能和效率如今面臨的瓶頸,很大程度並不在單純的運算階段,而在資料傳輸和儲存方面——這也是共識。所以提升資料的傳輸和存取效率,可能是提升整體系統性能時,一個非常靠譜的思路。
這兩年市場上的處理器產品用「近記憶體運算」(near-memory computing)思路的,應該不在少數。所謂的近記憶體運算,就是讓儲存(如cache、memory)單元更靠近運算單元。CPU的多層cache結構(L1、L2、L3),以及電腦處理器cache、記憶體、硬碟這種多層儲存結構是常規。而「近記憶體運算」主要在於究竟有多「近」,cache記憶體有利於隱藏當代電腦架構中延遲和頻寬的局限性。
這兩年在近記憶體運算方面比較有代表性的,一是AMD——比如前文提到3D V-cache增大處理器的cache容量,還有其GPU不僅在裸晶內導入了Infinity Cache這種類似L3 cache的結構,也更早應用了HBM2記憶體方案。這些實踐都表明,儲存方面的革新的確能帶來性能的提升。
另外一個例子則是Graphcore的IPU處理器:IPU的特點之一是在裸晶內堆了相當多的cache資源,cache容量遠大於一般的GPU和AI晶片——也就避免了頻繁的訪問外部儲存資源的操作,極大提升頻寬、降低延遲和功耗。
近記憶體運算的本質仍然是馮紐曼架構(Von Neumann architecture)的延續。「在做處理的過程中,多層級的儲存結構,資料的搬運不僅僅在處理和儲存之間,還在不同的儲存層級之間。這樣頻繁的資料搬運帶來了頻寬延遲、功耗的問題。也就有了我們經常說的運算體系內的儲存牆的問題。」劉明說。
構建非馮(non-von Neumann)架構,把傳統的、以運算為中心的馮氏架構,變換一種新的運算範式。把部分運算力下推到儲存。這便是記憶體內運算(in-memory computing)的概念。
記憶體內運算的就現在看來還是比較新,也有稱其為「存算一體」。通常理解為在記憶體中嵌入演算法,儲存單元本身就有運算能力,理論上消除資料存取的延遲和功耗。記憶體內運算這個概念似乎這在資料爆炸時代格外醒目,畢竟可極大減少海量資料的移動操作。
其實記憶體內運算的概念都還沒有非常明確的定義。現階段它可能的內涵至少涉及到在儲記憶體內部,部分執行資料處理工作;主要應用於神經網路(因為非常契合神經網路的工作方式),以及這類晶片具體的工作方法上,可能更傾向於神經型態運算(neuromorphic computing)。
對於AI晶片而言,記憶體內運算的確是很好的思路。一般的GPU和AI晶片執行AI負載時,有比較頻繁的資料存取操作,這對性能和功耗都有影響。不過記憶體內運算的具體實施方案,在市場上也是五花八門,早期比較具有代表性的Mythic導入了一種矩陣乘的儲存架構,用40nm嵌入式NOR,在儲記憶體內部執行運算,不過替換掉了數位週邊電路,改用類比的方式。在陣列內部進行模擬運算。這家公司之前得到過美國國防部的資金支援。
劉明列舉了近記憶體運算和記憶體內運算兩種方案的例子。其中,近記憶體運算的這個方案應該和AMD的3D V-cache比較類似,把儲存裸晶和運算裸晶疊起來。
劉明指出,「這是我們最近的一個工作,採用hybrid bonding的技術,與矽通孔(TSV)做比較,hybrid bonding功耗是0.8pJ/bit,而TSV是4pJ/bit。延遲方面,hybrid bonding只有0.5ns,而TSV方案是3ns。」台積電在3D堆疊方面的領先優勢其實也體現在hybrid bonding混合鍵合上,前文也提到了它具備更高的互連密度和效率。
另外這套方案還將DRAM刷新頻率提高了一倍,從64ms提高至128ms,以降低功耗。「應對刷新率變慢出現拖尾bit,我們引入RRAM TCAM索引這些tail bits」劉明說。
記憶體內運算方面,「傳統運算是用布林邏輯,一個4位元的乘法需要用到幾百個電晶體,這個過程中需要進行資料來回的移動。記憶體內運算是利用單一元件的歐姆定律來完成一次乘法,然後利用基爾霍夫定律完成列的累加。」劉明表示,「這對於今天深度學習的矩陣乘非常有利。它是原位的運算和儲存,沒有資料搬運。」這是記憶體內運算的常規思路。
「無論是基於SRAM,還是基於新型記憶體,相比近記憶體運算都有明顯優勢,」劉明認為。下圖是記憶體內運算和近記憶體運算,精準度、能效等方面的對比,記憶體內運算架構對於低精準度運算有價值。
下圖則總結了業內主要的一些記憶體內運算研究,在精確度和能效方面的對應關係。劉明表示,「需要高精確度、高運算力的情況下,近記憶體運算目前還是有優勢。不過記憶體內運算是更新的技術,這幾年的進步也非常快。」
去年阿里達摩院發佈2020年十大科技趨勢中,有一個就是存算一體突破AI算力瓶頸。不過記憶體內運算面臨的商用挑戰也一點都不小。記憶體內運算的通常思路都是類比電路的運算方式,這對記憶體、運算單元設計都需要做工程上的考量。與此同時這樣的晶片究竟由誰來造也是個問題:是記憶體廠商,還是數文書處理器廠商?(三星推過記憶體內運算晶片,三星、Intel垂直整合型企業似乎很適合做記憶體內運算…)
(2)神經型態運算:神經型態運算和記憶體內運算一樣,也是新興技術的熱門話題,這項技術有時也叫作compute in memory,可以認為它是記憶體內運算的某種發展方向。神經型態和一般神經網路AI晶片的差異是,這種結構更偏「類人腦」。
進行神經型態研究的企業現在也逐漸變得多起來,劉明也提到了AI晶片「最終的理想是在結構層次模仿腦,元件層次逼近腦,功能層次超越人腦」的「類腦運算」。Intel是比較早關注神經型態運算研究的企業之一。
傳說中的Intel Loihi就是比較典型存算一體的架構,「這片裸晶裡面包含128個小核心,每個核心用於模擬1,024個神經元的運算結構。」宋繼強說,「這樣一塊晶片大概可以類比13萬個神經元。我們做到的是把768個晶片再連起來,構成接近1億神經元的系統,讓學術界的夥伴去試用。」
「它和深度學習加速器相比,沒有任何浮點運算——就像人腦裡面沒有乘加器。所以其學習和訓練方法是採用一種名為spike neutral network的路線,功耗很低,也可以訓練出做視覺辨識、語言辨識和其他種類的模型。」宋繼強認為,不採用同步時脈,「刺激的時候就是一個非同步電動勢,只有工作部分耗電,功耗是現在深度學習加速晶片的千分之一。」
「而且未來我們可以對不同區域做劃分,比如這兒是視覺區、那兒是語言區、那兒是觸覺區,同時進行多模態訓練,互相之間產生關聯。這是現在的深度學習模型無法比擬的。」宋繼強說。這種神經型態運算晶片,似乎也是Intel在XPU方向上探索不同架構運算的方向之一。
(2)微型化矽光:這個技術方向可能在層級上更偏高了一些,不再晶片架構層級,不過仍然值得一提。去年Intel在Labs Day上特別談到了自己在矽光(Silicon Photonics)的一些技術進展。其實矽光技術在連接資料中心的交換機方面,已有應用了,發出資料時,連接埠處會有個收發器把電訊號轉為光訊號,透過光纖來傳輸資料,另一端光訊號再轉為電訊號。不過傳統的光收發器成本都比較高,內部元件數量大,尺寸也就比較大。
Intel在整合化的矽光(IIIV族monolithic的光學整合化方案)方面應該是商業化走在比較前列的,就是把光和電子相關的組成部分高度整合到晶片上,用IC製造技術。未來的光通訊不只是資料中心機架到機架之間,也可以下沉到板級——就跟現在傳統的電I/O一樣。電互連的主要問題是功耗太大,也就是所謂的I/O功耗牆,這是這類微型化矽光元件存在的重要價值。
這其中存在的技術挑戰還是比較多,如做資料的光訊號調變的調變器調變器,據說Intel的技術使其實現了1,000倍的縮小;還有在接收端需要有個探測器(detector)轉換光訊號,用所謂的全矽微環(micro-ring)結構,實現矽對光的檢測能力;波分複用技術實現頻寬倍增,以及把矽光和CMOS晶片做整合等。
Intel認為,把矽光模組與運算資源整合,就能打破必須帶更多I/O接腳做更大尺寸處理器的這種趨勢。矽光能夠實現的是更低的功耗、更大的頻寬、更小的接腳數量和尺寸。在跨處理器、跨伺服器節點之間的資料互動上,這類技術還是頗具前景,Intel此前說目標是實現每根光纖1Tbps的速率,並且能效在1pJ/bit,最遠距離1km,這在非本地傳輸上是很理想的數字。
還有軟體…
除了AI晶片本身,從整個生態的角度,包括AI感知到運算的整個鏈條上的其他組成部分,都有促成性能和效率提升的餘地。比如這兩年Nvidia從軟體層面,針對AI運算的中間層、庫做了大量最佳化。相同的底層硬體,透過軟體最佳化就能實現幾倍的性能提升。
宋繼強說,「我們發現軟體最佳化與否,在同一個硬體上可以達到百倍的性能差距。」這其中的餘量還是比較大。
在AI開發生態上,雖然Nvidia是最具發言權的;但從戰略角度來看,像Intel這種研發CPU、GPU、FPGA、ASIC,甚至還有神經型態運算處理器的企業而言,不同處理器統一開發生態可能更具前瞻性。Intel有個稱oneAPI的軟體平台,用一套API實現不同硬體性能埠的對接。這類策略對廠商的軟體框架構建能力是非常大的考驗——也極大程度關乎底層晶片的執行效率。
在摩爾定律放緩、電晶體尺寸微縮變慢甚至不縮小的前提下,處理器架構革新、異質整合與2.5D/3D封裝技術依然可以達成1,000倍的性能提升;而一些新的技術方向,包括近記憶體運算、記憶體內運算和微型矽光,能夠在資料訪存、傳輸方面產生新的價值;神經型態運算這種類腦運算方式,是實現AI運算的目標;軟體層面的最佳化,也能夠帶動AI性能的成倍增長。所以即便摩爾定律嚴重放緩,AI晶片的性能、效率提升在上面提到的這麼多方案加持下,終將在未來很長一段時間內持續飛越。這第三(四)次科技革命恐怕還很難停歇。
資料來源:https://www.eettaiwan.com/20210726nt61-ai-computing/?fbclid=IwAR3BaorLm9rL2s1ff6cNkL6Z7dK8Q96XulQPzuMQ_Yky9H_EmLsBpjBOsWg
同時也有2部Youtube影片,追蹤數超過319的網紅容海恩 Eunice Yung,也在其Youtube影片中提到,我在11月23日的立法會會議上提出動議,要求政府正視市民對領展的不滿,最終獲得通過。領展以「賺到盡」模式經營,完全不顧其社會責任,除了拆售停車場,把部分街市管理服務外判,造成承包商壟斷經營的情況外,還大幅增加旗下商鋪租金,逼走小商戶,引入大量連鎖店,令物價大幅飆升,罔顧升斗市民的生活需要和負擔能力。...
向前垂直整合例子 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳解答
迎接終端AI新時代:讓運算更靠近資料所在
作者 : Andrew Brown,Strategy Analytics
2021-03-03
資料/數據(data)成長的速度越來越快。據估計,人類目前每秒產出1.7Mb的資料。智慧與個人裝置如智慧型手機、平板電腦與穿戴式裝置不但快速成長,現在我們也真正目睹物聯網(IoT)的成長,未來連網的裝置數量將遠遠超越地球的人口。
這包括種類繁多的不同裝置,像是智慧感測器與致動器,它們可以監控從震動、語音到視覺等所有的東西,以及幾乎大家可以想像到的所有東西。這些裝置無所不在,從工廠所在位置到監控攝影機、智慧手錶、智慧家庭以及自主性越來越高的車輛。隨著我們企圖測量生活週遭數位世界中更多的事物,它們的數量將持續爆炸性成長。
資料爆量成長,讓許多企業把資料從內部部署運作移到雲端。儘管集中到雲端運算的性質,在成本與資源效率、彈性與便利性有它的優點,但也有一些缺點。由於運算與儲存在遠端進行,來自終端、也就是那些在網路最邊緣裝置的資料,需要從起始點經過網際網路或其他網路,來到集中式的資料中心(例如雲端),然後在這裡處理與儲存,最後再傳回給用戶。
對於一些傳統的應用,這種方式雖然還可以接受,但越來越多的使用場景就是無法承受終端與雲端之間,資訊被接力傳遞產生的延遲。我們必須即時做出決策,網路延遲要越小越好。基於這些原因,開始有人轉向終端運算;越來越多人轉而使用智慧終端,而去中心化的程度也越來越高。此外,在這些即時應用中產生的龐大資料量,意味著處理與智慧必須在本地以分散的方式進行。
與資料成長連袂而來的,是人工智慧與機器學習(ML)也朝終端移動,並且越來越朝終端本身移動。大量來自真實世界的資訊,需要用ML的方式來進行詮釋與採取行動。透過AI與ML,是以最小的延遲分析影像、動作、影片或數量龐大的資料,唯一可行且合乎成本效益的方式。運用AI與ML的演算法與應用將在邊緣運作,在未來還將會直接在終端裝置上進行。
資料正在帶動從集中化到分散化的轉變
隨著資訊科技市場逐漸發展與成熟,網路的設計以及在其運作的所有裝置,也都跟著進化。全盛時期從服務數千個小型客戶端的主機,一直到客戶端伺服器模型中使用的越來越本地化的個人電腦運算效能,基礎架構持續重組與最佳化,以便更貼近網路上的裝置以及符合運作應用的需求。這些需求包含檔案存取與資料儲存,以及資料處理的需求。
智慧型手機與其他行動裝置的爆炸性成長,加上物聯網的快速成長,促使我們需要為如何讓資產進行最佳的部署與安排進行評估。而影響這個評估的因素,包括網路的可用性、安全性、裝置的運算力,以及把資料從終端傳送到儲存設備的相關費用,近來也已轉向使用分散式的運算模型。
從邊緣到終端:AI與ML改變終端典範
在成本、資源效率、彈性與便利性等方面,雲端有它的優點,裝置數量的急遽增加(如圖2),將導致資料產出量大幅增加。這些資料大部份都相當複雜且非結構化的,這也是為何企業只會分析1%~12% 的資料的原因之一。把大量非結構化的資料送到雲端的費用相當高、容易形成瓶頸,而且從能源、頻寬與運算力角度來看,相當沒有效率。
在終端執行進階處理與分析的能力,可協助為關鍵應用降低延遲、減少對雲端的依賴,並且更好地管理物聯網產出的巨量資料。
終端AI:感測、推論與行動
在終端部署更多智慧的主要原因之一,是為了創造更大的敏捷性。終端裝置處於網路的最邊緣與資料產生的地方,可以更快與更準確地做出回應,同時免除不必要的資料傳輸、延遲與資料移動中的安全風險,可以節省費用。
處理能力與神經網路的重大進展,正協助帶動終端裝置的新能力,另一股驅動力則是對即時資訊、效率(傳送較少的資訊到雲端)、自動化與在多數情況下,對近乎即時回應的需求。這是一個三道步驟的程序:傳送資料、資料推論(例如依據機器學習辨識影像、聲音或動作),以及採取行動(如物件是披薩,冰箱的壓縮機發出正常範圍外的聲音,因此發出警告)。
感測
處理器、微控制器與感測器產生的資料量相當龐大。例如,自駕車每小時要搜集25GB的資料。智慧家庭裝置、智慧牙刷、健身追蹤器或智慧手錶持續進化,並且與以往相比,會搜集更多的資料。
它們搜集到的資料極具價值,但每次都從各個終端節點把資料推回給雲端,數量又會過多。因此必須在終端進行處理。倘若部份的作業負載能在終端本身進行,就可以大幅提升效率。
推論
終端搜集到的資料是非結構性的。當機器學習從資料擷取到關聯性時,就是在進行推論。這表示使用AI與ML工具來幫忙訓練裝置辨識物件。拜神經網路的進展之賜,機器學習工具越來越能訓練物件以高度的精準度辨識影像、聲音與動作,這對體積越來越小的裝置,極為關鍵。
例如,圖4顯示使用像ONNX、PyTorch、Caffe2、Arm NN或 Tensorflow Lite 等神經網路工具,訓練高效能的意法半導體(ST)微控制器(MCU),以轉換成最佳化的程式碼,讓MCU進行物件辨識(這個的情況辨識對象是影像、聲音或動作)。更高效能的MCU越來越常利用這些ML工具來辨識動作、音訊或影像,而且準確度相當高,而我們接下來馬上就要對此進行檢視。這些動作越來越頻繁地從邊緣,轉移到在終端運作的MCU本身。
行動
資料一旦完成感測與推論後,結果就是行動。這有可能是回饋簡單的回應(裝置是開啟或關閉),或針對應用情況進行最佳化(戴耳機的人正在移動中,因此會針對穩定度而非音質進行最佳化),或是回饋迴路(根據裝置訓練取得的機器學習,輸送帶若發出聲音,顯示它可能歪掉了)。物聯網裝置將會變得更複雜且更具智慧,因為這些能力提升後,運算力也會因此增加。在我們使用新的機器學習工具後,一些之前在雲端或終端完成的關鍵功能,將可以移到終端本身的內部進行。
終端 AI:千里之行始於足下
從智慧型手機到車輛,今日所有電子裝置的核心都是許多的處理器、微控制器與感測器。它們執行各種任務,從最簡單到最複雜,並需要各式各樣的能力。例如,應用處理器是高階處理器,它們是為行動運算、智慧型手機與伺服器設計;即時處理器是為例如硬碟控制、汽車動力傳動系統,與無線通訊的基頻控制使用的非常高效能的處理器,至於微控制器處理器的矽晶圓面積則小了許多,能源效率也高出很多,同時擁有特定的功能。
這意味著利用ML工具訓練如MCU等較不複雜元件來執行的動作,之前必須透過威力更強大的元件才能完成,但現在邊緣與雲端則是理想的場所。這將讓較小型的裝置以更低的延遲執行更多種類的功能,例如智慧手錶、健康追蹤器或健康照護監控等穿戴式裝置。
隨著更多功能在較小型的終端進行,這將可以省下資源,包括資料傳輸費用與能源費用,同時也會產生極大的環境衝擊,特別是考量到全球目前已有超過200億台連網裝置,以及超過2,500億顆MCU(根據Strategy Analytics統計數據)。
TinyML、MCU與人工智慧
根據Google的TesnsorFlow 技術主管、同時也是深度學習與TinyML領域的指標人物 Pete Warden 表示:「令人相當興奮的是,我還不知道我們將如何使用這些全新的裝置,特別是它們後面代表的科技是如此的吸引人,我無法想像那些即將出現的全新應用。」
微型機器學習(TinyML)的崛起,已經催化嵌入式系統與機器學習結合,而兩者傳統上大多是獨立運作的。TinyML 捨棄在雲端上運作複雜的機器學習模型,過程包含在終端裝置內與微控制器上運作經過最佳化的模式識別模型,耗電量只有數毫瓦。
物聯網環境中有數十億個微型裝置,可以為各個產業提供更多的洞察與效率,包括消費、醫療、汽車與工業。TinyML 獲得 Arm、Google、Qualcomm、Arduino等業者的支持,可望改變我們處理物聯網資料的方式。
受惠於TinyML,微控制器搭配AI已經開始增添各種傳統上威力更強大的元件才能執行的功能。這些功能包括語音辨識(例如自然語言處理)、影像處理(例如物件辨識與識別),以及動作(例如震動、溫度波動等)。啟用這些功能後,準確度與安全性更高,但電池的續航力卻不會打折扣,同時也考量到各種更微妙的應用。
儘管之前提到的雲端神經網路框架工具,是取用這個公用程式最常用的方法,但把AI函式庫整合進MCU,然後把本地的AI訓練與分析能力插入程式碼中也是可行的。這讓開發人員依據從感測器、麥克風與其他終端嵌入式裝置取得的訊號導出資料模式,然後從中建立模型,例如預測性維護能力。
如Arm Cortex-M55處理器與Ethos U55微神經處理器(microNPU),利用CMSIS-DSP與CMSIS-NN等常見API來簡化程式碼的轉移性,讓MCU與共同處理器緊密耦合以加速AI功能。透過推論工具在低成本的MCU上實現AI功能並符合嵌入式設計需求極為重要,原因是具有AI功能的MCU有機會在各種物聯網應用中轉變裝置的設計。
AI在較小型、低耗電與記憶體受限的裝置中可以協助的關鍵功能,我們可以把其精華歸納至我們簡稱為「3V」的三大領域:語音(Voice,如自然語言處理)、視覺(Vision,如影像處理)以及震動(Vibration,如處理來自多種感測器的資料,包括從加速計到溫度感測器,或是來自馬達的電氣訊號)。
終端智慧對「3V」至關重要
多數的物聯網應用聚焦在一些特定的領域:基本控制(開/關)、測量(狀態、溫度、流量、噪音與震動、濕度等)、資產的狀況(所在地點以及狀況如何?),以及安全性功能、自動化、預測性維護以及遠端遙控(詳見圖 6)。
Strategy Analytics的研究顯示,許多已經完成部署或將要部署的物聯網B2B應用,仍然只需要相對簡單的指令,如基本的開/關,以及對設備與環境狀態的監控。在消費性物聯網領域中,智慧音箱的語音控制AI已經出現爆炸性成長,成為智慧家庭指令的中樞,包括智慧插座、智慧照明、智慧攝影機、智慧門鈴,以及智慧恆溫器等。消費性裝置如藍牙耳機現在已經具備情境感知功能,可以依據地點與環境,在音質優先與穩定度優先之間自動切換。
如同我們檢視的結果,終端AI可以在「3V」核心領域提供價值,而它觸及的許多物聯網領域,遍及B2B與B2C的應用:
震動:包含來自多種感測器資料的處理,從加速計感測器到溫度感測器,或來自馬達的電氣訊號。
視覺:影像與影片辨識;分析與識別靜止影像或影片內物件的能力。
語音:包括自然語言處理(NLP)、瞭解人類口中說出與寫出的語言的能力,以及使用人類語言與人類交談的能力-自然語言產生(NLG)。
垂直市場中有多種可以實作AI技術的使用場景:
震動
可以用來把智慧帶進MCU中的終端AI的進展,有各式各樣的不同應用領域,對於成本與物聯網裝置與應用的效用,都會帶來衝擊。這包括我們在圖6中點出的數個關鍵物聯網應用領域,包括:
溫度監控;
壓力監控;
溼度監控;
物理動作,包括滑倒與跌倒偵測;
物質檢測(漏水、瓦斯漏氣等) ;
磁通量(如鄰近感測器與流量監控) ;
感測器融合(見圖7);
電場變化。
一如我們將在使用場景單元中檢視的,這些能力有許多可以應用在各種被普遍部署的物聯網應用中。
語音
語音是進化的產物,也是人類溝通非常有效率的方式。因此我們常常想要用語音來對機器下指令,也不令人意外;聲音檢測是持續成長的類別。語音啟動在智慧家庭應用中很常見,例如智慧音箱,而它也逐漸成為啟動智慧家庭裝置與智慧家電的語音中樞,如電視、遊戲主機與其他新的電器。
在工業環境中,供車床、銑床與磨床等電腦數值控制(CNC)機器使用的電腦語音引擎正方興未艾。iTSpeex的ATHENA4是第一批專為這些產品設計的語音啟動作業系統。這些產品往往因為安全原因,有離線語音處理的需求,因此終端 AI 語音發展在這裡也創造出有趣的機會。用戶可以指示機器執行特定的運作,並從機器手冊與工廠文件,立即取用資訊。
語音整合在車輛中也相當關鍵。OEM 代工廠商持續對車載娛樂系統中的語音辨識系統,進行大量投資。語音有潛力成為最安全的輸入模式,因為它可以讓駕駛的眼睛持續盯著道路,而雙手仍持續握著方向盤。
對於使用觸控螢幕或硬體控制器通常需要多道步驟的複雜任務,語音辨識系統特別能勝任。這些任務包括輸入文字簡訊、輸入目的地、播放特定歌曲或歌曲子集,以及選擇廣播電台頻道。其他的服務包含如拋錨服務(或bCall)與禮賓服務。
視覺
正如我們之前已經檢視過,終端 AI 提供視覺領域全新的機會,特別是與物件檢測及辨識相關。這可能包括觀察生產線的製造瑕疵,以及找出自動販賣機需要補貨的庫存。其他實例包括農業應用,例如依據大小與品質為農產品分級。
曳引機裝上機器視覺攝影機後,我們幾乎可以即時檢測出雜草。雜草冒出後,AI可以分類雜草並估算它對農產收穫的潛在威脅。這讓農民可以鎖定特定的雜草,並打造客製的除草解決方案。機器視覺然後可以檢測除草劑的效用,並找出農地中仍具抗藥性的殘餘雜草。
使用場景
預測性維護工具已經從擷取與比較震動的量測資料,進化到提出即時的資產監控。藉由連接物聯網感測器裝置與維護軟體,我們也可能做到遠端監控。
震動分析
這種類型的預測性維護在旋轉型機器密集的製造工廠裡,相當常見。震動分析可以揭露鬆脫、不平衡、錯位與軸承磨損等狀況。例如,把震動計量器接上靠近選煤廠離心泵浦內部承軸處,就可以讓工程師建立起正常震動範圍的基線。超出這個範圍的震動,可能顯示滾珠軸承出現鬆動,需要更換。
磁感測器融合
磁感測器利用磁性浮筒與一系列可以感應並與液體表面一起移動的感測器,測量液面的高低。所有的這些應用都使用一個固定面上的磁感測器,它與附近平面的磁鐵一起作動,與這個磁鐵相對應的感測器也會移動。
聲學分析(聲音)
與震動分析相似,聲測方位分析也是供潤滑技師使用,主要是專注在主動採取潤滑措施。這意味我們可以避免移動設備時產生的過度磨損,否則會為了修理造成代價高昂的停機。實際的例子可能包括測量輸送皮帶的承軸狀況。出現過度磨損時,承軸會因為潤滑不足或錯位出現故障,可能造成整個生產流程的中斷。
聲學分析(超音波)
聲音聲學分析雖然可以用來進行主動與預測性維護,超音波聲學分析卻只能用於預測性維護。它可以在超音波範圍內找出與機器摩擦及壓力相關的聲音,並使用在會發出較細微聲音的電氣設備與機器設備。我們可以說這一類型的分析與震動或油量分析相比,更可以預測即將出現的故障。目前它部署起來比其他種類的預防性維護花費較高,但終端 AI 的進展可以促成這種細微層級的聲學檢測,大幅降低部署的費用。
熱顯影
熱顯影利用紅外線影像來監控互動機器零件的溫度,讓任何異常情況很快變得顯而易見。具備終端 AI 能力的裝置,可以長期檢測微細的變化。與其他對事故敏感的監視器一樣,它們會觸發排程系統,自動採取適當的行動來預防零件故障。
消費者與智慧家庭
將語音運用在消費者與智慧家庭,是最常看到的場景之一。這包括智慧型手機與平板電腦上、未包含電話整合功能的裝置,例如螢幕尺寸有限的穿戴式裝置。這類型的裝置包含智慧手錶與健康穿戴式裝置,可以為各種功能提供免動手的語音啟動。像 Amazon 的 Echo 或 Google 的 Home 等智慧音箱市場的成長,說明消費者對於可接收與提供語音互動等現有裝置的強勁需求,與日俱增。
消費者基於各種理由使用智慧音箱,最常見的使用場景為:
聽音樂;
控制如照明等智慧家庭裝置;
取得新聞與天氣預報的更新;
建立購物與待辦事項清單。
除了像智慧音箱與智慧電視等消費裝置,智慧家庭裝置語音的使用,也顯現相當的潛力。諸如連網門鈴(如 ring.com)等裝置與連網的煙霧偵測器(例如 Nest Protect 煙霧與一氧化碳警報)目前都已上市可供消費者選購,它們結合了語音與視覺的感測器融合功能以及運動檢測。有了連網的煙霧偵測器,裝置在偵測到煙霧或一氧化碳時,可以發出語音警告。
終端 AI 為強化這些能力提供了全新機會,而且常常結合震動(動作)、視覺與語音控制。例如,增加姿態辨識來控制例如電視等家電,或是把語音控制嵌入白色家電,即是以最低成本強化功能性最直接的方式。
健康照護
用來發現醫護資訊的 AI 驅動終端裝置的應用,將為病況的治療與診斷,提供更多的價值。這種資訊可能是資料,也可能是影像、影片以及說出的話,我們可以透過 AI 進行型態與診斷分析。這些資料將引發全新、更有效的治療方法,為整個產業節省成本。受惠於終端 AI 的進展,像 Google Duplex 等語音系統的複雜性將會降低。例如門診預約等勞力密集的工作,也可以轉換成 AI 活動。利用自然語言語音來延伸 AI 的使用,也可以把 AI 用在第一線的病人診斷,然後再由醫師接手提供諮詢。
其他健康照護實例包括像 Wewalk5 等物件,這是一個供半盲與全盲人員使用的智慧拐杖。它使用感測器來檢測胸口水平以上的物件,並搭配 Google Maps 與 Amazon Alexa 等 app,方便使用者提出問題。
結論
由於連網的終端裝置數量越來越多,這個世界也越來越複雜。連接到網際網路的裝置已經超過 300 億個,而微控制器的數量也超過 2,500 億,每年還會增加約 300 億個。越來越多的程序開始進行自動化,不過,把大量資料傳送到雲端涉及的延遲以及邊緣運算的額外費用,意味著許多全新、令人興奮且引人矚目的物聯網使用場景,可能無法開花結果。
解決這些挑戰的答案,並不是為雲端資料中心持續增添運算力。降低出現在邊緣的延遲雖然會有幫助,但不會解決日益分散的世界的所有挑戰。我們需要把智能應用到基礎架構中。
儘管為終端裝置增添先進的運算能力在十年前仍不可行,TinyML 技術近來的提升,已經讓位處相當邊緣的裝置 (也就是終端本身)增添智能的機會大大改觀。在終端增加運算與人工智慧能力,可以讓我們在源頭搜集到更多更具關聯性與相關的資訊。隨著裝置與資料的數量持續攀升,在源頭掌握情境化與具關聯性的資料,具有極大的價值,並將開啟全新的使用場景與營收機會。
終端裝置的機器學習,可以促成全新的終端 AI 世界。新的應用場景正在崛起,甚至跳過傳送大量資料的需求,因而紓解資料傳輸的瓶頸與延遲,並在各種作業環境中創造全新機會。終端 AI 將為我們開啟一個充滿全新機會與應用場景的世界,其中還有很多我們現在想像不到的機會。
附圖:圖1:從集中式到分散式運算的轉變。
(資料來源:《The End of Cloud Computing》,by Peter Levine,Andreessen Horowitz)
圖2:全球上網裝置安裝量。
(資料來源:Strategy Analytics)
圖3:深度學習流程。
圖4:MCU的視覺、震動與語音。
(資料來源:意法半導體)
圖5:AI 工具集執行模型轉換,以便在MCU上執行經最佳化的神經網路推論。
(資料來源:意法半導體)
圖6:物聯網企業對企業應用的使用-目前與未來。
(資料來源:Strategy Analytics)
圖7:促成情境感知的感測器融合。
(資料來源:恩智浦半導體)
資料來源:https://www.eettaiwan.com/20210303nt31-the-dawn-of-endpoint-ai-bringing-compute-closer-to-data/?fbclid=IwAR0JTRpNsJUl-DmSNpfIcymGQpkQaUgXixEaczwDpELxGCaCeJpkTyoqUtI
向前垂直整合例子 在 謝伯讓的腦科學世界 Facebook 的最佳貼文
今天要來幫大家介紹一下視覺注意力的故事。
鏡好聽語音版:https://voice.mirrorfiction.com/single/20200520cul001
關於視覺注意力,我們首先要來關注的一個重要問題就是:注意力是不是我們能看見東西的必要條件?也就是說,如果眼前有個事物沒有被我們注意到,那我們還看得到它嗎?
關於這些問題,最早以實驗來加以研究的,就是奈瑟(Ulric Neisser),也就是我們在《大腦好好玩》第二季第一集開場時,曾經提過的認知革命的四位重要人物之一的奈瑟。Neisse r在 1975 年,曾經做過一項先驅實驗,就是以疊合的影片,來測試人類的注意力能不能被分配。
這段影片,我們會放在以下連結中,如果大家有機會的話,可以到連結中看一看。如果沒機會去看的話,也沒關係,我在這邊用語言來幫大家說明就好。
影片:https://youtu.be/nkn3wRyb9Bk
在奈瑟的實驗影片中,基本上就是把兩段影片疊合在一起,其中一段影片,是穿著白衣的籃球員在傳球,另外一段影片,則是穿著黑衣的籃球員在傳球。然後呢,這兩段影片會被疊合在一起。什麼叫做疊合在一起呢?疊合在一起,就有點像是你拿兩台投影機,同時投影在同一面牆上,然後影像就會疊合在一起那樣。
兩段影片疊合在一起之後,奈瑟就請受試者去注意數數看影片中的黑衣隊伍總共傳了幾次球。
結果發現呢,當受試者在專心數著籃球員的傳球次數的時候,很多受試者都沒有注意到有一位撐傘的女士出現在影片之中。
奈瑟根據這項結果,就提出了他的主張,他認為,受試者只能注意重疊影片中的其中之一,而無法同時注意兩者。當你全神貫注地把注意力集中在其中的某些事物上時,其他的事物就會發生視而不見的現象。我們把這個現象稱為是「不注意視盲」(inattentional blindness)。
關於這個現象,你可能會質疑,有沒有可能是因為這種重疊的影像太不真實了,所以大腦才無法處理?關於這個問題呢,有後續的實驗改變了影片的呈現方式,比方說,心理學家不使用重疊影片,而改在兩隻眼睛中分別呈現不同的影片,結果發現,受試者一樣只能注意其中一隻眼睛中的事物。
所以呢,沒有被注意到的東西,我們似乎就會看不見!
關於 Neisser 的這部影片以及實驗,很多人應該會覺得有點耳熟。沒錯,因為我們現在常常在網路上看到在流傳的一部大猩猩影片,其實就是這部影片的後續作品,如果大家沒看過大猩猩影片的話,一樣可以看一下以下的連結。我們在這裡要跟大家說的就是,真正的第一版影片,其實不是大猩猩的影片,而是奈瑟在 1975 年的影片。
影片:https://youtu.be/vJG698U2Mvo
但是,為什麼 Neisser 的第一版影片默默無聞,但是後來的大猩猩影片卻爆紅呢?其中的原因,可能就是因為 Neisser 的發現走得太前面了,因此當時大家無法理解這個發現背後意義,所以才選擇性的忽略了這項發現。
--
早期視覺記憶理論「像照相機」?
--
在 70 年代時,主流的視覺記憶理論認為,人類的視覺記憶形式,就是像照相機一樣,會把所有的視覺內容都一次儲存在一個暫存記憶體之中。
根據這樣的理論,所有的視覺內容都應該在腦中,因此不應該會出現這種「視而不見」的現象才對。也因此,當時的學術界對於奈瑟的發現不知道該怎麼處理,所以這項發現就一直被擱置、一直被束諸高閣。
雖然 Neisser 在 1975 年的最早發現被大家忽略,但是 23 年過後的 1998 年,終於有其他學者開始重新檢視這個現象,而這一次呢,終於讓 Neisser 的發現獲得了平反,並且讓大家開始重視到其中的意義。
在 1998 年的時候,兩位學者 Arien Mack 和 Irvin Rock 做了一系列實驗,結果都支持「不注意視盲」的現象確實存在。
--
「不注意視盲」
--
比方說,在一項實驗中,他們要求受試者去注意螢幕上十字形的+號圖案,然後每次+號出現時,受試者就要回答,在這個+號圖案中,是+號圖案的垂直線段比較常,還是水平線段比較長?
接下來,當受試者回答了好幾個回合,回答得正高興的時候,某一個回合螢幕上的+號圖案旁邊,就會突然出現另一個圖案,比方說可能是三角形。三角形閃現過後,實驗人員就會問受試者是否看見剛剛額外閃現圖形是什麼形狀?結果發現,很多受試者都無法成功回答這個問題。
結果顯示,當受試者專心注意某項作業時,可能看不到其他同時出現的視覺刺激。
關於這個實驗結論,各位聰明的看倌可能會想要反駁,你可能會說,這個實驗的結果可能和注意力無關,而是因為三角形是被呈現在視野周邊,沒有被直接呈現在凝視點的正中央,所以才看不見?
換句話說,你可能質疑,或許是因為受試者的眼睛一直盯著+號看,所以才無法看見視野邊緣的其他圖形,所以是視野太偏的問題,而非注意力無法分配才導致這樣的結果。
針對這樣的質疑,Mack and Rock 這兩位學者,做了另一項實驗再次驗證。這一次,他們請受試者凝視在螢幕中央的一個凝視點上。然後把+號排在螢幕的邊緣。作業內容和剛剛一樣,只不過這一次,受試者必須把視線凝視在中央的凝視點上,然後用眼角的餘光、去判斷視野邊緣的十字+號中的垂直線段或水平線段何者較長。然後呢,當受試者專注進行作業時,有時候凝視點會突然變成另一個圖形。
結果發現,受試者有高達 87% 左右(!)、偵測不到凝視點的這個變化。只有當受試者事前先被警告過凝視點可能會出現變化時,他們才偵測得到。
由此可知,即使受試者的眼睛一直凝視在凝視點上,仍然有可能錯過發生在凝視點位置的變化。所以說,這種「視而不見」的現象,並不是因為視野的關係,而應該是注意力無法分配所致。
Mack and Rock 的一系列研究,幫不注意視盲的現象找到了紮實的證據,並引起了學界的重新重視。隔一年,1999 年,另外兩位心理學家 Daniel Simon 和 Christopher Chabris,就根據Neisser的原始影片,製作了改良版的大猩猩影片,結果爆紅,也因此讓「不注意視盲」的現象一砲而紅。
--
「不注意視盲」還是「不注意失憶」?
--
關於「不注意視盲」這個現象,有些人認為,這代表了注意力是我們看得見東西的必要條件。如果你沒注意看,視覺刺激就不會進入意識狀態。
關於這個看法,其實目前正是大家熱議的一個主題,有些人同意,但是也有人不同意。所以如果你也有興趣的話,或許可以自己思索看看。
在這裡,我們簡單介紹另外一種的看法。例如有沒有可能,其實注意力並不是看得見東西的必要條件?有沒有可能,在我們沒有注意的情況下,其實我們還是看得見,只是看到的東西被迅速地遺忘了。
比方說在傳球撐傘的例子中,受試者其實可能看到了撐傘女子,但是因注意力不足,所以很快的就遺忘掉了。或者是在 Mack and Rock 的實驗中,有可能受試者其實清楚的看到三角形,但是因為注意力不足,所以很快就遺忘掉。所以說,注意力說不定和意識無關,而可能是和我們的遺忘速度有關?
這種說法,我們稱之為「不注意失憶」(inattentional amnesia)。而且更在我們先前提過的「早期選擇理論」和「晚期選擇理論」的爭論中,再多添加了一個新的立場,就是「超級晚期選擇理論」。
這種「超級晚期選擇理論」理論認為,注意力介入的時間點非常的晚,是在語意分析以及意識都出現之後才介入。在這種「超級晚期選擇理論」中,注意力影響的是我們能否順利回報而已,而和語意分析以及意識都無關。
--
為什麼我們看得見背景?
--
另一個可以思考、反駁的地方是,如果注意力真的是看見東西的必要條件的話,那我們怎麼可能還會看得見背景呢?
比方說,大家如果在開車時,眼睛專注地盯著路況,但是你眼角餘光所見之處,並沒變得一片漆黑,餘光可見座椅、方向盤等,並沒有因為我們全神貫注在路況上而看不見。由此可知,注意力並不是我們看得見的必要條件。對吧?
當然若要繼續辯論,你也可以說,不對,我認為注意力確實是看見東西的必要條件,我們全神貫注在路況上,卻仍然還看得見視野周遭背景的原因,或許是因為我們的大腦仍然自動了分配了一些注意力給周遭背景,所以我們才看得到這些周遭背景。
至此,大家可以看到,這雙方的辯論攻防,其實兩邊都有很大的空間可以去爭論,而這也正是目前關於注意力和意識關係之間的重點議題之一。
關於細部更深入的爭論,在這邊我們就暫時打住,至於究竟哪一個理論才正確,現在大家也沒有定論,所以就留給大家自己去思考和判斷。
--
「整合問題」:不同腦區的視覺刺激如何在腦海裡整合?
--
最後,我們再來看一下視覺注意力的理論和相關生理機制。
在介紹注意力的理論之前,我們要先來討論聽覺和視覺的差異,以及引發心理學家思考注意力理論時的一個重要現象。
首先,如果我們檢視「視覺刺激」或「聽覺刺激」的本質,我們可以發現,無論是視覺或聽覺刺激,都是由好幾種不同基本特性所定義而成的。比方說,聽覺刺激包括了頻率、強度和音色等等。而視覺刺激則包括了顏色、線條的方位和形狀等等。
以視覺刺激為例,如果視覺刺激是由多種不同的基本特徵所構成,而且我們現在已經知道負責處理這些基本特徵的腦區都在不同的位置,比方說,形狀是在 V3,顏色是在 V4 腦區,動態是在 hMT 腦區等等,那我們就要追問一個問題,為什麼我們對於一個物體的視覺經驗竟然是完整,而不是各自分離的?
這個問題,就是所謂的「整合問題」(binding problem)。
也就是說,如果視覺刺激的各種特徵是由不同腦區負責,但最後所有的特徵在被我們意識到時,卻是完美整合的狀態,那勢必腦中應該有一個機制在整合這些位於不同腦區內的視覺刺激特徵才對。
--
特徵整合理論
--
關於這個問題,Anne Treisman 就提出了她的「特徵整合理論」(feature integration theory)。她認為,在視覺注意力介入之前的所謂「前注意階段」(pre-attentive stage),所有的視覺刺激特徵都尚未被整合,而是處於一種自由浮動的狀態。直到注意力介入後,這些視覺刺激特徵才會和物體整合在一起。
根據這個理論,如果視野中同時有好幾個物體,那在注意力介入之前,這些物體上的所有視覺特徵就會全部混在一起處於自由浮動狀態,直到注意力介入後,才會把每個物體應該要有的視覺刺激特徵整合在一起。
那有沒有什麼方法可以驗證這個理論呢?Treisman 的特徵整合理論,其實做出了一些預測,剛好可以被用來檢驗理論是否正確。這個理論做出的預測就是,如果注意力介入的過程出現錯誤,就可能會出現特徵整合錯誤,也就是把不同物體的特徵錯誤的整合在一起的現象。我們把這種現象稱為是「錯覺組合」(illusory conjunction)。
Treisman 在 1982 年就做了一項實驗,證實了錯覺組合現象的確存在。他首先在螢幕上快速閃現兩個數字以及四個圖形,然後要求受試者先回答數字,再回答看到哪些顏色和形狀的圖形。結果發現,有18%的試驗中,受試者會出現錯覺組合。
比方說,原本的視覺刺激中有一個紅色的三角形和一個黃色的圓形,但是受試者可能會說成黃色的三角形。
所以,從這個實驗的結果,我們可以知道確實有「錯覺組合」的現象。而 Treisman 對於「錯覺組合」的解釋就是,這是因為受試者把注意力都在數字上,所以才沒有足夠的注意力去整合四個圖形的視覺特徵,也才導致了「錯覺組合」現象。
好,聽到這邊,聰明的聽眾們又可以提出質疑了。什麼質疑呢?這個質疑就是,沒錯,你 Treisman 的確有發現「錯覺組合」現象,但是誰知道這是不是因為注意力不足的關係導致的呢?說不定是因為記憶力不好、動機不足等等的其他原因才出現的結果。你 Treisman 有證據可以顯示這真的是因為注意力不足所導致的嗎?
關於這個質疑,Treisman 也做了一些實驗來回應。比方說,Tresiman 決定直接操弄注意力,看看會不會影響結果。例如他要求受試者不要去注意數字,而改成直接去注意四個圖形,結果發現錯覺組合的現象減少了,因此這個現象確實應該和注意力有關。
--
布林氏症候群
--
還有另一項可以用來特徵整合理論的證據,就是布林氏症候群(Blint’s syndrome)。所謂的布林氏症候群,就是當與注意力有關的頂葉受傷時,病人會出現注意力異常的現象,就有點像是我們在大腦好好玩第一季第六集介紹大腦頂葉時的特殊病例那樣。
關於這些注意力異常的布林氏症候群病人,有實驗發現,這些病人的錯覺組合現象也確實比正常人高出許多,因此注意力應該和錯覺組合有關。
最後幫大家總結一下。我們在今天的內容中學到的一個重要現象就是「不注意視盲」,也就是沒有被注意到的事物,我們常常就無法回報他們的存在。那至於我們無法回報的原因是因為我們完全沒看見,還是有看見但卻快速遺忘了,目前仍沒有定論。
還有,關於視覺注意力,我們也學到了崔斯曼的特徵整合理論,崔斯曼認為,在視覺注意力介入之前,所有的視覺刺激特徵都尚未被整合,而是處於一種自由浮動的狀態。直到注意力介入後,這些視覺刺激特徵才會和物體整合在一起。而一但注意力不足時,就會出現整合錯誤,也就會出現錯覺組合的現象。
以上就是《大腦好好玩》第二季第四集的內容,有機會的話歡迎大家試聽!我們下週再見!
鏡好聽語音版:https://voice.mirrorfiction.com/single/20200520cul001
向前垂直整合例子 在 容海恩 Eunice Yung Youtube 的精選貼文
我在11月23日的立法會會議上提出動議,要求政府正視市民對領展的不滿,最終獲得通過。領展以「賺到盡」模式經營,完全不顧其社會責任,除了拆售停車場,把部分街市管理服務外判,造成承包商壟斷經營的情況外,還大幅增加旗下商鋪租金,逼走小商戶,引入大量連鎖店,令物價大幅飆升,罔顧升斗市民的生活需要和負擔能力。我要求競爭事務委員會調查領展是否違反《競爭條例》,並考慮在各區合適的地點設立臨時墟市和增建綜合市政大樓,令基層市民有更多選擇。政府亦應該全面檢視現有的地區發展模式,改善地區設施的供求和管理。政府表示會積極與區議會合作於合適地點設立墟市,並在情況許可下加強公眾街市設施,包括興建新街市。
我並不贊成回購領展,這樣必然會推高領展股價,變相令納稅人的金錢落入領展及其股東的口袋中。即使回購成功,政府亦會面對長遠的管理問題,回購並不是解決問題的靈丹妙藥。
以下為我的發言:
近年,社會各界對領展的營商手法感到極其不滿,不少人批評領展純粹以商業模式管理轄下街市和商場,包括大幅增加街市商舖租金,扼殺小商戶的生存空間、拆售停車場、將月租車位改為浮動車位,以及將管理服務外判等,完全是要「賺到盡」,只顧賺取最大的利潤回報,向股東交代,卻忽略基層市民的日常生活需要和負擔能力,令市民生活百上加斤,完全忘記企業應有的社會責任。作為議員提出首個議案,我希望就我在選舉期間,親耳聽到的意見、親眼見到問題,帶入議會,表達我的關注。
主席,新民黨過去一直關注,並積極跟進領展的問題。我同新民黨都認為,領展問題表面上是涉及市政、民生的問題,但市政服務的提供及管理,直接受地區行政影響,所以市民對領展的不滿,其實同地區行政管理出現問題有關,政府有必要一併處理。
今日我提出“力促市場健康競爭,制衡領展獨大局面”的議案,希望可以爭取各位議員的支持,促請競爭事務委員會就領展的經營或個別市政服務的提供展開研究,甚至全面調查領展有否違反《競爭條例》,同時希望政府正視各區社區設施和服務不足、商品和零售店舖選擇不多,影響居民日常生活的問題,透過推出短期措施,包括設立臨時墟市,為居民提供領展街市和商場以外的選擇,以及推出以地區為本的先導計劃,在有需要地區興建公營街市,並邀請社企參與營運;長遠則應研究在各區興建新型綜合市政大樓,以及改善和提升現有市政大廈的設施,為居民提供更全面、更切合居民需要的社區設施;同時希望政府全面檢視現有的地區行政模式,以提升行政效率和市民的生活水平。
主席,領展擁有獨特的背景和使命,服務逾70萬戶公屋居民,在不少市民眼中,領展並非一般的商業機構。現時領展的問題,主要是政府政策出現了問題。房委會在2005年以具極爭議的條件把其大量零售和停車場設施分拆出售予當時的領匯,即現在的領展,但出售契約不夠嚴謹,房委會和領匯的買賣契約附設限制性契諾。一般而言,商場鋪位和停車場設施不得分拆出售。不過,如房委會在有關屋邨或屋苑已沒有持有任何物業權益,商場鋪位不可分拆出售的規定無效;如房委會在有關屋邨或屋苑已賣出任何住宅單位,停車場不可分拆出售的規定則無效,即是容許領展將整棟物業出售,停車場則可「拆骨」出售,根本未能有效約束領展承擔和履行其社會責任。由於現時不少公共屋邨只有領展旗下的街市商舖,缺乏競爭,所以領展大幅加租的情況令人非常關注。以將軍澳厚德街市為例,在大半年前,有超過10間商舖相繼結業,據了解,主要因為領展大幅加租,最高達30%,令到不少商戶無法繼續經營,亦令區內居民在無選擇的情況下被迫「挨貴餸」。
此外,領展將街市商場的管理服務外判,亦製造了不少問題。今年2月,青衣長發街市商戶因反對領展將街市外判予承辦商建華,決定罷市7日,而建華在3月接管街市後,曾經參與罷市的商戶則全體不獲續租。外判商以垂直整合方式經營,讓旗下街市商舖營運更具經濟效益,原本是無可厚非,但不少人批評,領展與外判商之間的角色重疊,對於外判商旗下商舖無牌經營視若無睹,更縱容外判商藉加租及操縱街市零售價格等手段,迫走小商戶。我必須強調,「外判管理」不代表「外判責任」,領展在這方面是責無旁貸,希望領展加強對外判商的監管,保障市民的合理權益。
領展上市至今已多次出售資產,涉及多個商場和停車場,有居民表示,有拆售車位的售價高達90萬元,相信拆售車位為領展帶來非常可觀的利潤。不過我想問領展,在出售資產的同時,有否顧及居民和小商戶的權益和需要呢?今年4月,領展將大埔運頭塘商場出售,新業主接手後隨即發律師信要求商場內6間小店要在半年後離場。據報道,運頭塘商場租戶與領展及新業主簽訂的租約,其中一項條款列明,只要業主決定出售、重建、翻新物業等,只需給予租客不少於6個月通知,便可終止合約。合約條款如此不平等,難怪連保安局局長黎棟國都要企出來,伸張正義,簽名支持運頭塘商場的小商戶。
主席,近年不少商舖不敵領展大幅加租而結業。根據政府和領展在今年年中公布的數據,港島、九龍和新界區私人零售業樓宇的平均租金都有明顯跌幅,其中九龍區的跌幅最大,高達30%,但領展旗下物業租金卻不跌反升,部分物業租金升幅更超過10%。不少人質疑,領展仍然可以在逆市中大幅加租,是否因為領展壟斷了街市商舖的供應?所以,我同不少市民都希望,競爭事務委員會能夠就領展的商舖營運進行研究,尤其是街市方面,探討如何可以促進競爭,並向領展提出相關建議,讓市民能夠享有更佳的價格、更優質的產品,以及更多樣的選擇;有需要時,應主動調查領展有否違反《競爭條例》中的「第二行為守則」,即《條例》第21條指,擁有相當程度市場權勢的企業,不得濫用有關權勢損害競爭。
就市民對領展和社區設施的不滿,我在今年4月和5月,聯同新民黨立法會議員和公民力量區議員先後約見了領展的管理層,以及政務司司長林鄭月娥,反映市民的不滿,並且向司長遞交建議書,希望政府盡快規劃並落實興建新型綜合市政大樓。
我剛才已經講過,領展問題的核心,涉及深層次的地區行政管理問題。在香港回歸以前,各區的食物衛生、清潔街道、文康設施、熟食中心等市政服務的管理,分別由市政局和區域市政局負責。隨著兩局解散,地區行政模式出現變化,相關地區服務的管理工作,分別改由民政事務總署和區議會負責。區議會只是諮詢機構,缺乏實權,社區設施的規劃,要依賴長期在「象牙塔」內的官員制訂,試問他們又如何可以切實理解地區的需要?市民的訴求?今日的議案已清楚指出,領展問題是地區行政的一部分,但民政事務局局長居然沒有出席,回應今日的議案和議員的發言,我在此表示遺憾。
從前由兩局負責提供市政服務的模式,體現了「地區自主」的精神,決策當然更貼近民情民意。事實上,社會上有不少聲音批評現有地區行政模式欠缺彈性和效率,未能切實、有效回應各社區的不同訴求。所以,政府有必要考慮是否需要檢討現時的地區行政模式,例如在規劃及管理新型綜合市政大樓方面,可以增強區議員的參與,確保規劃及各項服務的提供能夠更貼近區內居民的需要。
主席,完善社區規劃、改善市政服務,提升市民的生活質素,是政府的基本責任。然而,政府現時用作釐訂地區市政和文康服務供應的規劃標準,與不少地區居民的實際情況和需要都有明顯落差,大圍就是其中一個例子。新民黨和公民力量近年多次向政府反映,大圍區內的社區設施老舊不足,加上區內人口持續增加,現有設施根本不足應付大圍居民的需要,街市、圖書館、託兒服務、幼兒園、長者服務中心,以至泊車位通通不足夠,對居民日常生活帶來很多不便,希望政府能夠回應居民的訴求,在大圍興建綜合市政大樓。
我在上星期三的立法會上提出了有關的口頭質詢,不過好可惜,發展局局長的答覆已清楚表明:「政府現時未有計劃在大圍興建新的綜合服務大樓。」我和新民黨及公量力量,以及很多大圍居民都感到非常失望,有居民更希望我同局長講:「大圍居民憤怒了。」希望政府能夠從善如流,認真考慮並早日落實在大圍興建綜合市政大樓。
主席,領展今年獲國際購物中心協會頒發兩個獎項,包括領展「愛•匯聚計劃」奪得大會基金所頒發的「Albert Sussman國際社區支援獎」,以及天盛街市獲頒「亞太地區購物中心大獎 – 翻新及擴建」組別銀獎,對於受影響的市民而言,實在是相當諷刺。平情而論,領展接手管理房委會部分街市商場後,一定程度上為部分街市商場帶來新景象,例如不少街市加裝了冷氣,環境比以前更加乾淨、整齊,但同時卻因領展的營商手法產生不少問題,包括大幅租、月租車位變浮動車位、管理服務外判等,這些都是備受爭議和批評。林鄭月娥司長曾形容領展是需要處理的「三座大山」之一,我希望領展能夠認真審視是否應該改變現行以利潤掛帥的營商模式,更加關顧居民的需要,以其定下的抱負「服務社群並提升其生活質素」為依歸。
向前垂直整合例子 在 容海恩 Eunice Yung Youtube 的最讚貼文
我在11月23日的立法會會議上提出動議,要求政府正視市民對領展的不滿,最終獲得通過。領展以「賺到盡」模式經營,完全不顧其社會責任,除了拆售停車場,把部分街市管理服務外判,造成承包商壟斷經營的情況外,還大幅增加旗下商鋪租金,逼走小商戶,引入大量連鎖店,令物價大幅飆升,罔顧升斗市民的生活需要和負擔能力。我要求競爭事務委員會調查領展是否違反《競爭條例》,並考慮在各區合適的地點設立臨時墟市和增建綜合市政大樓,令基層市民有更多選擇。政府亦應該全面檢視現有的地區發展模式,改善地區設施的供求和管理。政府表示會積極與區議會合作於合適地點設立墟市,並在情況許可下加強公眾街市設施,包括興建新街市。
我並不贊成回購領展,這樣必然會推高領展股價,變相令納稅人的金錢落入領展及其股東的口袋中。即使回購成功,政府亦會面對長遠的管理問題,回購並不是解決問題的靈丹妙藥。
以下為我的發言:
近年,社會各界對領展的營商手法感到極其不滿,不少人批評領展純粹以商業模式管理轄下街市和商場,包括大幅增加街市商舖租金,扼殺小商戶的生存空間、拆售停車場、將月租車位改為浮動車位,以及將管理服務外判等,完全是要「賺到盡」,只顧賺取最大的利潤回報,向股東交代,卻忽略基層市民的日常生活需要和負擔能力,令市民生活百上加斤,完全忘記企業應有的社會責任。作為議員提出首個議案,我希望就我在選舉期間,親耳聽到的意見、親眼見到問題,帶入議會,表達我的關注。
主席,新民黨過去一直關注,並積極跟進領展的問題。我同新民黨都認為,領展問題表面上是涉及市政、民生的問題,但市政服務的提供及管理,直接受地區行政影響,所以市民對領展的不滿,其實同地區行政管理出現問題有關,政府有必要一併處理。
今日我提出“力促市場健康競爭,制衡領展獨大局面”的議案,希望可以爭取各位議員的支持,促請競爭事務委員會就領展的經營或個別市政服務的提供展開研究,甚至全面調查領展有否違反《競爭條例》,同時希望政府正視各區社區設施和服務不足、商品和零售店舖選擇不多,影響居民日常生活的問題,透過推出短期措施,包括設立臨時墟市,為居民提供領展街市和商場以外的選擇,以及推出以地區為本的先導計劃,在有需要地區興建公營街市,並邀請社企參與營運;長遠則應研究在各區興建新型綜合市政大樓,以及改善和提升現有市政大廈的設施,為居民提供更全面、更切合居民需要的社區設施;同時希望政府全面檢視現有的地區行政模式,以提升行政效率和市民的生活水平。
主席,領展擁有獨特的背景和使命,服務逾70萬戶公屋居民,在不少市民眼中,領展並非一般的商業機構。現時領展的問題,主要是政府政策出現了問題。房委會在2005年以具極爭議的條件把其大量零售和停車場設施分拆出售予當時的領匯,即現在的領展,但出售契約不夠嚴謹,房委會和領匯的買賣契約附設限制性契諾。一般而言,商場鋪位和停車場設施不得分拆出售。不過,如房委會在有關屋邨或屋苑已沒有持有任何物業權益,商場鋪位不可分拆出售的規定無效;如房委會在有關屋邨或屋苑已賣出任何住宅單位,停車場不可分拆出售的規定則無效,即是容許領展將整棟物業出售,停車場則可「拆骨」出售,根本未能有效約束領展承擔和履行其社會責任。由於現時不少公共屋邨只有領展旗下的街市商舖,缺乏競爭,所以領展大幅加租的情況令人非常關注。以將軍澳厚德街市為例,在大半年前,有超過10間商舖相繼結業,據了解,主要因為領展大幅加租,最高達30%,令到不少商戶無法繼續經營,亦令區內居民在無選擇的情況下被迫「挨貴餸」。
此外,領展將街市商場的管理服務外判,亦製造了不少問題。今年2月,青衣長發街市商戶因反對領展將街市外判予承辦商建華,決定罷市7日,而建華在3月接管街市後,曾經參與罷市的商戶則全體不獲續租。外判商以垂直整合方式經營,讓旗下街市商舖營運更具經濟效益,原本是無可厚非,但不少人批評,領展與外判商之間的角色重疊,對於外判商旗下商舖無牌經營視若無睹,更縱容外判商藉加租及操縱街市零售價格等手段,迫走小商戶。我必須強調,「外判管理」不代表「外判責任」,領展在這方面是責無旁貸,希望領展加強對外判商的監管,保障市民的合理權益。
領展上市至今已多次出售資產,涉及多個商場和停車場,有居民表示,有拆售車位的售價高達90萬元,相信拆售車位為領展帶來非常可觀的利潤。不過我想問領展,在出售資產的同時,有否顧及居民和小商戶的權益和需要呢?今年4月,領展將大埔運頭塘商場出售,新業主接手後隨即發律師信要求商場內6間小店要在半年後離場。據報道,運頭塘商場租戶與領展及新業主簽訂的租約,其中一項條款列明,只要業主決定出售、重建、翻新物業等,只需給予租客不少於6個月通知,便可終止合約。合約條款如此不平等,難怪連保安局局長黎棟國都要企出來,伸張正義,簽名支持運頭塘商場的小商戶。
主席,近年不少商舖不敵領展大幅加租而結業。根據政府和領展在今年年中公布的數據,港島、九龍和新界區私人零售業樓宇的平均租金都有明顯跌幅,其中九龍區的跌幅最大,高達30%,但領展旗下物業租金卻不跌反升,部分物業租金升幅更超過10%。不少人質疑,領展仍然可以在逆市中大幅加租,是否因為領展壟斷了街市商舖的供應?所以,我同不少市民都希望,競爭事務委員會能夠就領展的商舖營運進行研究,尤其是街市方面,探討如何可以促進競爭,並向領展提出相關建議,讓市民能夠享有更佳的價格、更優質的產品,以及更多樣的選擇;有需要時,應主動調查領展有否違反《競爭條例》中的「第二行為守則」,即《條例》第21條指,擁有相當程度市場權勢的企業,不得濫用有關權勢損害競爭。
就市民對領展和社區設施的不滿,我在今年4月和5月,聯同新民黨立法會議員和公民力量區議員先後約見了領展的管理層,以及政務司司長林鄭月娥,反映市民的不滿,並且向司長遞交建議書,希望政府盡快規劃並落實興建新型綜合市政大樓。
我剛才已經講過,領展問題的核心,涉及深層次的地區行政管理問題。在香港回歸以前,各區的食物衛生、清潔街道、文康設施、熟食中心等市政服務的管理,分別由市政局和區域市政局負責。隨著兩局解散,地區行政模式出現變化,相關地區服務的管理工作,分別改由民政事務總署和區議會負責。區議會只是諮詢機構,缺乏實權,社區設施的規劃,要依賴長期在「象牙塔」內的官員制訂,試問他們又如何可以切實理解地區的需要?市民的訴求?今日的議案已清楚指出,領展問題是地區行政的一部分,但民政事務局局長居然沒有出席,回應今日的議案和議員的發言,我在此表示遺憾。
從前由兩局負責提供市政服務的模式,體現了「地區自主」的精神,決策當然更貼近民情民意。事實上,社會上有不少聲音批評現有地區行政模式欠缺彈性和效率,未能切實、有效回應各社區的不同訴求。所以,政府有必要考慮是否需要檢討現時的地區行政模式,例如在規劃及管理新型綜合市政大樓方面,可以增強區議員的參與,確保規劃及各項服務的提供能夠更貼近區內居民的需要。
主席,完善社區規劃、改善市政服務,提升市民的生活質素,是政府的基本責任。然而,政府現時用作釐訂地區市政和文康服務供應的規劃標準,與不少地區居民的實際情況和需要都有明顯落差,大圍就是其中一個例子。新民黨和公民力量近年多次向政府反映,大圍區內的社區設施老舊不足,加上區內人口持續增加,現有設施根本不足應付大圍居民的需要,街市、圖書館、託兒服務、幼兒園、長者服務中心,以至泊車位通通不足夠,對居民日常生活帶來很多不便,希望政府能夠回應居民的訴求,在大圍興建綜合市政大樓。
我在上星期三的立法會上提出了有關的口頭質詢,不過好可惜,發展局局長的答覆已清楚表明:「政府現時未有計劃在大圍興建新的綜合服務大樓。」我和新民黨及公量力量,以及很多大圍居民都感到非常失望,有居民更希望我同局長講:「大圍居民憤怒了。」希望政府能夠從善如流,認真考慮並早日落實在大圍興建綜合市政大樓。
主席,領展今年獲國際購物中心協會頒發兩個獎項,包括領展「愛•匯聚計劃」奪得大會基金所頒發的「Albert Sussman國際社區支援獎」,以及天盛街市獲頒「亞太地區購物中心大獎 – 翻新及擴建」組別銀獎,對於受影響的市民而言,實在是相當諷刺。平情而論,領展接手管理房委會部分街市商場後,一定程度上為部分街市商場帶來新景象,例如不少街市加裝了冷氣,環境比以前更加乾淨、整齊,但同時卻因領展的營商手法產生不少問題,包括大幅租、月租車位變浮動車位、管理服務外判等,這些都是備受爭議和批評。林鄭月娥司長曾形容領展是需要處理的「三座大山」之一,我希望領展能夠認真審視是否應該改變現行以利潤掛帥的營商模式,更加關顧居民的需要,以其定下的抱負「服務社群並提升其生活質素」為依歸。