投下全台最大 AI 研發催化劑!國網中心開放 4 萬個資料集, 3 分鐘註冊即刻下載
2019/10/30 廣編企劃
評論
為推動科技產業升級,財團法人國家實驗研究院致力於推動國內科技人才培育及創新研發,發揮槓桿作用,近年除與學術界積極合作,提供解決方案以外,也轉向產業界希望作為學研與產業間的平台,創造共生共榮的各領域生態系。10月7日集齊台灣半導體研究中心、國家高速網路與計算中心、台灣儀器科技研究中心共同展出智慧領域技術成果,吸引廣大業界與學界共襄盛舉,希冀藉由這樣的機會,讓更多產學研界能認識國研院在研發平台服務所做的努力及見證近年國研院引領的技術革新。
近年微軟等國際大廠紛紛在台灣投資 AI 研究室,帶動台灣整體 AI 產業環境成長,進而促使過往「硬體立國」的台灣,走向整體環境轉型的契機。麥肯錫研究指出,AI 在 2030 年至少可為全球額外帶來 13 兆美元(約 3900 兆台幣)的產值,可見 AI 如同蒸汽機般的革命威力。
在 AI 即將稱霸的新時代,雲端運算能力和數據集的完整度將左右一個國家在相關產業上的重要競爭力。有鑒於此,國家實驗研究院 國家高速網路與計算中心(後簡稱國網中心)打造臺灣AI雲,以超越商用雲端平台計算效能,及大量數據與跨節點運算情境下可提升3成以上性能之優勢,滿足技術研發到產業實作商轉的多樣化需求,助益國內AI科研與商業應用之發展;另也推出 SciDM 資料集平台,集齊國內外醫療影像、環境、語音、媒體、衛星影像等相關資料集,讓國內相關廠商只要透過單一平台,就可以找到國內外所有開放大數據,並藉此訓練 AI ,大幅提升 AI 研究、訓練的開發與時間成本。
國網中心拋出的 AI 研發催化劑:SciDM 資料集平台
目前SciDM 上的資料集使用都不需要付費,只有部分配合資料授權相關的規定的資料集,才需要先登入後進行授權申請並經同意後,就可以下載使用。而有些是SciDM上才有的特色資料集,例如太空中心的衛星影像圖集、科技部的醫療影像資料庫、科技大擂台的比賽語音資料庫等。國網中心平台開發組副研究員陳威宇表示,「SciDM 資料集平台讓國內使用者只要花 3 分鐘辦個帳號,就可以免費使用 4 萬多個資料集,大幅減少過往四處找資料的時間,尤其是中文的語音資料庫。」希望藉由 SciDM 平台,台灣研究者在 AI 的發展上可以得到更多幫助。
展望未來,國網中心目前開放用戶可以免費上傳、分享自己的資料集,希望藉此可以拓產平台發展初期資料集相對匱乏的問題,未來將會與更多的夥伴合作,創造出台灣獨有的數據集,更符合台灣本地特色,諸如在第一波釋出的,與風傳媒合作的傳媒資料庫,未來將會比照這次的合作形式,有更多的合作單位推出更多樣化的數據集。「最終目標就是:你想到要找什麼科研數據,先來這裡找就對了!」陳威宇笑著說。
在成果展中國網中心也展出淹水警報系統,藉由社區、路上的監視器影像,推算出地區是否淹水,並進行淹水深度的推估與通報,可以協助中央與地方政府在防汛應變時即時做出處置。而借助新完成的 AI 超級電腦台灣杉二號打造的雲端運算平台 TWCC 臺灣 AI 雲也在本次成果展亮相,面對民間企業進行展示和解說,打造屬於台灣本土的雲端運算平台。
AI 種子灑向大地,國網中心如何用高速算能全面提升台灣競爭力
在現場的參訪中,國網中心展示技術在諸多領域中的不同成果,例如在生醫領域中顛覆過往核磁共振只能拍攝剖面圖的現況,透過整合自行開發的 Medical Image Illustrator,快速且大量的收集到人體 3D 資訊,並結合 VVViewer 虛擬實境互動顯示軟體,藉由 AI 運算結合 VR 讓醫生可以更全面的了解患者身體哪邊出問題,還可以透過 VR 的功能,在 3D 圖上面完成標記。
在未來,國網中心的算能還可以應用在基因序列與蛋白質解析上,由於基因序列的排序需要非常高度的運算能力才能有效率的解析,因此需要具備一定規模才有辦法投資相關設備,但透過國網中心建構的平台,民間廠商進行基因序列和蛋白質解析的門檻可以大大降低,同時促進台灣進軍針對基因精準打擊的「精準醫療」領域,而國網中心也可以藉此更深入與學界、業界合作,促進醫界的正向循環。
另外,國網中心在災害防治上也有諸多建樹,透過高速運算能力,可以有效率的進行地形的 3D 建模,結合無人機攝影建立災害回報機制,並進行大範圍的圖資處理,供地方政府具備更完全的資訊進行災害情形的判斷,並藉此做出更精準的應對。
國網中心帶動的台灣 AI 未來
藉由國網中心打造的資料集平台和雲端運算平台,台灣的廠商可以獲取進入 AI 領域的更低門檻,過往需要高前期投入才能從事 AI 研究,但現在用最小投資就能試做出小規模的 AI 專案或產品,帶動台灣 AI 領域的多點開花,活絡業界創新動能。
而在生醫領域,國網中心計畫利用 peta 級大型主機,整合生醫資源提供雲端服務,並藉由建立台灣人體生物資料庫、並結合前瞻計畫推動亞太生醫矽谷精準醫療計畫,將國家資源開放給業界、民眾、以及醫界使用,更能確立台灣醫療強國的國際地位與發展。
附圖:在 AI 即將稱霸的新時代,雲端運算能力和數據集的完整度將左右一個國家在相關產業上的重要競爭力。
左一為國網中心平台開發組副研究員陳威宇,於活動現場分享SciDM 平台。(Photo Credit:國研院)
深度學習於淹水深度影像辨識系統。(Photo Credit : 國研院)
國網中心透過整合自行開發的 Medical Image Illustrator,快速且大量的收集到人體 3D 資訊,並結合 VVViewer 虛擬實境互動顯示軟體,讓醫生可以更清楚患者的身體狀況。(Photo Credit : 國研院)
國網中心的三維資訊融合技術。(Photo Credit : 國研院)
資料來源:https://www.inside.com.tw/article/17945-narlabs-nchc
效能監視器下載 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳貼文
投下全台最大 AI 研發催化劑!國網中心開放 4 萬個資料集, 3 分鐘註冊即刻下載
2019/10/30 廣編企劃
評論
為推動科技產業升級,財團法人國家實驗研究院致力於推動國內科技人才培育及創新研發,發揮槓桿作用,近年除與學術界積極合作,提供解決方案以外,也轉向產業界希望作為學研與產業間的平台,創造共生共榮的各領域生態系。10月7日集齊台灣半導體研究中心、國家高速網路與計算中心、台灣儀器科技研究中心共同展出智慧領域技術成果,吸引廣大業界與學界共襄盛舉,希冀藉由這樣的機會,讓更多產學研界能認識國研院在研發平台服務所做的努力及見證近年國研院引領的技術革新。
近年微軟等國際大廠紛紛在台灣投資 AI 研究室,帶動台灣整體 AI 產業環境成長,進而促使過往「硬體立國」的台灣,走向整體環境轉型的契機。麥肯錫研究指出,AI 在 2030 年至少可為全球額外帶來 13 兆美元(約 3900 兆台幣)的產值,可見 AI 如同蒸汽機般的革命威力。
在 AI 即將稱霸的新時代,雲端運算能力和數據集的完整度將左右一個國家在相關產業上的重要競爭力。有鑒於此,國家實驗研究院 國家高速網路與計算中心(後簡稱國網中心)打造臺灣AI雲,以超越商用雲端平台計算效能,及大量數據與跨節點運算情境下可提升3成以上性能之優勢,滿足技術研發到產業實作商轉的多樣化需求,助益國內AI科研與商業應用之發展;另也推出 SciDM 資料集平台,集齊國內外醫療影像、環境、語音、媒體、衛星影像等相關資料集,讓國內相關廠商只要透過單一平台,就可以找到國內外所有開放大數據,並藉此訓練 AI ,大幅提升 AI 研究、訓練的開發與時間成本。
國網中心拋出的 AI 研發催化劑:SciDM 資料集平台
目前SciDM 上的資料集使用都不需要付費,只有部分配合資料授權相關的規定的資料集,才需要先登入後進行授權申請並經同意後,就可以下載使用。而有些是SciDM上才有的特色資料集,例如太空中心的衛星影像圖集、科技部的醫療影像資料庫、科技大擂台的比賽語音資料庫等。國網中心平台開發組副研究員陳威宇表示,「SciDM 資料集平台讓國內使用者只要花 3 分鐘辦個帳號,就可以免費使用 4 萬多個資料集,大幅減少過往四處找資料的時間,尤其是中文的語音資料庫。」希望藉由 SciDM 平台,台灣研究者在 AI 的發展上可以得到更多幫助。
展望未來,國網中心目前開放用戶可以免費上傳、分享自己的資料集,希望藉此可以拓產平台發展初期資料集相對匱乏的問題,未來將會與更多的夥伴合作,創造出台灣獨有的數據集,更符合台灣本地特色,諸如在第一波釋出的,與風傳媒合作的傳媒資料庫,未來將會比照這次的合作形式,有更多的合作單位推出更多樣化的數據集。「最終目標就是:你想到要找什麼科研數據,先來這裡找就對了!」陳威宇笑著說。
在成果展中國網中心也展出淹水警報系統,藉由社區、路上的監視器影像,推算出地區是否淹水,並進行淹水深度的推估與通報,可以協助中央與地方政府在防汛應變時即時做出處置。而借助新完成的 AI 超級電腦台灣杉二號打造的雲端運算平台 TWCC 臺灣 AI 雲也在本次成果展亮相,面對民間企業進行展示和解說,打造屬於台灣本土的雲端運算平台。
AI 種子灑向大地,國網中心如何用高速算能全面提升台灣競爭力
在現場的參訪中,國網中心展示技術在諸多領域中的不同成果,例如在生醫領域中顛覆過往核磁共振只能拍攝剖面圖的現況,透過整合自行開發的 Medical Image Illustrator,快速且大量的收集到人體 3D 資訊,並結合 VVViewer 虛擬實境互動顯示軟體,藉由 AI 運算結合 VR 讓醫生可以更全面的了解患者身體哪邊出問題,還可以透過 VR 的功能,在 3D 圖上面完成標記。
在未來,國網中心的算能還可以應用在基因序列與蛋白質解析上,由於基因序列的排序需要非常高度的運算能力才能有效率的解析,因此需要具備一定規模才有辦法投資相關設備,但透過國網中心建構的平台,民間廠商進行基因序列和蛋白質解析的門檻可以大大降低,同時促進台灣進軍針對基因精準打擊的「精準醫療」領域,而國網中心也可以藉此更深入與學界、業界合作,促進醫界的正向循環。
另外,國網中心在災害防治上也有諸多建樹,透過高速運算能力,可以有效率的進行地形的 3D 建模,結合無人機攝影建立災害回報機制,並進行大範圍的圖資處理,供地方政府具備更完全的資訊進行災害情形的判斷,並藉此做出更精準的應對。
國網中心帶動的台灣 AI 未來
藉由國網中心打造的資料集平台和雲端運算平台,台灣的廠商可以獲取進入 AI 領域的更低門檻,過往需要高前期投入才能從事 AI 研究,但現在用最小投資就能試做出小規模的 AI 專案或產品,帶動台灣 AI 領域的多點開花,活絡業界創新動能。
而在生醫領域,國網中心計畫利用 peta 級大型主機,整合生醫資源提供雲端服務,並藉由建立台灣人體生物資料庫、並結合前瞻計畫推動亞太生醫矽谷精準醫療計畫,將國家資源開放給業界、民眾、以及醫界使用,更能確立台灣醫療強國的國際地位與發展。
附圖:在 AI 即將稱霸的新時代,雲端運算能力和數據集的完整度將左右一個國家在相關產業上的重要競爭力。
左一為國網中心平台開發組副研究員陳威宇,於活動現場分享SciDM 平台。(Photo Credit:國研院)
深度學習於淹水深度影像辨識系統。(Photo Credit : 國研院)
國網中心透過整合自行開發的 Medical Image Illustrator,快速且大量的收集到人體 3D 資訊,並結合 VVViewer 虛擬實境互動顯示軟體,讓醫生可以更清楚患者的身體狀況。(Photo Credit : 國研院)
國網中心的三維資訊融合技術。(Photo Credit : 國研院)
資料來源:https://www.inside.com.tw/article/17945-narlabs-nchc
效能監視器下載 在 紀老師程式教學網 Facebook 的最佳貼文
[好站分享] GitHub 上的瘋狂 C++ 相關資源清單:Awesome-C++
逛國外網站這麼久,很少碰到有資源齊全到讓我倒抽一口涼氣的...這個作者對 C++ 很有愛啊~~
Awesome-C++,是掛在 GitHub 上的一個 C++ 資源清單。收集了 C++ 相關的函式庫、軟體、書籍、文章...還推薦作者覺得也不錯的其它清單。連結如下:
https://github.com/fffaraz/awesome-cpp
一旦點進去,你會被裡面滿滿的超鏈結,把你的腎上腺素濃度打到最高... XD。如果您平常工作與 C++ 相關,您絕對不能錯過這份清單。我簡單列出一下這份清單有什麼:
(以下文長,是寫給英文苦手的讀者看的。英文沒啥問題的朋友,建議直接看原文即可)
一、函式庫與框架
* 標準函式庫(Standard Libraries):
C++ 原生函式庫、POSIX、ISO、GNU 各家出品的標準函式庫都有。
* 程式框架(Frameworks)
「框架」比「函式庫」規格大一點。一般來說,「函式庫」幫你把常用的程式寫好,你只要叫用就好了,是一種幫助你加速完工、但並沒帶來任何新功能的一堆程式碼。「框架」則是替原始 C++ 帶來一些令人驚艷的新功能。不過這種分法,並非絕對的。
* 人工智慧(Artificial Intelligence, AI)相關框架與函式庫
想要催得動這一坨東西,得有點 AI 背景。否則你可能不知道函式庫提供給你「深先搜尋(Depth-first Search)」與「廣先搜尋(Width-first Search)」這些函數怎麼讓那堆冷冰冰的硬體多一點智慧。
* 非同步呼叫所使用的事件佇列(Asynchronous Event Loop)
一般來說,一個程式呼叫另一個程式,「叫人的」得等「被叫的」把事情做完,才能繼續進行下一步。就像一個經理眼睛盯著新手做事、沒辦法回到辦公桌做自己的事一樣,這種模式叫「同步呼叫(Synchronous Call)」。比較好的作法,是你交代完新手該做什麼,就離開回去做自己的事,等新手做完了,再來報告說「我做完了」,這種模式叫「非同步呼叫(Asynchronous Call)」。不過要能做到「非同步」,「叫人者」與「被叫者」之間,得有「事件(Event)」這個機制,讓兩者互相溝通該做的事,以及是否完工。此處提供的,都是讓 C++ 能達成「非同步」機制的函式庫或框架。
* 音效(Audio)相關框架或函式庫
這裡放的,都是讓你的 C++ 能做到讀取音效檔(如:mp3),並用程式碼對該檔進行剪輯、混音...等動作的函式庫或框架。
* 生物(Biology)相關框架或函式庫
這邊的函式庫,可以讓您用 C++ 比對兩條 DNA 序列相似度有多高,或者從一大堆不同樣本的 DNA 中,找出哪條 DNA 與哪條可能有親緣關係...等。
* 命令列(Command Line Interface, CLI)相關框架或函式庫
用這邊的函式庫,可以讓您在命令列跑出一些令人驚艷的效果。如 NCurses 就是一套能在命令列之下,用文字盡量模擬出下拉式選單、按鈕...圖形界面的感覺。
* 壓縮(Compression)相關函式庫
讓您不必瞭解檔案壓縮原理,會叫用相關函數就能做到檔案壓縮。
* 平行處理(Concurrency)相關函式庫
讓 C++ 也能輕易做到同時處理多件事情的函式庫。
* 資料結構相關函式庫(Containers)
提供資料結構內的 B-Tree 與 Hashmaps 等架構,讓 C++ 輕鬆取用。
* 加密(Cryptography)相關函式庫
提供加密解密相關函數。
* 資料庫(Database)相關函式庫
讓 C++ 可以用幾道命令,輕鬆接取 MySQL、MongoDB...等知名資料庫內的資料。
* 除錯、測試、效能(Debug)相關函式庫
雖然原文只用了「Debug」這樣的簡單字眼,但這一區的函式庫包含「單元測試(Unit Test)」、「效能測試(Benchmark)」、「記憶體用量追蹤(Memory Tracking)」等功能的函數。讓您的程式在還沒跑之前,就接受嚴格檢驗,降低發生錯誤的機會。
* 遊戲引擎(Game Engine)
提供一些函數,讓您輕鬆讀入 3D 建模軟體(如:Maya, 3D Studio...)做出來的模型與動畫。並在程式內特定事件(如:碰撞)發生時播放。也提供打光(Shading)、物理函數(如:彈跳、碰撞)...等方便的程式供您取用。這些東西讓您在寫遊戲時,能以更快的效率產出結果。
* 圖形界面(Graphical User Interface, GUI)
讓您用 C++ 建立漂亮的視窗、對話框、核取框、下拉式功能表...等圖形界面。
* 圖形(Graphics)相關函式庫
這部分多與遊戲引擎搭配,提供 2D 圖形處理或 3D 光跡追蹤(Rendering)等「外觀美化」的函數。讓您的遊戲角色或場景,看起來更栩栩如生。
* 影像處理(Image Processing)相關函式庫
包含讀入/繪出各式圖檔(PNG、JPG、GIF...)、光學字元辨識、電腦視覺、讀入/播放各式影片(MP4...)等函數。
* 國際化(Internationalization)相關函式庫
讓您用 C++ 寫出來的程式,可以輕易支援各國語言(當然,各國語言要事先請翻譯社先翻好,這邊只是提供語系切換的機制)。
* 行程間通訊(Inter-Process Communication, IPC)相關函式庫
兩個跑起來的獨立程式(如:兩個執行檔)想在執行過程中交換資料,稱為「行程間通訊」,簡稱 IPC。IPC 雖然不至於難如登天,不過要做到,手續還是很瑣碎的。這邊的函式庫提供好用函數,讓兩個行程交換資料時,變得比較容易。
* JSON 支援相關函式庫
JSON 原文是 JavaScript Object Notation。是一種用「純文字」來表示「資料」的方法。如一筆「李大華、35 歲、手機 0937555666」的資料,用 JSON 表示是這樣的:
[
Name: "李大華",
Age: 35,
Mobile: "0937555666"
]
之後可以讓這樣的資料,流通於瀏覽器與伺服器之間。而 JSON 函式庫,可以快速幫您分析 JSON 表示的資料,將它還原成您要的格式。
* 日誌(Logging)支援函式庫
日誌在「系統稽核」中,是很重要的功能。系統得把「什麼人、等級多高、做了什麼事、何時做的、對哪部分做的、從哪個 IP 過來...」忠實記錄下來。萬一系統出事了,我們就能追查可能是誰搞的。類似「監視器」的功能。這部分的函式庫,可以讓 C++ 輕易做到「日誌」功能,您不用傷腦筋日誌功能該怎麼寫,它已經幫您寫好了。您只要會用就行。
* 機器學習(Machine Learning)相關函式庫
提供如「類神經網路」、「電腦視覺」等進階函式庫,讓您的 C++ 程式有少量人類視覺與思考能力(真的很少量,請不用有太高期待)。
* 數學(Math)相關函式庫
一些線性代數、矩陣運算...等相關數學函數。
* 多媒體(Multimedia)相關函式庫
如:影音串流...等相關函數。
* 網路(Networking)相關函數
提供各種低階網路協定相關函數。如:TCP/IP、HTTP、點對點傳輸、非同步通訊、以及一些與 Facebook 橋接的相關函數。
* 物理模擬(Physics)相關函數
這部分也可以大量用於遊戲程式設計。主要提供一些函數,用來模擬自然界各種物理現象。如水流、風吹、碰撞、彈跳...等。
* 機器人控制(Robotics)相關函數
一堆方便你控制或模擬機器人行為的函數。
* 科學運算(Scientific Computing)
一些在科學上比較用得著的數學運算。如工程數學、傅立葉分析...等。
* 腳本語言控制(Scripting)
包含一些能讓 C++ 與各種腳本語言(JavaScript、PHP、Perl...)橋接的函數。
* 序列化控制(Serialization)
首先解釋一下何謂序列化。序列化可以把程式執行到一半的樣子,如數保存於硬碟中,甚至於可以關機。之後可以把序列化的資料「反序列化」,將它「解凍」還原至記憶體繼續跑,就像當初跑到一半被「冷凍」當下再往下執行一樣。這邊提供許多 C++ 序列化的函式庫。
* 影片處理(Video)
可以讀入/播放各種影片檔的函式庫。
* 虛擬機(Virtual Machines)
這邊提供一些用 C++ 寫出來的「輕量級」虛擬機。所謂虛擬機,是用軟體模擬出硬碟、處理器、記憶體、螢幕,工程師可以在虛擬機內安裝另一個作業系統,就好像安裝作業系統至真實機器一樣。
* 網頁應用軟體框架(Web Application Framework)
集合了一些用 C++ 寫出來的 WWW 伺服器、或開發網頁時用得上的函式庫等。
* XML
如果你希望教會你的 C++ 程式「讀懂」一個 XML 檔在講什麼,這邊提供了一堆 XML 解析器(XML Parser),方便您分析從遠方伺服器傳來的 XML 檔到底想表達什麼樣的資料。
* 其它(Miscellaneous)
一些無法分類的東西,通通塞在這裡。大部分是一些小型的函式庫或 C++ 與其它語言的橋接軟體。
二、C++ 相關軟體
* 編譯器(Compiler)
各類把 C++ 原始碼編成 0 與 1 機械碼的軟體。
* 線上編譯器(Online Compiler)
懶得安裝編譯器的話,現在有一堆線上的編譯器。你上傳原始碼,它會編成機械碼後,丟還個執行檔給你下載。
* 除錯器(Debugger)
一些有名的 C++ 除錯器。當你的程式無法執行時,可以靠它找出到底錯在哪裡。
* 整合式開發環境(Integrated Development Environment, IDE)
IDE 就是把文字編輯器(Editor)、編譯器(Compiler)、除錯器(Debugger)...等軟體整合成一體的軟體。您可以不離開該環境,就能寫碼、編譯、除錯、執行...。
* 軟體建構系統(Build Systems)
簡單說,就是把一些瑣碎動作事先安排好、可以在程式碼修改後,下達一條指令(如:「建構!」),就可全自動一條鞭地從編譯、測試、備份、安裝...一口氣完成的系統。
* 原始碼靜態分析軟體(Static Code Analysis)
丟入原始碼,可以幫你找出哪段程式可能發生錯誤,或者可能造成效能低下。也能找出完全沒被叫用到的原始碼,提醒您刪除。甚至於可以把您的程式碼重排成符合特定格式,統一多人寫碼風格時很有用。
三、其它資源
* API Design 文件
* 有用文章(Articles)
* 推薦書籍(Books)
* 寫碼風格(Coding Style)
* 演講(Talks)
* 影片教學(Videos)
* 有用網站(Web Sites)
* 有用部落格(Weblogs)
* 其它 Awesome C++ 姊妹作(Other Awesome Projects)
四、其它也很棒的清單(Other Awesome Lists)
能看到這行字的,給您拍拍手!辛苦了!希望今天分享的內容您會喜歡!也請您不吝按讚鼓勵,或分享給您 Facebook 的親朋好友!
效能監視器下載 在 工作管理員CPU使用率和監控軟體數據不同 - Mobile01 的推薦與評價
看某個軟體的整體CPU使用率==> 效能監視器 看整體CPU的分配使用率==> HWMonitor (工作管理員也可以看到個別核心使用率但不太準僅能參考) ... <看更多>
效能監視器下載 在 阿榮福利味- Moo0 System Monitor 1.74 免安裝中文版 的推薦與評價
Moo0 System Monitor 1.74 免安裝中文版- 電腦效能監視軟體- 阿榮福利味- 免費軟體下載. 台灣免費軟體下載網站- 精選優質免費軟體,提供免安裝軟體、中文版軟體下載。 ... <看更多>