Big Data資料加值應用研習班課程分享(105/2/16)
Big Data海量資料的分析概說:
Big Data資料加值應用與相關範例
如何取得Big Data的方式?
開放資料範例
內政部實價登錄、YAHOO股市資料
GOOGLE表單
範例:GOOGLE試算表複選結果資料切割
如何處理與統計分析Big Data?
EXCLE統計函數
範例:黑名單篩選、樂透彩中獎機率
樞紐分析表
範例:銷貨系統分析
開放資料加值應用實例
範例:實價登錄、用EXCEL一鍵批次下載股市資料
EXCLE VBA(與R語言比較)
PowerPivot增益集
海量資料的分析工具-PowerPivot實作演練
視覺化數位儀表與報表–PowerView資料地圖實作
上課影音內容:
01_課程說明與參考書籍
02_問卷結果與檔案下載
03_大數據的定義與成功範例
04_範例_樂透彩機率統計函數說明
05_格式化前七名與VBA設定
06_前七名的VBA程式撰寫說明
07_樂透彩VBA程式說明
08_GOOGLE表單與複選結果切割
09_複選結果切割VBA程式說明
10_複選結果切割註解與按鈕相關
11_黑名單篩選查詢資料說明
12_黑名單篩選查詢VBA程式與進度列
13_台北市實價登錄範例VBA程式解說
14_批次下載股市資料程式說明與結尾
完整連結:
https://www.youtube.com/playlist?list=PLgzs-Q3byiYPsxtU9N_n81087ggNwggyK
與大數據課程的經驗
超過20年的程式設計與教學經驗(VBA、VB.NET、ASP.NET、JAVA、ANDROID、PHP等)
台北市公務人員訓練處:Big Data資料加值應用
新北市勞工大學:EXCEL VBA大數據自動化進階
東吳大學進修推廣部:EXCEL VBA 與資料庫雲端設計(初階與進階)
自強工業基金會:從Excel函數到VBA雲端巨量資料庫應用班
多年的實務與教學經驗所累積的課程範例,最短時間學會處理大數據,以提高效率,正確決策。
Big Data海量資料的分析概說:
根據維基百科:
大數據(英語:Big data或Megadata),或稱巨量資料、海量資料、大資料
指的是所涉及的資料量規模巨大到無法透過人工,在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊。
可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等;這樣的用途正是大型資料集盛行的原因
維基百科定義
在一份2001年的研究與相關的演講中,麥塔集團(META Group,現為高德納)分析員道格·萊尼(Doug Laney)指出資料增長的挑戰和機遇有三個方向:
量(Volume,資料大小)
速(Velocity,資料輸入輸出的速度)
多變(Variety,多樣性),合稱「3V」或「3Vs」
另外,有機構在3V之外定義第4個V:真實性(Veracity)
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。
美國在2012年就開始著手大數據,歐巴馬更在同年投入2億美金在大數據的開發中,更強調大數據會是之後的未來石油。
巨量資料應用的成功案例
Google – 流感趨勢預測
Google發現,某些搜尋關鍵字有助於追蹤流感疫情發展,彙總搜尋資料,提供近乎即時的全球流感疫情趨勢預測
Google曾在美國的九個地區做了測試,發現此技術比聯邦疾病控制和預防中心提前7到14天準確預測了流感爆發
阿里巴巴將消費者數據轉化為企業獲利,小額貸款無需抵押和擔保,直接實現了網路數據的價值。截至2013年,阿里小貸累計獲貸客戶數64.2萬家,累計放款1,722億元人民幣
電視新聞與巨量資料結合,2014年春運(36億人次),百度利用巨量分析觀察大陸過年時人類的遷移行為,並以易懂的視覺化呈現在人們眼前
吳老師 105/2/15
同時也有643部Youtube影片,追蹤數超過4萬的網紅吳老師教學部落格,也在其Youtube影片中提到,從VBA到Python程式開發第1次上課(課程大綱說明與安裝PYTHON&下載ECLIPSE與JAVA&開啟ECLIPSE與安裝外掛&ECLIPSE建立專案&修改編碼UTF8與整數轉型為文字&總結環境設置重點與各種基本型別&基本語法與脫逸字元) 01_課程簡介與大綱說明 02_建置Python開發...
「java list範例」的推薦目錄:
- 關於java list範例 在 吳老師excel函數與vba大數據教學 Facebook 的最佳貼文
- 關於java list範例 在 吳老師教學部落格 Youtube 的最讚貼文
- 關於java list範例 在 吳老師教學部落格 Youtube 的精選貼文
- 關於java list範例 在 吳老師教學部落格 Youtube 的最佳貼文
- 關於java list範例 在 [Java筆記] 詳解Collection-List - 1010Code 的評價
- 關於java list範例 在 JavaSE6Tutorial/CH13.md at master - GitHub 的評價
- 關於java list範例 在 資料結構教學: Link-list 1 的評價
- 關於java list範例 在 YouTube Data API | Google Developers 的評價
- 關於java list範例 在 Newest Questions - Stack Overflow 的評價
java list範例 在 吳老師教學部落格 Youtube 的最讚貼文
從VBA到Python程式開發第1次上課(課程大綱說明與安裝PYTHON&下載ECLIPSE與JAVA&開啟ECLIPSE與安裝外掛&ECLIPSE建立專案&修改編碼UTF8與整數轉型為文字&總結環境設置重點與各種基本型別&基本語法與脫逸字元)
01_課程簡介與大綱說明
02_建置Python開發環境
03_安裝Python與Eclipse環境
04_設定Python路徑與語系並建立新專案
05_設定字型大小與資料型態轉換
06_資料型態轉換與變數相關概念
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/tcfst_python_2018_2
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰? 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 107/6/27
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境
java list範例 在 吳老師教學部落格 Youtube 的精選貼文
從VBA到Python程式開發第1次上課(課程大綱說明與安裝PYTHON&下載ECLIPSE與JAVA&開啟ECLIPSE與安裝外掛&ECLIPSE建立專案&修改編碼UTF8與整數轉型為文字&總結環境設置重點與各種基本型別&基本語法與脫逸字元)
01_課程簡介與大綱說明
02_建置Python開發環境
03_安裝Python與Eclipse環境
04_設定Python路徑與語系並建立新專案
05_設定字型大小與資料型態轉換
06_資料型態轉換與變數相關概念
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/tcfst_python_2018_2
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰? 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 107/6/27
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境
java list範例 在 吳老師教學部落格 Youtube 的最佳貼文
從VBA到Python程式開發第1次上課(課程大綱說明與安裝PYTHON&下載ECLIPSE與JAVA&開啟ECLIPSE與安裝外掛&ECLIPSE建立專案&修改編碼UTF8與整數轉型為文字&總結環境設置重點與各種基本型別&基本語法與脫逸字元)
01_課程簡介與大綱說明
02_建置Python開發環境
03_安裝Python與Eclipse環境
04_設定Python路徑與語系並建立新專案
05_設定字型大小與資料型態轉換
06_資料型態轉換與變數相關概念
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/tcfst_python_2018_2
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰? 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 107/6/27
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境
java list範例 在 JavaSE6Tutorial/CH13.md at master - GitHub 的推薦與評價
package java.util; public interface List<E> extends Collection<E> { .... boolean ... 先來看看一個使用ArrayList 的例子,如範例13.1 所示。 ... <看更多>
java list範例 在 資料結構教學: Link-list 1 的推薦與評價
課程描述:1.鍊結串列概念介紹2.Node 觀念與表示方式介紹3.Link-list 特色 ... ... <看更多>
java list範例 在 [Java筆記] 詳解Collection-List - 1010Code 的推薦與評價
ArrayList 可以說是List最常被使用到的實作類別了,請下以下範例: 首先第一個部分是排序,是利用Collections.sort()類別方法。 import java.util.*; public ... ... <看更多>