【從 teradata 到 BigQuery】美國職棒大聯盟資料倉儲搬遷實錄
#搬遷背景
美國職棒大聯盟 (MLB) 過去打造的 data pipeline 在建置時並沒有要做大數據分析的預期,所以多數對模型而言並不適用。存放於 teradata 中的資料也無法直接讓 30 支球隊存取,必須將資料複製到雲端上的 30 個獨立資料夾,讓球隊各自存取,球隊亦無法雙向向聯盟回饋數據,下述種種阻礙迫使 MLB 必須改變:
1⃣ 購退票、轉賣票券等行為導致已備份的歷史資料仍頻繁異動,需不斷再更新。
2⃣ 若分享的資料要新增欄位或改變格式,歷史資料需重新複製。
3⃣ 球隊須設定資料更新的通知,否則不會發現。
4⃣ 無法及時分享資料,頂多每五分鐘更新一次。
5⃣ 目標是提供具商業價值的分析給 MLB 跟球隊,但花費大量時間處理備份事宜。
6⃣ 當 MLB 開始尋找新的 BI 平台,發現既有倉儲和第三方工具整合有限。
#搬遷Tips
💡 新專案直接在 BigQuery 上開案。
💡 在 dependency graph 中找出 table 與 ETL jobs 間的關連,從關聯較少的開始搬遷。
💡 搬遷過程中,在 BigQuery 即時產生 teradata ETL 的副本,資料即時程度在 1 分鐘內,讓數據團隊可及早在 BigQuery 上使用資料。
💡 可在 GCP Marketplace 使用 #第三方轉譯器工具 CompilerWorks:自動化且正確地將 teradata SQL 轉換成 BigQuery SQL。
💡 ETL 搬遷的邏輯驗證可在 BigQuery 中完成。
#BigQuery解放MLB技術能量
✅ 球隊、聯盟員工存取同一份資料,MLB 無需處理歷史資料異動時,備份更新的問題。
✅ 性能與效率:大型查詢時間減少 50%。
✅ 完善資安功能:G Suite 提供身份驗證功能,Google Cloud IAM 負責處理權限控管。
✅ 友善體驗:Console 和 BigQuery API 極易上手,入門門檻低。
✅ 靈活性、降低成本:允許按需求量收費,不必承諾使用量,以便逐步上線。支援自動備份、自動擴展。
▎報名收看 Google 官方中文演講場次:https://bit.ly/2ZMYzv5
▎Next OnAir Week 1 精華整理:https://bit.ly/3jpSwnU
#GoogleCloud #NextOnAir #NextRecap
#iKalaCloud #數位轉型就找iKala
同時也有67部Youtube影片,追蹤數超過4萬的網紅吳老師教學部落格,也在其Youtube影片中提到,VBA到Python程式開發202101第7次上課 01_重點回顧與判斷檔案是否存在 02_判斷all存在與刪除與刪除all以外檔案 03_合併細節說明與檔案分割與取得檔名 04_新增SQLite資料庫資料表與欄位 05_SQL資料庫與建立資料表與欄位並新增資料 06_用Select語法查詢結果 ...
sql新增欄位 在 吳老師教學部落格 Youtube 的精選貼文
VBA到Python程式開發202101第7次上課
01_重點回顧與判斷檔案是否存在
02_判斷all存在與刪除與刪除all以外檔案
03_合併細節說明與檔案分割與取得檔名
04_新增SQLite資料庫資料表與欄位
05_SQL資料庫與建立資料表與欄位並新增資料
06_用Select語法查詢結果
完整教學
http://goo.gl/aQTMFS
吳老師教學論壇
http://www.tqc.idv.tw/
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/tcfst_python_2021_1
課程簡介:入門
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
VBA重要函數到Python
檔案處理
資料庫處理
課程簡介:進階
網頁資料擷取與分析、Python網頁測試自動化、YouTube影片下載器
處理 Excel 試算表、處理 PDF 與 Word 文件、處理 CSV 檔和 JSON 資料
實戰:PM2.5即時監測顯示器、Email 和文字簡訊、處理影像圖片、以 GUI 自動化來控制鍵盤和滑鼠
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著?
出版社:碁峰? 出版日期:2016/11/29
Python程式設計入門
作者:葉難
ISBN:9789864340057
出版社:博碩文化
出版日期:2015/04/02
吳老師 110/4/6
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境
sql新增欄位 在 吳老師教學部落格 Youtube 的最佳解答
[初階]從VBA的自動化到PYTHON網路爬蟲應用5(全省郵局地址合併&用os的walk方法巡覽檔名&將
all再分割回25個檔案&字典型態處理與學生成績&SQLite新增資料庫與資料表與紀錄)
01_重點回顧與會員資料寫入資料庫
02_會員資料讀取並切割為串列
03_將資料寫入資料庫(建資料表與欄位)
04_SQL刪除資料表與查詢資料
05_編號查詢與關鍵字查詢
06_日期查詢與SQL相關語法
07_將全省郵局地址三重寫入到資料庫
08_全省郵局全部寫入到資料庫
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/tcfst_python_2020_3
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
[初階]從VBA的自動化到PYTHON網路爬蟲應用
01 建置Python開發環境 3
02 基本語法與結構控制 3
03 迴圈敘述演示與資料結構及函式 3
04 檔案處理與SQLite資料庫處理 6
05 TQC+Python證照第1、2、3類:
基本程式設計與選擇敘述與迴圈敘述 12
06 TQC+Python證照第4、5類:
進階控制流程與函式(Function) 9
[進階]網頁資料擷取、分析與資料視覺化能力
07 網頁資料擷取與分析 3
09 實戰:處理 CSV 檔和 JSON 資料 3
10 實戰:PM2.5即時監測顯示器轉存資料庫 3
11 實戰:下載台銀外匯、下載YAHOO股市類股 3
12 實戰:下載威力彩開獎結果 3
13 TQC+Python 3網頁資料擷取與分析第1類:資料處理能力 3
14 TQC+Python 3第2類:網頁資料擷取與轉換 6
15 TQC+Python 3第3類:資料分析能力 6
16 TQC+Python 3第4類:資料視覺化能力 6
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著
出版社:碁峰 出版日期:2016/11/29
吳老師 109/7/24
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境,資料視覺化
sql新增欄位 在 吳老師教學部落格 Youtube 的精選貼文
[初階]從VBA的自動化到PYTHON網路爬蟲應用5(全省郵局地址合併&用os的walk方法巡覽檔名&將
all再分割回25個檔案&字典型態處理與學生成績&SQLite新增資料庫與資料表與紀錄)
01_重點回顧與會員資料寫入資料庫
02_會員資料讀取並切割為串列
03_將資料寫入資料庫(建資料表與欄位)
04_SQL刪除資料表與查詢資料
05_編號查詢與關鍵字查詢
06_日期查詢與SQL相關語法
07_將全省郵局地址三重寫入到資料庫
08_全省郵局全部寫入到資料庫
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入):
https://groups.google.com/forum/#!forum/tcfst_python_2020_3
懶人包:
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
[初階]從VBA的自動化到PYTHON網路爬蟲應用
01 建置Python開發環境 3
02 基本語法與結構控制 3
03 迴圈敘述演示與資料結構及函式 3
04 檔案處理與SQLite資料庫處理 6
05 TQC+Python證照第1、2、3類:
基本程式設計與選擇敘述與迴圈敘述 12
06 TQC+Python證照第4、5類:
進階控制流程與函式(Function) 9
[進階]網頁資料擷取、分析與資料視覺化能力
07 網頁資料擷取與分析 3
09 實戰:處理 CSV 檔和 JSON 資料 3
10 實戰:PM2.5即時監測顯示器轉存資料庫 3
11 實戰:下載台銀外匯、下載YAHOO股市類股 3
12 實戰:下載威力彩開獎結果 3
13 TQC+Python 3網頁資料擷取與分析第1類:資料處理能力 3
14 TQC+Python 3第2類:網頁資料擷取與轉換 6
15 TQC+Python 3第3類:資料分析能力 6
16 TQC+Python 3第4類:資料視覺化能力 6
上課用書:
參考書目
Python初學特訓班(附250分鐘影音教學/範例程式)
作者: 鄧文淵/總監製, 文淵閣工作室/編著
出版社:碁峰 出版日期:2016/11/29
吳老師 109/7/24
EXCEL,VBA,Python,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,PYTHON安裝環境,資料視覺化
sql新增欄位 在 【MS SQL】資料表的基礎操作 - 伍夜黃昏之時 的推薦與評價
展開SQL Server 執行個體,對欲增加資料表的資料庫執行右鍵,指向[新增],選擇[資料表]. Step 2 開啟資料表欄位定義編輯畫面,輸入欲增加的 ... ... <看更多>
sql新增欄位 在 Re: [SQL ] 如何在select時,增加欄位並寫入字串- 看板Database 的推薦與評價
※ 引述《Eleganse (王建民)》之銘言:
: 問題1
: 資料表名:T_1
: C_ID C_NAME
: 1 大一
: 2 小二
: 3 張三
: 4 李四
: 資料表名:T_2
: C_ID C_NAME
: 101 曹操
: 102 張飛
: 103 趙雲
: 104 劉備
: 我想造一張資料表變成如下所示
: C_NAME C_TABLE
: 大一 T_1
: 小二 T_1
: 張三 T_1
: 李四 T_1
: 曹操 T_2
: 張飛 T_2
: 趙雲 T_2
: 劉備 T_2
: 也就是除了組合起來的欄位外,另外還附上"來源的資料表名"
: 請問該如何撰寫SQL碼?
select C_Name, 'T_1' as C_Table
from T_1
union
select C_Name, 'T_2' as C_Table
from T_2
: 問題2
: 資料表名:T_3
: C_ID C_Value
: 1 大一
: 2 小二
: 3
: 4
: 5 李四
: 我想造一張表如下所示
: C_ID C_Value C_Judge
: 1 大一 有值
: 2 小二 有值
: 3 空值
: 4 空值
: 5 李四 有值
: 也就是新增一欄,並判斷原有某些欄位的判斷後結果等,
: 請問該如何撰寫SQL碼?
select C_ID, C_Value,
(case when C_Value is null then '空值' else '有值' end) as C_Judge
from T_3
: 謝謝先進們的觀賞與希望不吝解答。
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 219.70.145.218
... <看更多>