--課程已於 2020 年 7 月更新--
Elasticsearch 是一個強大的工具,不僅可以用於在大型網站上搜索,還可以在幾毫秒內分析大數據集!這是越來越受歡迎的技術,也是當今就業市場中很有價值的技術。 這個全面的課程涵蓋所有,從安裝到操作,有60個講座,包括8小時的影片。
從這 8.5 小時的課程,你會學到
✅ 在群集 ( cluster ) 上安裝和設定 Elasticsearch
✅ 創建搜索的索引和映射
✅ 以幾種不同的方式搜索全文和結構化資料
✅ 使用幾種不同的技術將資料輸入到 Elasticsearch
✅ 將 Elasticsearch 與其他系統整合,例如 Spark、Kafka、關係資料庫、S3等
✅ 使用桶 ( buckets ) 和指標彙整結構化資料
✅ 使用 Logstash 和 “ ELK stack ” 將串流日誌 ( streaming log )資料輸入到 Elasticsearch
✅ 使用 Filebeats 和 Elastic Stack 大規模輸入串流資料
✅ 使用 Kibana 分析和視覺化 Elasticsearch 的資料
✅ 管理運作中 Elasticsearch 群集的操作
✅ 使用基於雲端的解決方案,包括亞馬遜的 Elasticsearch 服務和 Elastic 雲 ( EC )
>英文字幕:有
https://softnshare.com/elasticsearch-7-and-elastic-stack/
elk log分析 在 軟體開發學習資訊分享 Facebook 的最佳解答
--課程已於 2020 年 6 月更新--
Elasticsearch 是一個強大的工具,不僅可以用於在大型網站上搜索,還可以在幾毫秒內分析大數據集!這是越來越受歡迎的技術,也是當今就業市場中很有價值的技術。 這個全面的課程涵蓋所有,從安裝到操作,有60個講座,包括8.5小時的影片。
從這 8.5 小時的課程,你會學到
✅ 在群集 ( cluster ) 上安裝和設定 Elasticsearch
✅ 創建搜索的索引和映射
✅ 以幾種不同的方式搜索全文和結構化資料
✅ 使用幾種不同的技術將資料輸入到 Elasticsearch
✅ 將 Elasticsearch 與其他系統整合,例如 Spark、Kafka、關係資料庫、S3等
✅ 使用桶 ( buckets ) 和指標彙整結構化資料
✅ 使用 Logstash 和 “ ELK stack ” 將串流日誌 ( streaming log )資料輸入到 Elasticsearch
✅ 使用 Filebeats 和 Elastic Stack 大規模輸入串流資料
✅ 使用 Kibana 分析和視覺化 Elasticsearch 的資料
✅ 管理運作中 Elasticsearch 群集的操作
✅ 使用基於雲端的解決方案,包括亞馬遜的 Elasticsearch 服務和 Elastic 雲 ( EC )
https://softnshare.com/elasticsearch-7-and-elastic-stack/
elk log分析 在 Kewang 的資訊進化論 Facebook 的最讚貼文
小編最近一直用 Impala 在分析產品的 API log,雖然有下 SQL 做了一些圖表 (DAU, MAU) 出來,但如果要讓非資訊人員自己下指令產生這些圖表的話,真的是會要了他們老命。尤其這些圖表如果是要給 PM、行銷看的話,每隔幾天就要叫工程師跑圖表,工程師真的會累死 Orz。
雖然有 ELK 這種整套都弄好好的系統,但這種系統還是工程師比較知道如何操作。小編想了一下,自己寫一套讓大家一鍵產生圖表還比較方便,於是就花了兩三天做了這個「窮人版 ELK」。
本來小編是想直接用 Cloudera HUE 產出來的圖表拿來處理,但因為 HUE 的報表是用 D3 產生出來的,所以如果真要跟 HUE 串接的話,除了 auth 那段要解決之外,還要處理 D3 產出來的互動式圖表。看了一下實在太花功夫,所以小編就放棄這段,直接重頭開始刻。
這次開發用了下面幾套工具,一直 pipe 來 pipe 去的,小編頭都快昏了 Orz。如果要跟數據打交道的話,真的要好好學一下 Linux 上的各種文字處理工具:
1. impala-shell:用 Impala 下 SQL 指令,將資料拉回來,參數 -B 可以將結果產生成 CSV 格式
2. csv2json:因為這次用的圖表工具只吃 JSON 格式,所以先將資料從 CSV 轉為 JSON,才能繼續下一步
3. json2highcharts:自己開發的程式,因為小編這次用的圖表工具 highcharts,無論是資料或設定檔 (像是顯示直條圖或折線圖) 都是 JSON 格式,所以要把這些資料跟設定檔轉成 highcharts 能吃的格式,所以又做了一次 JSON 轉換
4. highcharts-export-server:最後一步就是要呼叫產生圖表的工具了,小編找了蠻多的能在 command line 執行的圖表工具,有要裝 cairo 的,有要裝 png lib 的,還有一些要重頭 make 的,實在都太麻煩。後來看到這套是使用 phantomjs,直接跑 browser render,雖然肥了一點但不用管 dependency 就是爽 XDD
把這 4 步都執行完之後就會產生圖表了。但為了方便之後產生新類型的圖表,小編打算只要讓工程師把寫好的 DSL 丟到 server 上,非資訊人員就可以直接用網頁操作了。下一篇再來講如何開發 DSL 好了 (又是一連串的文字處理 Orz)。
* backend-log-explorer:https://github.com/mitaketw/backend-log-explorer
* 想了解在執行 Impala 之前,這些資料做了什麼處理嗎?推薦強者小編同事的文章:https://www.facebook.com/groups/616369245163622/permalink/1329521563848383/
#log #impala #highcharts #elk #資料分析
elk log分析 在 [ELK] 利用ELK 架構分析log 的推薦與評價
ELK 是由Elasticsearch、Logstash 和Kibana 所組成的Log 收集、分析和查詢的架構: Elasticsearch: 是一個以Apache Lucene 為核心,分散式的RESTful 風格的 ... ... <看更多>
elk log分析 在 Log分析入門 的推薦與評價
我們會一路從「Log概論」、「Log分析」、「Log處理」、「SOC」、「資安戰情室」一路深入, ... 包含ElasticSearch資料儲存搜尋、LogStash資料收集轉換、Kibana視覺化. ... <看更多>