最近 Funliday-旅遊規劃 常發一些精選旅遊回憶的 App 通知給使用者,在去年十一二月的時候發通知 Server 還能撐的了瞬時大流量的 request。
但今年開始發這類通知,總共發了三次,三次都造成 Server 被打掛,而且重開 AP 還緩解不了,瞬間手足無措。大概都要等過了十分鐘左右,Server 才將這些 request 消化完。
這裡就來簡單整理一下時間軸,順便分享一下 Funliday 是如何解決這個問題。
---
* 1/6 1900:系統排程發送精選旅遊回憶的 App 通知
* 1/6 1900+10s 開始:Server 收到極大量的 request
* 1/6 1900+20s:Nginx 出現錯誤訊息 1024 worker not enough,並回傳 http status code 503
* 1/6 1900+25s:PostgreSQL 出現錯誤訊息 could not fork new process for connection (cannot allocate memory)
* 1/6 1900+38s:Node.js 收到 PostgreSQL 的 exception。There was an error establishing an SSL connection error
* 1/6 1900+69s:PostgreSQL 出現錯誤訊息 database system is shut down
* 1/6 1900+546s:PostgreSQL 出現錯誤訊息 the database system is starting up
---
看了時間軸就覺得奇怪,先不論 10s 的時候發了極大量 request,造成 20s 在 Nginx 出現 worker not enough 的錯誤訊息。而是要關注 25s 時的 PostgreSQL 出現 could not fork new process for connection 的錯誤訊息。
Funliday 用了同時可承載 n 個 connection 的資料庫,而且程式碼又有加上 connection pool,理論上根本不該出現這個錯誤訊息。但整個時間軸看下來感覺就是 PostgreSQL 的 capacity 問題,造成系統無法運作。
因為就算將 Nginx 的 worker connection size 再加大 10 倍,只是造成 PostgreSQL 要接受的 request 也跟著被加大 10 倍,但 PostgreSQL 那裡因為 request 變多,原本在 69s 直接關機的時間點只會提早,而無法真正緩解這個狀況。
基於以上狀況,小編就開始回去看自己的程式碼是不是哪裡寫錯了。會這樣想也是覺得 PostgreSQL 應該沒這麼弱,一下就被打掛,一定是自己程式碼的問題 Orz
---
這邊來分享一下自己程式碼的寫法,圖一是原始寫法,在每個 API 都 create 一個 db client instance 來處理該 API 層的所有 db request。這是蠻單純的做法,也是 day 1 開始的處理方式。但有個小問題,就是每個 API 層都要自己 create instance,不好管理,且浪費資源。
後來因為想要做 graceful shutdown 的關係,所以調整了一下 db client instance 的建立方式,用 inject 將 instance 綁在 request 上面,如圖二。這樣只要在 middleware 建立 db client instance 就好,好管理,而且只要有 req 就可以取得 instance,非常方便。而這也是 1/6 時的程式碼,就從這裡開始研究吧。
---
直接切入 node-postgres 的文件,認真讀了一下 pool 有下面兩種使用方式:
1. pool.connect, pool.release:文件寫著 checkout, use, and return,光看描述就應該用這個沒錯。
2. pool.query:適用於不需要 pool 的連線方式,文件上也清楚寫著內部實作是直接 call client.query,所以用了這個方式是完全跟 pool 扯不上邊。
但偏偏小編從 day 1 用的就是第 2 種方式 Orz,雖然看起來應該是寫錯,但也是要修改後實測,才知道是不是真的可以解決問題。
---
如圖三,這是修改後的程式碼。想了一下子,覺得目前在 API 層使用 req.pool.query 還不錯,不想用官方的建議做法:先 create client,然後 query 之後,再使用 release。
如果照官方建議做法,API 層的程式碼會多一堆與商業邏輯無關的程式碼,也不好維護。所以在不想動到 API 層的程式碼,只能使用 monkey patch 的方式來達到這個需求。
monkey patch 可以將原方法利用類似 override 的方式,將整個方法改掉,而不改變 caller 的程式碼,這也是 JavaScript, Ruby, Python 這類動態語言的特性之一,但真的要慎用,一不小心就會把原方法改成完全不同意義的方法了。
所以原本應該要在 API 層實作 connect, query, release 一大堆程式碼,可以用 monkey patch 完美解決這一大堆程式碼。
---
在 dev 壓測後至少 capacity 可以達到原本的 4 倍以上,隔天實際上 production 之後也確實如壓測般的數據,可以承載目前的流量。
其實這篇分享的重點只有一點,文件看仔細才是最重要的事啦!如果沒把文件看仔細,然後開發經驗也不足的話,什麼 RCA、monkey patch 都幫不上忙啦!
---
後記:有夠丟臉,其實完全用不到圖三,只要把圖二的 pool creation 放到最外層就好了,因為 pool.query 的內部實作已經有做 connect, query, release 了。
感謝下面的 Mark T. W. Lin 及 Rui An Huang 的幫忙,實在是太搞笑了 Orz
* Pool 的文件:https://node-postgres.com/features/pooling
* 官方建議寫法:https://node-postgres.com/guides/project-structure
* pool.query 的內部實作:https://github.com/brianc/node-postgres/blob/master/packages/pg-pool/index.js#L332
#expressjs #nodejs #javascript #postgresql
同時也有1部Youtube影片,追蹤數超過9萬的網紅Monkey Sis,也在其Youtube影片中提到,FB : https://www.facebook.com/Monkey-sis-196596517527262/ IG : https://www.instagram.com/monkey.sis/ Shopee: https://shopee.co.th/monkeysis P R O D U...
「monkey ruby」的推薦目錄:
- 關於monkey ruby 在 Kewang 的資訊進化論 Facebook 的精選貼文
- 關於monkey ruby 在 法拉狗 Follow Dog-訓練師 Ming Facebook 的精選貼文
- 關於monkey ruby 在 法拉狗 Follow Dog-訓練師 Ming Facebook 的最讚貼文
- 關於monkey ruby 在 Monkey Sis Youtube 的最佳解答
- 關於monkey ruby 在 Ruby baby monkey is very happy to go to the park - YouTube 的評價
- 關於monkey ruby 在 Ruby baby monkey's cute reaction when he wakes up 的評價
- 關於monkey ruby 在 Baby Monkey Ruby is very happy with new clothes ... - YouTube 的評價
- 關於monkey ruby 在 Ruby baby monkey is very happy to explore the beautiful fruit ... 的評價
- 關於monkey ruby 在 Little Monkey Ruby and Mom visit his garden - YouTube 的評價
- 關於monkey ruby 在 Ruby baby monkey and Mom take good care of Zozo - YouTube 的評價
- 關於monkey ruby 在 Baby monkey Zozo Ruby is curious about what's in Mom's crate 的評價
- 關於monkey ruby 在 Ruby's baby Monkey family - YouTube 的評價
- 關於monkey ruby 在 Cute actions when baby monkey Ruby plays alone - YouTube 的評價
- 關於monkey ruby 在 Ruby baby monkey is very happy to mess jubilantly ... - YouTube 的評價
- 關於monkey ruby 在 Ruby BaBy Monkey is very happy going to the Country Market ... 的評價
- 關於monkey ruby 在 Baby Monkey Ruby - Zozo take care of Duckling Chip help Mom 的評價
- 關於monkey ruby 在 Ruby baby monkey is worried and sad when Zozo is sick 的評價
- 關於monkey ruby 在 Baby Monkey Ruby is very happy walking around the market 的評價
- 關於monkey ruby 在 Ruby baby monkey is very happy playing at the park in town 的評價
- 關於monkey ruby 在 Baby monkey Ruby is very brave when meeting ... - YouTube 的評價
- 關於monkey ruby 在 Baby Monkey Ruby, OMG Vegetables and Fruits are so ... 的評價
- 關於monkey ruby 在 The cute face of baby monkey Zozo Ruby sharing food 的評價
- 關於monkey ruby 在 Ruby Baby Monkey is very happy bringing laughter ... - YouTube 的評價
- 關於monkey ruby 在 Baby Monkey Ruby is very happy go to the market buy ... 的評價
- 關於monkey ruby 在 Baby Monkey Ruby is very happy go to the market buy ... 的評價
- 關於monkey ruby 在 Rails 2.3.14 Ruby 1.9.3 - Monkey Patches - gists · GitHub 的評價
- 關於monkey ruby 在 How to Monkey Patch in Ruby on Rails? - Stack Overflow 的評價
- 關於monkey ruby 在 Fulfill those... - The Frog and Monkey Restaurant & Pub 的評價
- 關於monkey ruby 在 Monkey Patching in Ruby - Real World Example - Babble 的評價
monkey ruby 在 法拉狗 Follow Dog-訓練師 Ming Facebook 的精選貼文
「你不可以說牠笨。」我很認真地跟學生這麼說。
因為關於牠尿尿的地方和你希望的不同、
牠對一年只相處幾天的嬸嬸吠叫、
帶出去散步看到戴安全帽的路人會叫
這些這些都與聰明還是笨沒有關係。
而且當你說牠笨的時候,可能只是讓你在這些事情沒有改變時,暫時比較好過。
「好吧,牠就是笨,我們就是會遇到眼前的事情。」
但要是你的腦袋都被「都是牠笨」給塞滿了,
那你就沒有空間來記錄你的觀察、
把注意事項記進腦袋、
把我們說的練習給實際執行。
事實上,要是你願意把空間讓出來,
事情可能比你想像中的更有轉機。
所以不要再說牠笨了,你也不笨,
這些真的不關是笨蛋還是聰明。
****
我只用可愛、超級可愛、美麗、有夠美麗來形容我的狗
***
【補充】
來自於下面和Monkey Ruby家的留言
「狗狗很聰明,都是主人不會教。」
我以前會認同這句話,直到我覺得這句話很容易打擊主人的信心。
因為它聽起來就像是把主人與狗狗遇到的麻煩一併都推到主人身上,直接否定了主人的一切。
事實上很多麻煩是,未必是主人造成的,有時候就是剛好遇到了麻煩事情,不是誰的錯。
再來,我還是要說,這些這些都跟聰明還笨沒有絕對關係啊
monkey ruby 在 法拉狗 Follow Dog-訓練師 Ming Facebook 的最讚貼文
「你不可以說牠笨。」我很認真地跟學生這麼說。
因為關於牠尿尿的地方和你希望的不同、
牠對一年只相處幾天的嬸嬸吠叫、
帶出去散步看到戴安全帽的路人會叫
這些這些都與聰明還是笨沒有關係。
而且當你說牠笨的時候,可能只是讓你在這些事情沒有改變時,暫時比較好過。
「好吧,牠就是笨,我們就是會遇到眼前的事情。」
但要是你的腦袋都被「都是牠笨」給塞滿了,
那你就沒有空間來記錄你的觀察、
把注意事項記進腦袋、
把我們說的練習給實際執行。
事實上,要是你願意把空間讓出來,
事情可能比你想像中的更有轉機。
所以不要再說牠笨了,你也不笨,
這些真的不關是笨蛋還是聰明。
****
我只用可愛、超級可愛、美麗、有夠美麗來形容我的狗
***
【補充】
來自於下面和Monkey Ruby家的留言
「狗狗很聰明,都是主人不會教。」
我以前會認同這句話,直到我覺得這句話很容易打擊主人的信心。
因為它聽起來就像是把主人與狗狗遇到的麻煩一併都推到主人身上,直接否定了主人的一切。
事實上很多麻煩是,未必是主人造成的,有時候就是剛好遇到了麻煩事情,不是誰的錯。
再來,我還是要說,這些這些都跟聰明還笨沒有絕對關係啊
monkey ruby 在 Monkey Sis Youtube 的最佳解答
FB : https://www.facebook.com/Monkey-sis-196596517527262/
IG : https://www.instagram.com/monkey.sis/
Shopee: https://shopee.co.th/monkeysis
P R O D U C T S
Illamasqua Veil Primer
Revlon Colorstay Foundation - 150 buff
Covermark Bright Up Foundation
Cute Press Long Lasting Cover Concealer Stick
Catrice Mattifying Powder Waterproof
Chaonang Slimbrow Waterproof - Espresso Brown
Golden Rose Longstay Brow Styling Gel
Urban Decay Anti Aging Primer Potion
Professional Make Up Techniques Face Palette
Too Faced Chocolate Gold Palette
Catrice The Glitterizer Mix N' Match Eyeshadow Palette
Kate Sharplock Gel Liner -BR01
Tarte Kitten Eyeliner
Catrice Lash To Kill Waterproof Mascara
Tarte Amazonian Clay Blush - Ornate
Mac Lipstick - Ruby Woo
Maybelline Lipstick - Make Me Blush
C O N T A C T L E N S
Lollipop - Jelly Brown
M U S I C
Fareoh - Under Water [NCS Release]
#monkeysis #สงกรานต์ #แมทภีรนีย์
![post-title](https://i.ytimg.com/vi/ZnEkyvtnXz8/hqdefault.jpg)
monkey ruby 在 Ruby baby monkey's cute reaction when he wakes up 的推薦與評價
![影片讀取中](/images/youtube.png)
Ruby baby monkey's cute reaction when he wakes upIf you love Zozo and Ruby, please subscribe to our support channel.Thanks for watching! ... <看更多>
monkey ruby 在 Baby Monkey Ruby is very happy with new clothes ... - YouTube 的推薦與評價
![影片讀取中](/images/youtube.png)
Baby Monkey Ruby is very happy with new clothes, play, eat, sleep, rest with Mimi very cuteRuby Monkey Family.Family members: Bibi monkey ... ... <看更多>
monkey ruby 在 Ruby baby monkey is very happy to go to the park - YouTube 的推薦與評價
Ruby baby monkey is very happy to go to the parkRuby Monkey Family.Family members: Bibi monkey famer vs Obi Monkey smart, Bon Bon Monkey ... ... <看更多>