【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格:https://bit.ly/3rPadlk
(圖文同步、畫好重點,閱讀更方便)
.
最近這兩週我在研究A/B測試,
何謂A/B測試我就直接引用文章內的話:
「針對某一需要改進的功能、頁面或是產品,提供兩種或以上的方案,合理分配流量,將不同方案发布給不同用戶。在運行一段時間後,結合各項指標和科學的統計方法,對比實驗數據做出決策,將最優方案更新給全量用戶。」
.
因此,A/B測試在現今網路行業中被用的相當頻繁,
Google更是把A/B測試視為圭臬,
大到一個功能,
小到一個按鈕的顏色都要做A/B測試,
也因為Google進行了大量的A/B測試,
把用戶旅程(user journey)中每個節點的轉換率一步步提高,
使得每次產品功能或是頁面的改動更符合多數用戶需求,
自然效能與績效就能極大化,
其他像是臉書、亞馬遜等電商公司,
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人,
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker),
大家到104人力銀行搜尋就知道其工作內容,
這邊不贅述。
(注意,A/B測試只是成長駭客內的其中一個工作項目,並非成長駭客就只做A/B測試,差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試,
因為用戶幾乎都從雙平台上下載遊戲,
如果要做A/B測試就只能在雙平台上著手,
新產品或許還能這樣做,
但對既有產品來說就不切實際點,
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享:
.
1⃣A/B測試不代表一次只能測試兩個,你想測試2個以上也行,主要是得確認每個群體樣本數要夠多,如果樣本數太少,達不到性效度的話,做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢?身為營運人員,自家的營運數據自己最清楚,可以透過這個網站輸入母體大小,就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告,如果不曉得母體會有多少,那可以用以下免費工具來反推,例如你想要達到的轉換率是1%提升到5%,這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠,就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個,一個是預算問題,另一個是在不確定風險下,建議做足夠樣本數就好。
👉舉例來說,如果今天某款遊戲每月付費玩家有10,000人,如果想改動一個功能,可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險,萬一這個改動是失敗的,等於就會直接影響到5,000人,那在A/B測試期間,可能就開始蒙受不小的營收損失,或是等不到信效度出現就提早結束測試,因此如果能事前估出足夠的樣本數,就能降低上述風險。
.
以10,000人這例子,丟到頁面內,只要370人的樣本就能達到統計顯著性了,不用分到50% / 50%這麼多,只要5%就足夠了,這樣即使A/B測試不理想,也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立,而非交集,如果有交集,就會影響分析結果。
👉這點比較吃技術的工,技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內,如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話,那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下,又緊接著做另一個A/B測試,除非能確定這兩個A/B測試是完全不相干,不然不但在分析時不容易分清楚每個群體,也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性,可以把數據輸入到這個網頁內,非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前,可以先執行A/A測試,先確認目前的隨機分配中有沒有其他的變異數,確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因,而非方案本身,因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享,
如果要再探討下去絕對有更多的理論基礎與分析模組,
我自己也還在學習摸索中,
日後如果有甚麼心得或是勘誤,
我會持續更新在這篇文章中,
如果你有其他心得或是已經發現錯誤的地方,
也歡迎分享給我。
.
🔎參考資料:A/B 測試要測多久?從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀:谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ
「檢定力 樣本數計算」的推薦目錄:
- 關於檢定力 樣本數計算 在 玩遊戲不難,做營運好難 Facebook 的最佳貼文
- 關於檢定力 樣本數計算 在 臨床筆記 Facebook 的最讚貼文
- 關於檢定力 樣本數計算 在 統計10-4 檢定誤差與檢定力(張濤統計) - YouTube 的評價
- 關於檢定力 樣本數計算 在 第6單元相依樣本的推論統計| 心理科學基礎統計 的評價
- 關於檢定力 樣本數計算 在 統計樣本數30在PTT/mobile01評價與討論 的評價
- 關於檢定力 樣本數計算 在 統計樣本數30在PTT/mobile01評價與討論 的評價
- 關於檢定力 樣本數計算 在 Snoopyndmc Wen - 老師您好請教您若使用G-power 3.1.3版本... 的評價
檢定力 樣本數計算 在 臨床筆記 Facebook 的最讚貼文
次群分析
#posthoc #subgroup #teaching
許多人都相信西洋的占星術,認為她能預測自己的運勢。依據出生日期決定的占星術黃道十二宮是白羊宮、金牛宮、雙子宮、巨蟹宮、獅子宮、室女宮、天秤宮、天蠍宮、人馬宮、摩羯宮、寶瓶宮、雙魚宮。
1988 年發表的 ISIS-2 (Second International Study of Infarct Survival) 臨床試驗顯示在病人發生疑似急性心肌梗塞之後,併用阿斯匹靈及 streptokinase 可以明顯降低再梗塞、中風及死亡的危險,但是許多人都對阿斯匹靈是否只有在某些病人(例如:年紀、性別、種族等)有效很感興趣,於是他們做了一個很有趣的分析,亦即他們把 17187 人依據占星術的星座分成 12 個次群,結果發現阿斯匹靈對天秤座、雙子座的人是無效的,但是阿斯匹靈卻能神奇地降低摩羯座的人的再梗塞、中風及死亡的危險至ㄧ半以下。可見事後分析中的次群分析是不可靠的,因為事後分析就像是「先射箭再畫靶」一樣。
-次群與暴露(治療)的交互作用(moderation)
• 這是一種觀察性研究,而不是 RCT 的主要/次要終點。
• 主要效果必須是有統計意義的。
• 如果是與連續變項有交互作用,那麼連續變項不能被變成類別/二元變項。
• 次群:必須要事先(不能事後)設定,數目不能太多,必須是基礎(治療前)的資料,各次群的樣本數愈多、愈接近愈好,各次群的共變數愈接近愈好,次群的定義沒有測量誤差,不要看太多的次群、有其他的研究支持。
• 校正干擾因子之後仍然存在。
• 必須要做多重比較的校正。
• 要看交互作用,不要分別看各次群:A 次群有意義、B 次群無意義是沒有任何判斷價值的。
• 需要的樣本數是主要效果的 16 倍:RCT 的樣本數是依據主要效果的統計檢定力 0.8 去計算的,因此交互作用的統計檢定力一定是 << 0.8 的。低統計檢定力會造成假陽性(高估效果量)和假陰性(第二型錯誤)。
• 要估計模式預測的校準與鑑別力、各次群預測的結果/治療的傷害。
• 要估計絕對與相對危險性(絕對危險性比較重要)。
• P: 0.01-0.05(不確定)、0.005-0.01(有意義)、< 0.005 (很有意義)。但是不要純粹用 P 值或用逐步複回歸選擇有意義的交互作用;要用收縮 shrinkage(懲罰 penalized、正規化 regularized、整體 ensemble)回歸選擇有意義的交互作用。
檢定力 樣本數計算 在 第6單元相依樣本的推論統計| 心理科學基礎統計 的推薦與評價
透過相依樣本t檢定的案例,我們將認識三個決定推論統計品質的要素:樣本數(N),效果量(effect size),與統計考驗力(statistical power)。 ... <看更多>
檢定力 樣本數計算 在 統計樣本數30在PTT/mobile01評價與討論 的推薦與評價
檢定力樣本數計算 在样本量在线计算器- 电阻计算的討論與評價. 这是一款涉及到统计学的计算器;样本大小也称样本量,样本大小确定是密切相关的统计估计 ... ... <看更多>
檢定力 樣本數計算 在 統計10-4 檢定誤差與檢定力(張濤統計) - YouTube 的推薦與評價
線上最完整、最專業的「統計學」課程:一、師資介紹:張濤老師(全國性補教名師),擁有15年的豐富教學經驗二、課程介紹:請連結小卒數理 ... ... <看更多>