【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格:https://bit.ly/3rPadlk
(圖文同步、畫好重點,閱讀更方便)
.
最近這兩週我在研究A/B測試,
何謂A/B測試我就直接引用文章內的話:
「針對某一需要改進的功能、頁面或是產品,提供兩種或以上的方案,合理分配流量,將不同方案发布給不同用戶。在運行一段時間後,結合各項指標和科學的統計方法,對比實驗數據做出決策,將最優方案更新給全量用戶。」
.
因此,A/B測試在現今網路行業中被用的相當頻繁,
Google更是把A/B測試視為圭臬,
大到一個功能,
小到一個按鈕的顏色都要做A/B測試,
也因為Google進行了大量的A/B測試,
把用戶旅程(user journey)中每個節點的轉換率一步步提高,
使得每次產品功能或是頁面的改動更符合多數用戶需求,
自然效能與績效就能極大化,
其他像是臉書、亞馬遜等電商公司,
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人,
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker),
大家到104人力銀行搜尋就知道其工作內容,
這邊不贅述。
(注意,A/B測試只是成長駭客內的其中一個工作項目,並非成長駭客就只做A/B測試,差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試,
因為用戶幾乎都從雙平台上下載遊戲,
如果要做A/B測試就只能在雙平台上著手,
新產品或許還能這樣做,
但對既有產品來說就不切實際點,
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享:
.
1⃣A/B測試不代表一次只能測試兩個,你想測試2個以上也行,主要是得確認每個群體樣本數要夠多,如果樣本數太少,達不到性效度的話,做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢?身為營運人員,自家的營運數據自己最清楚,可以透過這個網站輸入母體大小,就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告,如果不曉得母體會有多少,那可以用以下免費工具來反推,例如你想要達到的轉換率是1%提升到5%,這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠,就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個,一個是預算問題,另一個是在不確定風險下,建議做足夠樣本數就好。
👉舉例來說,如果今天某款遊戲每月付費玩家有10,000人,如果想改動一個功能,可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險,萬一這個改動是失敗的,等於就會直接影響到5,000人,那在A/B測試期間,可能就開始蒙受不小的營收損失,或是等不到信效度出現就提早結束測試,因此如果能事前估出足夠的樣本數,就能降低上述風險。
.
以10,000人這例子,丟到頁面內,只要370人的樣本就能達到統計顯著性了,不用分到50% / 50%這麼多,只要5%就足夠了,這樣即使A/B測試不理想,也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立,而非交集,如果有交集,就會影響分析結果。
👉這點比較吃技術的工,技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內,如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話,那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下,又緊接著做另一個A/B測試,除非能確定這兩個A/B測試是完全不相干,不然不但在分析時不容易分清楚每個群體,也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性,可以把數據輸入到這個網頁內,非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前,可以先執行A/A測試,先確認目前的隨機分配中有沒有其他的變異數,確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因,而非方案本身,因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享,
如果要再探討下去絕對有更多的理論基礎與分析模組,
我自己也還在學習摸索中,
日後如果有甚麼心得或是勘誤,
我會持續更新在這篇文章中,
如果你有其他心得或是已經發現錯誤的地方,
也歡迎分享給我。
.
🔎參考資料:A/B 測試要測多久?從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀:谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ
「事後檢定不顯著」的推薦目錄:
- 關於事後檢定不顯著 在 玩遊戲不難,做營運好難 Facebook 的最讚貼文
- 關於事後檢定不顯著 在 30歲前走遍天下 Facebook 的最佳解答
- 關於事後檢定不顯著 在 說說能源 Talk That Energy Facebook 的最讚貼文
- 關於事後檢定不顯著 在 [問題] ONE-WAY ANOVA事後比較- 看板Statistics - 批踢踢實業坊 的評價
- 關於事後檢定不顯著 在 事後比較不顯著的話還算是有顯著差異嗎? - 研究所板 的評價
- 關於事後檢定不顯著 在 項目社會吸引力魅力外向性 的評價
- 關於事後檢定不顯著 在 anova顯著事後檢定不顯著的問題包括PTT、Dcard、Mobile01 的評價
- 關於事後檢定不顯著 在 anova顯著事後檢定不顯著的問題包括PTT、Dcard、Mobile01 的評價
- 關於事後檢定不顯著 在 anova顯著事後檢定不顯著的問題包括PTT、Dcard、Mobile01 的評價
事後檢定不顯著 在 30歲前走遍天下 Facebook 的最佳解答
|2021.01.23|
如果滿足以下三個條件中任一個
那這篇分享文很值得讀下去呀:
1.你本人.親戚.朋友剛好有人在南投草屯區域出沒
2.對樂高.動力機械有興趣有接觸過
3.家有孩子對學習沒興趣或覺得學校太容易
這是一個年輕人運用所學返鄉奉獻熱血的故事
故事的主角是我的大學好兄弟給他個代號:尚恩
大家還記得小羊大學其實是讀國小教育的嗎~
好幾年前某天大夥突然意識到該思考以後做什麼
那時就在台北打工當樂高教師的尚恩發下宏願
有天要帶著美嬌娘 還有城裡學到的最新教育知識
回到鄉裡光宗耀祖 造福地方社會 為江東父老長面子
沒想到這小伙子真的兌現承諾
https://www.facebook.com/leworld.edu/
這是所透過 樂高 做教學媒介的教育中心
簡單來說可以是課後輔導班 補習班 才藝班
樂高教學是我自己從小接觸的課程
年幼時期最喜歡的玩具就是樂高
甚至到大學給女朋友的禮物都有用樂高做的><
相信這個玩具大家不陌生 而且都知道它很貴
原因是絕大多數的樂高零件因品質控管
堅持在丹麥生產
單純的拼裝只要跟著盒子裡附的說明書就能完成
對於幼兒的邏輯.空間.抽象概念訓練有顯著效果
在我大約國小三四年級時 士林科教館
剛好有老師開樂高動力機械的課程
我去參加一次就深陷它的魅力
動力機械是指將樂高結合馬達.電力.感光元件等零件
在搭配不同的軟體程式系統後
學生能自己設計 機器人 掃地機 投籃機等裝置
一方面牽涉硬體的組合
另一方面要學習電腦程式的指令
有一個很重要的推薦原因
尚恩和他的美嬌娘兩個人都是專業教育體系出生
一個是合格幼兒教師 一個是合格國小教師
在學識和實務上全都經驗豐富
我們都知道天才不一定教的出天才
因為天才沒有修過教育學程和通過教師檢定~
我在國中沒有繼續玩動力機械的原因
是因為當時機械班老師雖然是清大材料博士
但是實在不知道怎麼教我們這些小鬼頭
對他來說看過就懂的程式 跟我們說十遍也沒能理解
果然術業有專攻
結論是如果您或周遭親朋好友的孩子剛好在草屯
可以讓他們去體驗看看這個樂高教室
希望家裡出個股票暴漲的台積電工程師
那就先送他去學動力機械看看有沒有這方面天賦
比起補英文數學 孩子一定更喜歡手作的操作呢~
#樂高
#動力機械
#LE WORLD 樂園專業教育
事後檢定不顯著 在 說說能源 Talk That Energy Facebook 的最讚貼文
有些朋友轉了Nature子期刊Nature Energy的文章《Differences in carbon emissions reduction between countries pursuing renewable electricity versus nuclear power》(追求再生能源與核能減碳的國家差異) 來問我看法,其結論簡短來說就是再生能源減碳比核能減碳更有效,這幾天小編不事生產,但該念的東西到是沒有少念啦。先思考這樣的研究概念為何可以登上一個優秀期刊呢?
1. 可以登上Nature往往有個重大要件 >> 帶出新的思考
2. 比較減碳工具的優劣 >> 並非所有減碳方法有同樣效用
3. 討論高低GDP國家間的減碳選擇
但以上都不代表研究者可以持續在他的研究結果上做過多的延伸或是意識形態的宣揚。要說我的感想,兩三天前看到該文章的第一個想法就是,阿,又是這些人。
為甚麼我會這樣說呢?因為在學術圈的訓練裡,真的很容易以人廢言(不鼓勵),尤其是當你真的看了很多重複的方法論調、熟悉各個門派之後更會這樣,這篇文章中的作者群,看起來都與每年會發表的《世界(反)核工產業現況報告》重疊,所以我大概看開頭就可以知道結論會如何產生了。
而這篇研究扣掉中間圖表的部分,大概就與那個核工產業現況報告完全一樣XD,推出的時間點還剛好接近。
而報告研究方法為統計迴歸,根據125個國家的能源與碳排等資料進行分析,資料上聚焦於1990-2014年(兩階段)。一個統計迴歸分析光資料範圍就是個很有趣的討論,這段期間幾乎沒有核電廠的製造,法國或芬蘭等核電比例相當高的國家在1990前用核電替代化石燃料的部分完全被忽略...世界銀行公開資料就剛好是這兩年,但很多地方的數據都有完整更新到近日或更早,是刻意選擇或剛好就有點耐人尋味。 而在有核電與沒核電的國家來比較更是忽略了國與國間的差異性,這樣的區分已經充滿偏見了,又他的研究中又因為資料限制僅呈現了頭尾兩點的資料,在說故事上並沒有太大的說服力,以下列出資料疑問:
1. 核電建廠最蓬勃時為1980前
2. 減碳必須存在於低碳能源技術取代化石燃料
3. 研究時間內國家再生能源都以大水力為主,而大水力機組為集中式電廠
4. 將核電國家與再生能源國家做區分卻無考慮國家間差異是很神奇的
5. 時間點破碎,無法看出連續變化或脈絡
6. 引用的碳排數據並非電力排放數據,而是整體排放數據,無法直接看出再生能源或核電貢獻
而他討論與結論的部分我個人是覺得...滿滑坡跟聯想力豐富的... 對於回歸統計來說,你可以看到所謂的趨勢或是結果,但並無法任意的解釋因果,例如你看到核電的使用與印度、俄羅斯碳排趨勢相反,並無法導出核電會排碳這樣的原因,而什麼核電吸走資金或是自由市場的分散與集中電力排擠問題(何況集中式水力發電也很吃資金和國家工程基礎建設阿),從他的研究資料中我真的看不出來... 何況他的回歸統計結果看起來...差到爆炸阿,核能國家中,核能與再生能源發電比例更無顯著關係...他文中提到的研究限制甚至與自己的結論相互矛盾,例如未考量到社經或系統,太神奇惹...
基於上述內容,我仍覺得Nature Energy這種我的夢寐以求期刊會收太詭譎,論文作者四年前就已經犯了相同的錯還被撤刊,不知道今年是否會再發生~ 但資料分析結果倒是可以告訴我們一件事,這也是文中統計檢定唯一清楚的指標,#不同經濟條件的國家對於核能的選擇愛好有所差異,或是 #能源貧窮問題可能浮現,遺憾這些都未在此研究中被提及,這些卻是統計中顯著且清楚的部分。
我個人是認同現階段若要減碳的話(因為有時間上的限制),發展再生能源是個相較於核能更為快速的選項,因為再生能源對於許多電力需求無明顯增加的國家來說確實門檻較低(技術、融資),但一切都不代表我們不需要新核能~ 考慮的面相越多就越不可能有這樣單純答案。
https://www.nature.com/articles/s41560-020-00696-3
事後檢定不顯著 在 事後比較不顯著的話還算是有顯著差異嗎? - 研究所板 的推薦與評價
如標題,求助~本人論文做量化研究,在ANOA分析達顯著差異後用scheff法進行事後比較,但結果卻沒有任何一組達顯著差異,有查過可能因為某些組別樣本數 ... ... <看更多>
事後檢定不顯著 在 項目社會吸引力魅力外向性 的推薦與評價
... 事後成對LSD比較. − 非預測之曲線關係. − F與二次效應不顯著:F(1,129)=2.47, p ... 檢定; 不顯著( adj. R 2 = .01, F (1, 130) =2.33, p =.13 ); 顯示受試者自身朋友數在 ... ... <看更多>
事後檢定不顯著 在 [問題] ONE-WAY ANOVA事後比較- 看板Statistics - 批踢踢實業坊 的推薦與評價
如標題,我使用SPSS這個軟體計算ONE-WAY ANOVA
並勾選POST HOC(多重事後檢定)這個功能
LSD、Tucky、Scheffe、Duncan法都有試過
想請問各位大大
若ANOVA的結果為不顯著(>0.05),但多重事後檢定結果表示某2組之間有顯著
請問這樣的結果有意義嗎??
還是說 要ANOVA分析結果有顯著,再進行事後比較才有意義??
以上
謝謝各位解惑
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.120.102.212
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1433844088.A.A09.html
... <看更多>