前言：
測試學習是個理論簡單，但實作起來會遇到很多疑問的學習過程。曾經跟Sean Ellis 一起工作的曲卉寫的這本書不但實用，而且還訪問了一大票測試專家。
他們對於測試主題的選擇（大題目還是小題目）、AARRR漏斗的重點，還有測試團隊在組織內的發展也都有不同的見解。
我覺得很值得多看看，所以做了筆記跟大家分享。
這次分3 part，先來一串九個人我印象最深的測試心得，再來九個人的訪談摘要，最後是九個人對於組織與人的看法。enjoy~
..........
《硅谷增長黑客實戰筆記》曲卉
#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"不要只做優化，要做有高影響力的事情。不過，得先做優化累積影響力。"
#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"不要把所有數字綁在一起看，用戶分群是有效優化的開始。"
# GloStation / Postmates（送餐）, 陳思齊
"限制供給可以透過奇怪的方式，製造FOMO(害怕錯過fear of missing out) 社交地位(social status)等，讓產品流行"
# Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"低垂果實摘完後，會陷入低潮與瓶頸。全公司（或跨團隊）的創新idea大匯集會讓大家一起幫忙，並且不要浪費對失敗案例的紀錄與策略學習。"
#Cerberus Interactive/Acorns (微型投資）, Sami Khan
"醜陋、原始的廣告更像是朋友在對用戶說話，有更高機率穿透用戶的防衛心"
#Camera360（修圖）, 陳思多
"漏斗的無限解構，原本以為是單純解決留存率問題，結果深究了四層（留存率—>推送更新覆蓋率—>推送更新展示率—>下載權限設定）才達到目的。"
#Square（支付）, 羅揚 James Luo
"增長與嚕羊毛黨的鬥智鬥勇，對獎勵的設計要有吸引力，又要養成使用習慣，還要善用推薦者的資訊讓新用戶感受到個性化的感覺。"
#探探（校園招聘）/ 美圖（修圖）, 韓知白
"要做增長先要備好基礎設施（行為數據後台，A/B測試框架），才能夠更快速迭代與勤能補拙。"
#專訪 Keep（運動）/豆瓣（社群）, 張弦
"有些問題除了用數據作判斷外，直接問用戶可以達到更直接的效用，而且幫助增長團隊打開視野。"
---九篇專訪的摘要全文---
#9-1 Greylock Partner / Pinterest(圖片秀）, Casey Winters
-北極星指標是會變動的
-產品（也就是核心地帶）通常是增長的投資報酬率最高的測試，但很難直接說服公司其他成員直接拿產品動刀。
-增長團隊一開始成立時候，選擇三不管地帶，以證明自己；之後才進展到核心地帶
-核心地帶的創造新價值、改善原有價值，通常是產品團隊負責。傳遞已有價值給更多人則是增長團隊負責。
-增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響
-做測試時候，如何在容易衡量但效果慢跟全新設計但不知哪個因素產生作用之間做取捨？優化測驗要一個個做，改變方向測驗則直接直搗黃龍。而改變方向的測試才能反應高影響力。
-當低垂果實摘完後，要做高影響力需要高資源的測試需求，而不是低資源但也只需要低影響力的需求
#9-2 Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
-對行動應用來說，留存是所有指標中最重要的，因為客人離開沒有成本，但留存會對你有無限好處。留存指標包含以日、週、月計算。
-增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。
-以每週的循環討論測試設計、結果與去留。
-SC的做法不是所有用戶綁在一起看留存率，是用戶分群後看留存率，包含新用戶、流失後重新造訪用戶、重複使用用戶。
-當移動應用要藉由更版推送提升客戶體驗的時候，如何達到最好的整體效果？衡量指標是RRF 覆蓋率(reach), 相關性(Relevance), 頻率(Frequency) 三個都達到高水準則影響力最大。但覆蓋率是這當中最重要的
#9-3 GloStation / Postmates（送餐）, 陳思齊
-我的前一間公司(Stolen)，每個增長流程與工具都做得很好，但就是產品不夠好。當我到Postmaster之後發現他們什麼成長技巧都沒有，但產品很符合市場需求。
-增長最令人喜歡的是，能量化你的影響力，當你實驗做得好，結合了創造力與分析能力得出很好的想法，就像寫程式一樣，你做了某件事就有某個結果。這是令人上癮的。
-增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。
-K因子（referral 用戶轉介人數）持續大於1是不可能的，尤其當你的產品越做越大，群體越來越多。即使是社交軟體，要讓k因子大於1 也需要一些違反自然規律的設計。
-稀缺性可以透過奇怪的方式，讓產品更加流行。從Stolen 得到的認知是，限制供給，造成稀缺性。心理因素是害怕錯過(FOMO) 社交地位（social status）等
-即使在矽谷，增長團隊也不多見。Google就沒有。但是FB就有一大批增長團隊並且擴散到其他地方。增長就是技術驅動，易於衡量的行銷。增長團隊更像升級版的行銷團隊，有了程序員的支持可以把推薦系統做得更精準，未來增長團隊會和市場團隊在一起而不是產品。
-用少於10%的流量，可以做任何測試。
#9-4 Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
-數學不會就是不會，增長沒效就是沒效。增長可以很快做出改變，並且追蹤哪些改變有效哪些無效。
-增長的低垂果實摘完後，會陷入疲乏，就需要大量idea。創新idea 兩種重要想法：每週五的全公司頭腦風暴 & 忠實紀錄失敗的測試並從中學到策略想法。
-增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大象（重大影響力但耗資源）跟螞蟻（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情
-新產品開始獲取客人的三種方法：(1) 付費搜索廣告，可以找到真的需要產品並且非常有興趣的人 (2) 抄競爭對手的做法，可以找到他們已經開發過的市場(3) 根據產品特殊屬性的增長手法
#9-5 Cerberus Interactive/Acorns (微型投資與機器人投資）, Sami Khan
-靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。
-檢視總預算，跨通路預算調整（放大表現好的），通路內預算調整（用七天平均放大表現好的）
-2C新產品上線的建議是先在FB做小量A/B測試，找出好的再往其他通路擴散。測試前要設好追蹤，沒有追蹤，測試學習的迴路就不會成立。
-比起其他app，遊戲是最不需要擔心用戶獲取的，因為人們下載無成本；比較需要擔心的反而是用戶留存。因此要一小批一小批的獲取用戶後，關閉其他溝通通路，只針對這小群人做各種產品測試與改進，確定30 日留存率到達可用水準後才能繼續獲取用戶。
-臉書上，越醜的廣告表現越好。因為大家對電視已經疲乏，精美的廣告創意讓人想到電視會自動跳過，但粗糙的原始的則像是你朋友分享的。
#9-6 Camera360(Photo Editor), 陳思多
-漏斗的無限解構，以解決留存為例。原本想藉由app更新處理留存率低的問題，但發現更新覆蓋率不夠高，後來又發現問題是更新的展示率（被看到）低，而展示率低的原因又是app一開始下載時候的預設權限。所以回頭更改預設權限設定，在更改後次日留存率實現5%增長。（但如何在用戶已下載後調整權限啊）
-各地區的差異化溝通，以美國市場為例，經過逐一測試不同族群發現40+婦女喜歡此產品，於是將廣告視覺改為該族群會喜歡的可愛孩子展示功能，降低33%的獲客成本
-增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。
-增長團隊需要的數據分析師，是對產品有深切了解的數據分析人，而不是純粹解讀數字。
#9-7Square(支付服務）, 羅揚 James Luo
-留存主要是產品決定的，但在早期留存（D14-D90)增長可以起到很大作用，只要透過各種管道（信件、推送、Retargeting 廣告）重新提醒用戶，就會對早期留存產生明顯效用。
-要做全產品用戶推薦的指標的先決條件，是內部有堅實的大數據團隊，足以做獲客通路歸因。
-通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。
-好的推薦系統會牽涉到三大項目，獎勵、曝光、轉化。其中獎勵的設計是與嚕羊毛黨鬥智鬥勇的活動。獎勵內容要考慮『有吸引力的額度、合適的條件限制、養成使用習慣的限制，累進式獎勵、考慮對稱式獎勵（利己又利人）』
-即使是最忠誠的用戶，也不會時刻記得你的獎勵項目。
-新用戶進來後，可以用推薦人的資訊提醒他們使用獎勵，不僅給新用戶個性化的感覺，也提醒新用戶『我確實獲得了某人的推薦』
#9-8 探探（校園招聘）/ 美圖(Photo Editor), 韓知白
-美圖的用戶留存指標設在N張照片保存，一開始是基於通路管理的需要，因為有些通路留存數據會有回饋延遲以及作假的問題。
-探探的市場部與增長部的區別在，市場部負責花錢，增長部不負責花錢。
-增長不是先做ＫＰＩ管理，而是要有好的基礎設施（行為數據後台，A/B測試框架）才能開始觀測指標與迭代增長。
-快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。
-增長要避免的第一個坑就是局部優化，這裡改一點截圖，那裡改一點文案。其實也許改產品名字與圖標是最有效提升app商店轉化率的途徑。增長經理要能夠跳脫盒子思考（out of box thinking)
-剛開始做測試的人，要忘記喬布斯張小龍等產品的大神，他們是靠直覺也很少看數據：正常人要靠數據與即時反饋，勤能補拙。
#9-9 Keep(運動）/豆瓣(社群), 張弦
-全景漏斗，關心橫向的產品功能交互關係。當一個產品不只是工具，還有社交，內容等多種功能。可以根據不同功能設計指標，再看看功能
之間的交互拉提作用，決定整個產品後續的發展。而不是只看單一指標。
-量化與質化的兩腳思維，曾經做測試時候只看指標，以為是Ａ與Ｂ的相關性，但從未想過中間還有個Ｃ。學到後就會在產品中安插小問卷直接問用戶，但要把握3個題目之內的精簡原則，不可以打擾用戶。
-加法與乘法，做增長後了解了加法與乘法的關係。增加一條溝通管道是加法，優化轉化率是乘法。一般來說，乘法的好處更大一些，但這也是基於加法已經帶來足夠的初始流量，否則盤子太小的乘法也沒啥意義。
-做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。
---以下是關於團隊的摘要---
#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響"
#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。以每週迭代的循環討論測試設計、結果與去留。"
# GloStation / Postmates（送餐）, 陳思齊
"增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。"
#Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大事（重大影響力但耗資源）跟小事（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情"
#Cerberus Interactive/Acorns (微型投資與機器人投資） , Sami Khan
"靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。"
# Camera360（修圖）, 陳思多
“增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。”
#Square（支付）, 羅揚 James Luo
“通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。”
# 探探（校園招聘）/ 美圖（修圖）, 韓知白
“快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。”
# Keep（運動）/豆瓣（社群）, 張弦
“做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。”
excel frequency問題 在 Re: [算表] Excel 的frequency 函數問題- 看板Office - 批踢踢實業坊 的推薦與評價
正確的結果是
Freq 意義 ↓這裡就是bin
0 x <= -30
3 -30 < x <= 0
3 0 < x <= 30
1 30 < x <= 60
3 60 < x <= 90
0 90 < x
若真有0 6 1 3的情況請附檔或寫實際公式~
Frequency的確會讓人鬼打牆
如果覺得打的還不過癮的話 (誤)
可以參考這篇
#17M7X60I 4060 12/07 JieJuen □ [算表] EXCEL函數:FREQUENCY演算法
※ 引述《weian (林帛亨加油！！！)》之銘言：
: 軟體: Excel 2007
: 最近用 excel 用到鬼打牆
: 改半天搞不定
: 簡單講我們要做的事就是讓 excel 把隨機函數代到模型裡
: 跑個一千次然後統計結果
: 可是在 frequency 這個公式這裡卡住了
: 例如說我跑出這串結果
: ANS
: -3 想統計出這樣的東西
: 1 BIN Freq
: 14 -30 3 我沒搞錯的話這格代表-30~-1之間的數字個數
: 88 0 3 0~29
: 49 30 1 30~59
: -2 60 3 60~90
: -7 90
: 9
: 62
: 67
: 我的公式(暗紅色那四格)打 =frequency(那十個數字,那五個區間)
: 然後選起來按 F2+ctrl+shift+enter 就搞定
: 可是 -30~-1 那一格一直都是 0
: 然後負數都被歸類到 0~29 那一項了
: 變成我看到的統計是 0 6 1 3 這樣
: 而不是正確的 3 3 1 3
: 這個問題很怪
: 我把-30 改成 -10 就可以正常跑出我要的數字 3 3 1 3 (負數不會超過-10)
: 可是把他換成 -20 或著 -30 就會出問題消失掉
: 請問這是什麼問題？
: 我已經跟這個問題鬼打牆很久了
: 謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 218.164.51.13
會傳回以上區間的任何數值。
這啥?
例如，若要計算三個範圍的值 (區間) 時，請輸入三個儲存格，並確定對於結果會將
FREQUENCY 輸入第四個儲存格。其他儲存格會傳回在 data_array 的數值，該數值大於
第三區間的值。
要靠這樣的敘述了解Frequency確實有難度 XD
翻譯(兼修正?)(大概如此，沒辦法，實在很難看懂)：
Frequency傳回來的陣列，個數會比bins_array多一個。
若bins_array有三個，請確認公式是四格的陣列公式。
如果data_array中的數大於bins_array中所有的數，會歸到最後一組。
其中第三句說明檔寫的是
如果data_array中的數大於bins_array中"第三個數"，會歸到最後一組。
這是因為預設使用者照順序寫bins_array，然而實際上是與所有數比大小。
哈 後來看原文，應該是沒翻錯了。
原文
The number of elements in the returned array is one more than the number of
elements in bins_array. The extra element in the returned array returns the
count of any values above the highest interval. For example, when counting
three ranges of values (intervals) that are entered into three cells, be sure
to enter FREQUENCY into four cells for the results. The extra cell returns
the number of values in data_array that are greater than the third interval
value.
https://office.microsoft.com/zh-tw/excel/HP100625031028.aspx 中
https://office.microsoft.com/en-us/excel/HP052090971033.aspx 英
※ 編輯: JieJuen 來自: 218.164.51.13 (11/21 05:08)
... <看更多>