前言：
測試學習是個理論簡單，但實作起來會遇到很多疑問的學習過程。曾經跟Sean Ellis 一起工作的曲卉寫的這本書不但實用，而且還訪問了一大票測試專家。
他們對於測試主題的選擇（大題目還是小題目）、AARRR漏斗的重點，還有測試團隊在組織內的發展也都有不同的見解。
我覺得很值得多看看，所以做了筆記跟大家分享。
這次分3 part，先來一串九個人我印象最深的測試心得，再來九個人的訪談摘要，最後是九個人對於組織與人的看法。enjoy~
..........
《硅谷增長黑客實戰筆記》曲卉
#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"不要只做優化，要做有高影響力的事情。不過，得先做優化累積影響力。"
#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"不要把所有數字綁在一起看，用戶分群是有效優化的開始。"
# GloStation / Postmates（送餐）, 陳思齊
"限制供給可以透過奇怪的方式，製造FOMO(害怕錯過fear of missing out) 社交地位(social status)等，讓產品流行"
# Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"低垂果實摘完後，會陷入低潮與瓶頸。全公司（或跨團隊）的創新idea大匯集會讓大家一起幫忙，並且不要浪費對失敗案例的紀錄與策略學習。"
#Cerberus Interactive/Acorns (微型投資）, Sami Khan
"醜陋、原始的廣告更像是朋友在對用戶說話，有更高機率穿透用戶的防衛心"
#Camera360（修圖）, 陳思多
"漏斗的無限解構，原本以為是單純解決留存率問題，結果深究了四層（留存率—>推送更新覆蓋率—>推送更新展示率—>下載權限設定）才達到目的。"
#Square（支付）, 羅揚 James Luo
"增長與嚕羊毛黨的鬥智鬥勇，對獎勵的設計要有吸引力，又要養成使用習慣，還要善用推薦者的資訊讓新用戶感受到個性化的感覺。"
#探探（校園招聘）/ 美圖（修圖）, 韓知白
"要做增長先要備好基礎設施（行為數據後台，A/B測試框架），才能夠更快速迭代與勤能補拙。"
#專訪 Keep（運動）/豆瓣（社群）, 張弦
"有些問題除了用數據作判斷外，直接問用戶可以達到更直接的效用，而且幫助增長團隊打開視野。"
---九篇專訪的摘要全文---
#9-1 Greylock Partner / Pinterest(圖片秀）, Casey Winters
-北極星指標是會變動的
-產品（也就是核心地帶）通常是增長的投資報酬率最高的測試，但很難直接說服公司其他成員直接拿產品動刀。
-增長團隊一開始成立時候，選擇三不管地帶，以證明自己；之後才進展到核心地帶
-核心地帶的創造新價值、改善原有價值，通常是產品團隊負責。傳遞已有價值給更多人則是增長團隊負責。
-增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響
-做測試時候，如何在容易衡量但效果慢跟全新設計但不知哪個因素產生作用之間做取捨？優化測驗要一個個做，改變方向測驗則直接直搗黃龍。而改變方向的測試才能反應高影響力。
-當低垂果實摘完後，要做高影響力需要高資源的測試需求，而不是低資源但也只需要低影響力的需求
#9-2 Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
-對行動應用來說，留存是所有指標中最重要的，因為客人離開沒有成本，但留存會對你有無限好處。留存指標包含以日、週、月計算。
-增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。
-以每週的循環討論測試設計、結果與去留。
-SC的做法不是所有用戶綁在一起看留存率，是用戶分群後看留存率，包含新用戶、流失後重新造訪用戶、重複使用用戶。
-當移動應用要藉由更版推送提升客戶體驗的時候，如何達到最好的整體效果？衡量指標是RRF 覆蓋率(reach), 相關性(Relevance), 頻率(Frequency) 三個都達到高水準則影響力最大。但覆蓋率是這當中最重要的
#9-3 GloStation / Postmates（送餐）, 陳思齊
-我的前一間公司(Stolen)，每個增長流程與工具都做得很好，但就是產品不夠好。當我到Postmaster之後發現他們什麼成長技巧都沒有，但產品很符合市場需求。
-增長最令人喜歡的是，能量化你的影響力，當你實驗做得好，結合了創造力與分析能力得出很好的想法，就像寫程式一樣，你做了某件事就有某個結果。這是令人上癮的。
-增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。
-K因子（referral 用戶轉介人數）持續大於1是不可能的，尤其當你的產品越做越大，群體越來越多。即使是社交軟體，要讓k因子大於1 也需要一些違反自然規律的設計。
-稀缺性可以透過奇怪的方式，讓產品更加流行。從Stolen 得到的認知是，限制供給，造成稀缺性。心理因素是害怕錯過(FOMO) 社交地位（social status）等
-即使在矽谷，增長團隊也不多見。Google就沒有。但是FB就有一大批增長團隊並且擴散到其他地方。增長就是技術驅動，易於衡量的行銷。增長團隊更像升級版的行銷團隊，有了程序員的支持可以把推薦系統做得更精準，未來增長團隊會和市場團隊在一起而不是產品。
-用少於10%的流量，可以做任何測試。
#9-4 Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
-數學不會就是不會，增長沒效就是沒效。增長可以很快做出改變，並且追蹤哪些改變有效哪些無效。
-增長的低垂果實摘完後，會陷入疲乏，就需要大量idea。創新idea 兩種重要想法：每週五的全公司頭腦風暴 & 忠實紀錄失敗的測試並從中學到策略想法。
-增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大象（重大影響力但耗資源）跟螞蟻（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情
-新產品開始獲取客人的三種方法：(1) 付費搜索廣告，可以找到真的需要產品並且非常有興趣的人 (2) 抄競爭對手的做法，可以找到他們已經開發過的市場(3) 根據產品特殊屬性的增長手法
#9-5 Cerberus Interactive/Acorns (微型投資與機器人投資）, Sami Khan
-靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。
-檢視總預算，跨通路預算調整（放大表現好的），通路內預算調整（用七天平均放大表現好的）
-2C新產品上線的建議是先在FB做小量A/B測試，找出好的再往其他通路擴散。測試前要設好追蹤，沒有追蹤，測試學習的迴路就不會成立。
-比起其他app，遊戲是最不需要擔心用戶獲取的，因為人們下載無成本；比較需要擔心的反而是用戶留存。因此要一小批一小批的獲取用戶後，關閉其他溝通通路，只針對這小群人做各種產品測試與改進，確定30 日留存率到達可用水準後才能繼續獲取用戶。
-臉書上，越醜的廣告表現越好。因為大家對電視已經疲乏，精美的廣告創意讓人想到電視會自動跳過，但粗糙的原始的則像是你朋友分享的。
#9-6 Camera360(Photo Editor), 陳思多
-漏斗的無限解構，以解決留存為例。原本想藉由app更新處理留存率低的問題，但發現更新覆蓋率不夠高，後來又發現問題是更新的展示率（被看到）低，而展示率低的原因又是app一開始下載時候的預設權限。所以回頭更改預設權限設定，在更改後次日留存率實現5%增長。（但如何在用戶已下載後調整權限啊）
-各地區的差異化溝通，以美國市場為例，經過逐一測試不同族群發現40+婦女喜歡此產品，於是將廣告視覺改為該族群會喜歡的可愛孩子展示功能，降低33%的獲客成本
-增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。
-增長團隊需要的數據分析師，是對產品有深切了解的數據分析人，而不是純粹解讀數字。
#9-7Square(支付服務）, 羅揚 James Luo
-留存主要是產品決定的，但在早期留存（D14-D90)增長可以起到很大作用，只要透過各種管道（信件、推送、Retargeting 廣告）重新提醒用戶，就會對早期留存產生明顯效用。
-要做全產品用戶推薦的指標的先決條件，是內部有堅實的大數據團隊，足以做獲客通路歸因。
-通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。
-好的推薦系統會牽涉到三大項目，獎勵、曝光、轉化。其中獎勵的設計是與嚕羊毛黨鬥智鬥勇的活動。獎勵內容要考慮『有吸引力的額度、合適的條件限制、養成使用習慣的限制，累進式獎勵、考慮對稱式獎勵（利己又利人）』
-即使是最忠誠的用戶，也不會時刻記得你的獎勵項目。
-新用戶進來後，可以用推薦人的資訊提醒他們使用獎勵，不僅給新用戶個性化的感覺，也提醒新用戶『我確實獲得了某人的推薦』
#9-8 探探（校園招聘）/ 美圖(Photo Editor), 韓知白
-美圖的用戶留存指標設在N張照片保存，一開始是基於通路管理的需要，因為有些通路留存數據會有回饋延遲以及作假的問題。
-探探的市場部與增長部的區別在，市場部負責花錢，增長部不負責花錢。
-增長不是先做ＫＰＩ管理，而是要有好的基礎設施（行為數據後台，A/B測試框架）才能開始觀測指標與迭代增長。
-快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。
-增長要避免的第一個坑就是局部優化，這裡改一點截圖，那裡改一點文案。其實也許改產品名字與圖標是最有效提升app商店轉化率的途徑。增長經理要能夠跳脫盒子思考（out of box thinking)
-剛開始做測試的人，要忘記喬布斯張小龍等產品的大神，他們是靠直覺也很少看數據：正常人要靠數據與即時反饋，勤能補拙。
#9-9 Keep(運動）/豆瓣(社群), 張弦
-全景漏斗，關心橫向的產品功能交互關係。當一個產品不只是工具，還有社交，內容等多種功能。可以根據不同功能設計指標，再看看功能
之間的交互拉提作用，決定整個產品後續的發展。而不是只看單一指標。
-量化與質化的兩腳思維，曾經做測試時候只看指標，以為是Ａ與Ｂ的相關性，但從未想過中間還有個Ｃ。學到後就會在產品中安插小問卷直接問用戶，但要把握3個題目之內的精簡原則，不可以打擾用戶。
-加法與乘法，做增長後了解了加法與乘法的關係。增加一條溝通管道是加法，優化轉化率是乘法。一般來說，乘法的好處更大一些，但這也是基於加法已經帶來足夠的初始流量，否則盤子太小的乘法也沒啥意義。
-做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。
---以下是關於團隊的摘要---
#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響"
#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。以每週迭代的循環討論測試設計、結果與去留。"
# GloStation / Postmates（送餐）, 陳思齊
"增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。"
#Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大事（重大影響力但耗資源）跟小事（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情"
#Cerberus Interactive/Acorns (微型投資與機器人投資） , Sami Khan
"靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。"
# Camera360（修圖）, 陳思多
“增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。”
#Square（支付）, 羅揚 James Luo
“通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。”
# 探探（校園招聘）/ 美圖（修圖）, 韓知白
“快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。”
# Keep（運動）/豆瓣（社群）, 張弦
“做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。”
excel直轉橫 在 [目錄] Excel FAQ: 用OFFSET 轉置.分行(欄).行轉列. - 看板Office 的推薦與評價
轉置可說是超級FAQ呀，而且各種要求的型式實在太過豐富
雖然"同理可得"，但還是怕第一次用的人霧裡看花啊
再加上這樣的問題很難下標題，也不知如何爬文
已經值得寫一篇"目錄"了 XD
1. 最基本的轉置:
A1 A1 B1 A1 A2 A3
A2 ←→ A1 A2 A3 A2 B2 ←→ B1 B2 B3
A3 A3 B3
法一:複製後使用"選擇性貼上"(右鍵)/轉置
法二:公式
=OFFSET($A$1,COLUMN(A:A)-1,ROW(1:1)-1)
法三法四法五法...(略):TRANSPOSE.INDEX.INDIRECT.
#17HrwsuY 3912 411/24 JieJuen □ [算表] EXCEL:連結文字-多格 名稱快速鍵
#179QED4n 3634 10/29 JieJuen R: [問題] excel 儲存格直式轉成橫式
(後來發現...這是我在本版的第一篇文章,就是探討這個問題...果真是超級FAQ..)
#19SncH-X 8349 1 1/18 yazad □ [算表] EXCEL 數值計算,轉置,OFFSET
2. n個一列
A C D E F G H I J
-------------------------------------------------------
A1 A1 A2 A3 A4 A5 A6 A7 A8
A2 A9 A10 A11 A12 A13 A14 A15 A16
A3 A17..............
=OFFSET($A$1,8*(ROW(1:1)-1)+(COLUMN(A:A)-1),)
#14hFpz-t 156 3 7/06 yggdrasils □ [算表] EXCE行轉列的問題
#17GX8JVz 3872 211/20 JieJuen R: [算表] 將數字分行
#17AV_DVx 3675 m 411/02 JieJuen □ [算表] Excel較少被提及的函數與小技巧
#179LxLi_ 3633 10/29 JieJuen R: [算表] Excel橫軸、縱軸轉換問題
反方向轉換
#18kUksd_ 6803 8/31 jojoba26 □ [算表] 請問如何將一矩陣中的數字改為一列?
#19ms3w5H 8938 2 3/20 SunFsClony □ [算表] EXCEL橫轉直--n個一列→一欄,轉置
(此文中有進一步說明)
#1A4t_PYW 9677 1 5/20 sqnan □ [算表] 如何把兩欄資料交錯併成一欄
3. n個一欄
A B C D
--------------------------------------
A1 A1 A61 A121
A2 A2 A62 A122
A3 A3 A63 A123
... ............
A60 A60 A120 A180
A61
...
=OFFSET($A$1,60*(COLUMN(A:A)-1)+ROW(1:1)-1,)
#17zd4Nd_ 5272 4/05 JieJuen R: [問題] 如何每60個資料貼成新的一欄?
#17IPksbe 3929 11/25 JieJuen R: [算表] Excel 將數字分行(複雜版)
#18CPPtCB 5806 5/19 JieJuen R: [問題] 把EXCEL的資料往左方和上方移動
反方向轉換
#17ApXUrR 3684 211/02 JieJuen R: [問題] excel欄位複製技巧
4. 特殊
#17Gzd7Yd 3894 311/21 JieJuen □ [算表] Excel 將數字分行(複雜版)
(有分解步驟說明)
#17QvpPeG 4231 12/21 JieJuen □ [算表] EXCEL:轉置.OFFSET.
#17c99kCl 4597 1/24 JieJuen R: [問題] excel大量資料換行排序...
#17lnsiKr 4822 1 2/23 JieJuen R: [問題] 由網頁複製表格至excel的問題
#17ZtnOkT 4514 1 1/18 JieJuen R: [請問] 關於excel的儲存格
#17ZROdMM 4502 1/16 JieJuen R: [問題] EXCEL格式問題
#17uanOZN 5084 3/20 JieJuen R: [算表] excel空一格不填滿(座位表)
#17JKPsDJ 3953 511/28 JieJuen R: 如何倒置一列資料?
#17DTGT-0 3785 211/10 JieJuen R: [問題] EXCEL列印問題
#18ATHugM 5736 5/14 JieJuen R: [算表] 請問如何用EXCEL進行S型編班
#18AVQIXw 5737 5/14 JieJuen R: [算表] 參照某陣列～只列出前三名
#18L-wxvp 6138 1 6/18 bathtub □ [問題] excel自動選擇行數
#18kqSdaW 6810 2 9/01 fgj □ [算表] 請問如何自動寫 =A1,A4,A7...
#1AkCcaqk 10867 4 9/22 rakahasa □ [算表] 直行資料轉入橫行格式,INDEX
(跳列取資料)
#18c24dvE 6564 8/05 ksk0516 □ [問題] 請教一個關於Excel重複資料的問題
#18i-ouEG 6752 1 8/26 kokomo1 □ [算表]如何將兩列的值移至另一欄的儲存格
#18kG7YCX 6799 8/30 JieJuen R: [問題] excel有類似查表的功能嗎?
#18l99OO_ 6823 3 9/02 ljuber □ [算表] Excel資料計算問題
(動態範圍)
#18lI97QP 6832 9/02 JieJuen R: [算表] 請問一下課表作法
#18NDZDwj 6184 1 6/21 JieJuen R: [問題] excel 製作課表??
#18tAyo90 7070 9/26 JieJuen R: [算表] excel排列資料 --VLOOKUP,OFFSET
#19S2toyW 8324 1/16 JieJuen R: [算表] excel 兩格一起動？--OFFSET排列
#19Skh2T7 8347 1/18 JieJuen R: [算表] 詢、抓取網頁資料,OFFSET,VBA,End
#198oLiPb 7703 11/19 JieJuen R: [算表] 多數欄位如何改成同一欄?--轉置,
#19jSPDv4 8814 3/10 JieJuen R: [算表] 有關整理資料並重新排列的問題
#19mXg4IQ 8924 2 3/19 JieJuen R: [算表] excel資料分類--排列,轉置,OFFSET
#19odlTD2 9036 3/26 JieJuen □ [算表] 玩轉陣列--特殊轉置
(多欄改至同一欄,原資料每欄(列)個數不定)
#19mwCV9O 8941 3 3/20 windknife18 R: [算表] EXCEL 大量插入欄位問題?--OFFSET
#1AlP8bOB 10898 2 9/26 andreli □ [算表] 對角線遞增,欄列同時遞增,a1,b2,c3
===========================================================================
說明:
利用OFFSET傳回根據所指定的儲存格位址、列距及欄距而算出的參照位址。
就是從一個點出發，看往右、往下走多少格，走到之後傳回它的值。
用到的語法:
OFFSET(出發點,往下走幾格,往右走幾格)
例: OFFSET(A1,2,3) 等於 D3 這一格的值
現在的問題在於到底要往右(下)走幾格?
若能做到:寫下這條公式之後，往右往下拉可以指定到不同的位置
例: OFFSET(A1,2,3) 往右拉後要變成
OFFSET(A1,3,3) 指定的位置往下一格
就可以隨我們意，重新分配資料的位置。
拖曳公式時，相對參照會隨之改變
例: =A1 往右拉會變成 =B1
但我們希望變化的是一個數字，以便放到OFFSET裡變化指定的位置
利用ROW與COLUMN可以將參照的變化轉換為數字的變化
ROW傳回參照的列號 COLUMN傳回參照的欄號
例: ROW(A3)=3 例: COLUMN(B1)=2
現在有了可變化的數字，缺點是:該格被刪掉(移動)時會錯誤
例: 將A3刪除(如:下方儲存格上移)時 ROW(A3) 會變成 ROW(#REF!)
ROW(A4) 會變成 ROW(A3)
改進方法:參照整列
例: ROW(3:3)
如此將整列刪除(移動)時才會錯誤
這可變化的數字，讓它從0開始遞增，
就像是從起點開始走，比較好想。
所以上文會有 (ROW(1:1)-1) 和 (COLUMN(A:A)-1) 這樣的式子
較能讓人看清這個基本元素 要乘(除)多少
若仍可能刪除整列，則使用兩個ROW相減(或兩個COLUMN)
例: ROW()-ROW($B$1) 其中B1為公式起始處(從B1開始往右往下拖曳公式)
或是參照到另一工作表的儲存格
例: ROW(Sheet2!3:3)
複雜一點的變化，可能會用到MOD函數，取餘數之意。
有小數的時候，OFFSET只認整數，即自動取INT之意。
例: OFFSET(A8,1/3,) 為 A8
OFFSET(A8,-1/3,) 為 A7
函數的參數不寫(有個逗點但沒有數字)表示0
接下來，就是抓出要求型式的規則，
把以上元素放到OFFSET中，
大功告成！(我知道這有點太過於輕描淡寫 XD)
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 218.164.48.8
※(08/31 10:08)(09/01 14:01)(09/02 19:49)(09/26 18:11)(11/19 04:32)(01/16 14:57)
※(03/26 05:24)(05/20 16:21)(09/23 21:47)
※ 編輯: JieJuen 來自: 114.47.35.29 (09/26 14:04)
... <看更多>