[🔥行銷用讀的 - 從產品路徑圖思考行銷🔥]
產品路徑圖是一個用來按照資源限制對產品需求進行開發或是設計解決辦法的一個路徑圖,而這個路徑圖的本質是希望產品也能夠解決『商業問題』,而這套邏輯其實也可以套用到『行銷上』,簡單劃分可以將概念分解如下:
1. Business Goal (商業目標) - 你的商業目標為何?
這裡的商業目標不是指你的營收(哪個運作的組織不需要營收),指的是你的產品想要達成的目標,而為了達成,你會有一個具體的任務,例如:『想要成為學生課程完成率最高的線上課程平台』,這樣的目標會不斷變動,他也可能很單一,但基本上不會脫離以下特性:
- 願景與長遠發展
- 成功的領先指標 :這個指標足以對你的營收產生一定極高程度的影響。
- 可被執行:你所訂下的目標是可以被執行的、操作的。
- 可被衡量:你所訂下的目標是可以被衡量的。
- 容易理解:你所訂下的目標是可以被不同領域的夥伴所理解的。
- 虛榮指標:你所訂下的指標不該是『不會失敗』的指標。
當然上面只是一些在設計Business goal 時你會需要留意的特性,當然具體在描述時建議可以參考『SMART GOALS』的概念來進行或是使用北極星(North Star Metrics) 來討論。
2. Visions 願景:
願景你可以當成長遠的目標、同時也是你打算為提供的service(這這個服務的定義還是要與前面的目標掛鉤),但這個願景的存在是為了達成你的商業目標,例如:你想要成為一個頂尖運動員,你可能會需要提高你對於該項運動的基本認識、完成某幾項基本數值的檢測,如果以產品或以行銷來說,可能就會變成『提高特定族群的回購率』、或是減少『消費者的轉換時間』等等,請掌握一個核心,你所指定下的願景是為了達成你的商業目標,而在訂下願景前,建議你可以試著思考以下的問題:
- 我要達成的商業目標,我需要解決哪些問題?
- 我要解決這些問題,會反映在哪些指標?
- 我要提高這些指標,我需要完成哪些任務?
- 要達成這些任務,我需要耗費多少資源?
當你都釐清了這些,下一步,你可以來思考你該怎麼排序你的任務了。
3.RoadMap :
由於篇幅有限,關於設計Road Map 的原理我們不會說得太細,但請記得一件事,你的每一項任務不一定必須是『改善整個消費者的流程中會遇到的所有指標』,他可能只是解決某一部份的或是階段的指標,你在排序時可以思考你現在解決哪個消費者階段的問題比較有幫助,例如:旅客消費會走過以下階段:
1. 搜尋
2. 查看商品細節
3. 加入購物車
4. 填寫訂單資訊
5. 結帳
你可以思考你願景中提出的方案是要解決哪一個階段的問題,而解決該階段的問題時,他是否可以將成效最大化,但是不會致使你耗費過多的資源或是造成其他的負面影響,至於觀測的方法這邊我們先不提出,選擇其他篇幅再做說明。
最後案找所有可能的『風險』思考可以執行的方案,按照『business impact for Business goal』進行排序,設計出屬於你的路線圖。
而這個風險有相當的多的層面,從法律、財務、到品牌等等都有,這裡我們列舉幾個產品中常提到的,但延伸出去其實與行銷也關聯的部分:
1. 易用性風險:你的消費者是否理解如何使用你的服務與產品
2. 價值風險:你的產品與服務是否對於消費者有價值
3. 商業上可行的風險:你是否有確立了你的對象、以及在損益上可行、明確的product market fit
4. 可被打造的風險:你所制定的方案是否是真的可以被確立與實踐。
最後建議大家可以參考一下海外產品大師的blog ,你可以收集到更多有趣的答案。
product metrics 在 貓的成長美股異想世界 Facebook 的最佳解答
🌻本周做的閱讀與功課:
https://makingsenseofusastocks.blogspot.com/2021/08/blog-post_26.html
這周的功課有些落後. 之後可能會補東西進去. 不過重點就是這兩天的Jackson Hole 會議, 以及下周的非農.
🌻近期整理好的一些財報電話會議內容, 我會陸續放到部落格那邊. 請有興趣的讀者自行去找找. 如果還沒放上, 那就是還在進行中.
🌻Snowflake (SNOW) earnings analysis by Morgan Stanley
這家的熱度很高, 不過我沒有在follow. 下面是Morgan Stanley對於SNOW這次的財報, 所給予的評價. 供有興趣的讀者參考.
Snowflake Delivers a Solid Raise to Go Along With the Beat, as Visibility into Customer Expansion Improves. Another quarter of triple-digit product revenue growth (103% vs. 110% in 1Q22), came in 6% ahead of consensus, enabled by a set of underlying business metrics that remain best-in-class in enterprise software, including: 1) 169% net-revenue retention, which improved from 168% in Q1, 2) 60% YoY growth in total customers and 3) 107% YoY growth in customers spending in excess of $1 million in product revenue. More importantly, for the first time as a public company, management raised guidance in excess of the quarterly beat and ahead of consensus with the high end 3Q/FY22 product revenue guidance coming 5%/3% ahead of consensus. This reflects management's greater visibility into the consumption patterns of large customers – a fact underscored by CFO Mike Scarpelli reiterating expectations for 160%+ net revenue retention for the balance of the year. Furthermore, the company appears to be advancing its position beyond a cloud data warehouse, as evidenced by early traction in new areas including SnowPark (modern data pipelines), security analytics, machine learning and data exchange. The one area of controversy coming out of Q2 results was the sharp deceleration in RPO, which slowed to 122% YoY from 206% the prior quarter. However, we note that RPO growth was negatively impacted by the lapping of longer contract durations and a tough compare from the ~$100 million, 3-year deal with a large customer in the year ago period. Management noted that growth in new annualized contract value accelerated versus 2Q21. Overall, we are encouraged by Snowflake's meaningful beat and raise, and take our PT to $295. However, with shares trading 54x revenue (0.67x rev growth-adjusted), we look for a pull back to generate a better risk/reward profile.
🌻美國很有名的一位"farm-influencer", 鄉村部落客, 專門描述農村&田園的部落客: https://www.instagram.com/hcneeleman/
WSJ前幾天有篇文章, 是講現在的一個美國次文化(鄉村/農村文化farm culture). 加上疫情後, 很多人搬到鄉村或是郊區, 讓這樣的文化更盛行了起來. 相關個股是連鎖零售店Tractor Supply (TSCO)以及鞋店Boot Barn (BOOT).
https://www.wsj.com/articles/instagram-stars-make-farm-life-look-delightfulminus-the-manure-11629733123
Pictures: Tractor Supply內部照片
product metrics 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳貼文
訓練AI模型,要多少數據?拆解企業人工智慧專案為何難落地
2020.12.09 by 若水AI Blog
企業導入AI似乎已成為一種趨勢,但是訓練AI模型,需要多少數據?其背後的商業命題與成本又該如何解決?帶你來一起窺探AI專案背後的秘密!
企業的AI專案在釐清問題本質、找到命題之後,首先會面臨到一個問題:收集數據(Data Collection)和建立AI模型(Model Establishing),該以什麼作為評估基準?
訓練一個AI數據模型,需要多少數據?
訓練AI數據模型時,其實有三個要素,彼此互相影響。分別是: 商業問題的複雜度 、 AI模型複雜度 (Model Complexity),以及 數據複雜度 (Data Complexity)。
因此,如果想知道需要多少訓練數據(Training Data),建議先釐清:這個AI專案到底要處理什麼問題,以及這個問題有多複雜?確定之後,再來判斷應該選用哪種程度的模型來做訓練。根據不同的商業命題複雜度,用不同複雜度的模型和精準數據彼此搭配,找出最佳平衡,才能讓AI專案順利落地。
但光憑想像,很難評估實際的AI數據量和成效,所以開始AI的第一步,需要先透過POC概念驗證(Proof of Concept)實驗來找答案。
簡單來說,就是針對不同複雜程度的商業問題,嘗試選用不同複雜度的模型搭配測試,直到模型跑出來的曲線,符合理想目標。
一般狀態下,假設商業問題本身的複雜度很高,我們會預期要選擇複雜度較高的模型。但是如果數據量不足,那麼選擇複雜度較高的AI模型,反而會比用簡單的AI模型效果還差。(上圖左上、右上,分別代表複雜度10和複雜度50的問題,可以明顯看出複雜的模型曲線比較接近學習數據集(Dataset),但是在測試數據集上的誤差 Eout,反而比簡單模型還差了許多。)
上圖的左下和右下,是以不同複雜度的模型去做POC,跑出來的結果曲線圖。藍色線代表的是學習數據(Training Data)成效,紅色線代表的是測試數據(Testing Data)成效。最理想的POC目標,應該是兩條曲線很貼近彼此,而且位置越低越好。
我們會發現,左下這張圖的兩條曲線雖然彼此貼近,但是就算增加數據,也無法降低誤差。這表示模型偏誤(Bias)高,效果不佳,應該要增加模型複雜度 (Model Complexity)。
增加模型複雜度之後,就會像右下這張圖,藍色曲線(學習數據)雖然數值很低,但在學習數據不足的情況下(灰色區塊),紅色曲線(測試數據)卻「飄」得太高。這表示模型變異誤差(Variance)高,應該要增加學習數據。最後在慢慢增加模型複雜度以及學習數據之後,我們就可以達到理想的結果(兩條曲線很貼近彼此,而且位置越低越好)。
數據哪裡來?發展AI人工智慧之前,先建立數據流
先前我在文章裡提到,很多企業會急著開發AI模型,但AI專案落地經驗的三大關鍵之一,其實是先確認:是否已經準備好數據了?如果沒有這樣的能力,談AI落地其實有點好高騖遠。
AI數據收集(Data Collection)最大的挑戰,在於針對不同型態的命題,會產生不同的AI數據需求,因此需要建立的「數據流」(Data Pipeline),AI數據處理 (Data Processing)和數據標註(Data Annotation)的模式及流程也會有所不同。
發展AI之前,如果能建立起從數據收集(Data Collection)、數據處理(Data Processing)到AI模型學習的數據流(Data Pipeline),並確保可以順暢運行,實際訓練AI模型時才會省力很多。
數據不夠或太多怎麼辦?
Google開設的機器學習(Machine Learning)課程中,第一項原則就開宗明義地指出:「Don’t be afraid to launch a product without machine learning」。
如果你的產品或業務不一定需要用到機器學習(Machine Learning),那就別用,除非你有AI數據。有數據,再來談機器學習(Machine Learning)。但在業界的實際狀況,大家不是沒有數據,而是只有一些些,這時候該怎麼辦?我會建議,先從小地方開始做起,也就是從POC專案著手。
POC專案要有具體成效,除了要注意設計專案、實驗模型的指標(Metrics),企業最重要的是要先定義清楚:AI專案要達到什麼樣的指標,才算是成功?這樣最後做出來的成果,才會真正符合商業目標。
如果今天不是沒有AI數據,而是數據很多,又該從何下手呢?
我建議,嘗試減少訓練AI人工智慧時的「 數據大小 」和「 數據筆數 」。
過去曾經處理過一個AI專案,數據多達2億筆。第一次實驗,把數據全部餵進AI模型,取得結果。第二次,只拿其中有代表性的500萬筆出來訓練人工智慧。
猜猜結果如何?兩次實驗的表現,只差異不到1%。
所以,如果企業對於AI數據的品質和數量有一定程度的自信根據,其實不用把數據全部餵進AI模型訓練(Model Training),只用有代表性的AI數據來訓練就可以了。市面上很多常見的AI工具(Cluster),可以做到這點,幫助省時省力。
AI模型訓練,記得校準商業目標
企業發展AI人工智慧的最終目的,還是希望能 達到商業目標,創造價值 。
所以,訓練AI模型時,團隊如果不知道如何判斷哪個指標,對AI模型學習來說比較重要,建議回歸初心,重新釐清「 這個專案想達到的商業目標是什麼 」。
比方,趨勢科技(Trend Micro)要開發一個能夠判斷電腦病毒的AI,但是勒索病毒(denial-of-access attack)和廣告病毒對客戶的傷害程度大不相同。這時候,工程師就會針對這個命題,餵給AI模型不同病毒種類的數據,讓它學會判斷不同病毒的重要性,分辨出哪些病毒比較嚴重不能有判斷錯誤,而哪些病毒比較無害,不一定要做到一百分。
最常見的訓練方法,是用成本函數(Cost Function)的方式,訓練完再回去調整AI模型的評分(Rating),用加扣分的方式,告訴機器它的學習表現是好是壞,做對就加分,做錯就扣分。
上述評分原則的制定,和企業的商業價值考量息息相關,所以一般在組織分工,會由PM專案團隊負責判斷哪些項目重要,請資料科學家設計在上述Cost Function裡面。
很多人以為,AI人工智慧開發要做到很完美才行,但其實根據我們的經驗,只要AI開發成本符合預算、AI模型表現可接受(大約做到60–70分),而且結果有助於降低成本,就可以算是達到商業目標。反過來,即使AI模型表現非常好(高達90分),但成本卻遠超出預算,就不建議執行。
另外,因為POC階段會做很多的實驗,需要拿兩個穩定且可以互相比較的基準做A/B Test,所以做好基礎建設非常重要。
如果一個團隊裡面有三位工程師,但三個人做出來的結果都無法互相比較,那麼這個實驗就會變得霧裡看花,導致AI專案難以落地。
AI數據小學堂:模型指標(metrics)
在做模型實驗時,通常會用混淆矩陣(Confusion Matrix)的四種指標:TP(True Positive)、TN(True Negative)、FP(False Positive)、FN(False Negative),以及Count、Unique和Accuracy等等函數,來判斷這個模型的表現好不好。
P或TN值,代表模型辨識的答案正確,和預期結果一致。例如:模型正確判斷出「這是一隻貓」、「這不是一隻貓」。而FP或FN值,則代表模型的判斷錯誤,例如「明明是貓,模型卻說不是貓」、「明明不是貓,模型卻說它是貓」。
附圖:AI模型 若水國際
AI模型的POC概念驗證實驗怎麼做?
資料來源:https://www.bnext.com.tw/article/60440/ai-strategy-04?fbclid=IwAR1SOhjjGxypdGgOGfaBIl_a1IsZFJAQZ8J2aeDd98spbUfOdg7hiPQP7UA
product metrics 在 What Are The Effective Metrics For Successful Product Owner? 的推薦與評價
As a product owner, choosing the right metric is crucial. What is the exact purpose of metrics ? Are they a good indicator of our team's ... ... <看更多>