在互聯(lián)網(wǎng)的下半場,不斷精細化運營的背景下,產(chǎn)品經(jīng)理不再是單純的靠感覺來做產(chǎn)品,更需要培養(yǎng)數(shù)據(jù)的意識,能以數(shù)據(jù)為依歸,來不斷改善產(chǎn)品。
不同于公司專業(yè)的數(shù)據(jù)分析師,產(chǎn)品經(jīng)理更多的可以從用戶、業(yè)務(wù)的層面去看待數(shù)據(jù),去更快更透徹的去尋找數(shù)據(jù)變動的原因。
那么在數(shù)據(jù)已經(jīng)被有效記錄的前提下,如何有效的去分析數(shù)據(jù)呢?
一、明確數(shù)據(jù)分析的目的
1、如果數(shù)據(jù)分析的目的是要對比頁面改版前后的優(yōu)劣,則衡量的指標應(yīng)該從頁面的點擊率,跳出率等維度出發(fā),電商類應(yīng)用還要觀察訂單轉(zhuǎn)化率,社交類應(yīng)用要注重用戶的訪問時長、點贊轉(zhuǎn)發(fā)互動等頻次。
不少新人在設(shè)計自己產(chǎn)品的時候,可能會花費很多時間在產(chǎn)品本身的設(shè)計上,卻沒有花精力思考如何衡量產(chǎn)品的成功與否。
在產(chǎn)品文檔上寫上一句類似“用戶體驗有所”提升的空話,這樣既不利于產(chǎn)品設(shè)計順利通過需求評審,也無法更有效的快速提高產(chǎn)品的KPI指標。
2、如果數(shù)據(jù)分析的目的是探究某一模塊數(shù)據(jù)異常波動的原因,則分析的方法應(yīng)該按照金字塔原理逐步拆解,版本->時間->人群。
比如發(fā)現(xiàn)首頁猜你喜歡模塊最近的點擊率從40%下降到了35%,暴跌5%個點,這個時候先看看是不是哪個版本的數(shù)據(jù)發(fā)生了波動,是不是因為新版本上線埋點遺漏或有誤造成的。
如果版本的波動數(shù)據(jù)保持一致,再看看數(shù)據(jù)是從什么時候開始變化的,是不是因為受到了圣誕、元旦假日因素的影響,頁面上其他模塊上線了新的活動影響了猜你喜歡的轉(zhuǎn)化。
如果不是,則再拆解是不是流量來源構(gòu)成發(fā)生了變動,是不是新用戶的曝光數(shù)量增加導(dǎo)致的。
產(chǎn)品經(jīng)理需要帶著明確的目的去分析數(shù)據(jù),思考實現(xiàn)目標需要構(gòu)建哪些維度去驗證。大部分時候,產(chǎn)品經(jīng)理需要非常耐心的一步一步的拆解細分,排查原因。
二、多渠道收集數(shù)據(jù)
收集方式一般有四類渠道。
1、從外部如易觀或艾瑞的行業(yè)數(shù)據(jù)分析報告獲取,需要帶著審慎的態(tài)度去觀察數(shù)據(jù),提取有效準確的信息,剝離部分可能注水的數(shù)據(jù),并需要時刻警惕那些被人處理過的二手數(shù)據(jù)。
2、從AppStore、客服意見反饋、微博等社區(qū)論壇去主動收集用戶的反饋。
我自己經(jīng)常有空的時候就會去社區(qū)論壇看看用戶的狀態(tài)評論,一般這樣的評論都是非常極端的,要么特別好,要么罵成狗。
但這些評論對于自身產(chǎn)品設(shè)計的提升還是非常有益的,可以嘗試去反推用戶當時當刻為什么會產(chǎn)生如此的情緒。
3、自行參與問卷設(shè)計、用戶訪談等調(diào)研,直面用戶,收集一手數(shù)據(jù),觀察用戶使用產(chǎn)品時所遇到的問題及感受。
問卷需要提煉核心問題,減少問題,回收結(jié)果需剔除無效的敷衍的問卷。
用戶訪談需要注意不使用引導(dǎo)性的詞匯或問題去帶偏用戶的自然感受。
4、從已記錄的用戶行為軌跡去研究數(shù)據(jù)。
大公司一般會有固話的報表/郵件去每天甚至實時反饋線上的用戶數(shù)據(jù)情況,也會提供SQL查詢平臺給產(chǎn)品經(jīng)理或數(shù)據(jù)分析師,讓他們可以更有深度的探究對比數(shù)據(jù)。
三、有效剔除干擾數(shù)據(jù)
1、選取正確的樣本數(shù)量,選取足夠大的數(shù)量,剔除極端或偶然性數(shù)據(jù)的影響。08年奧運會上,姚明的三分投籃命中率為100%,科比的三分投籃命中率為32%,那么是不是說姚明的三分投籃命中率要比科比高?
顯示有問題,因為那屆奧運會,姚明只投了一個三分球,科比投了53個。
2、制定相同的抽樣規(guī)則,減少分析結(jié)論的偏差性。比如兩條Push文案,第1條“您有一個外賣暖心紅包未領(lǐng)取,最大的紅包只留給最會吃的你,點擊進入”,第2條“送你一個外賣低溫福利,足不出戶吃喝熱騰美味,點擊領(lǐng)取 ”。實驗數(shù)據(jù)表明,第二條Push文案的點擊率比第一條同比高了30%。
那么真的是第二條文案更有吸引力嘛?結(jié)果發(fā)現(xiàn)是第二條Push文案的接收人群的活躍度明顯高于第一條造成的。
3、剔除版本或節(jié)假日因素的干擾,新版本剛上線時的數(shù)據(jù)表現(xiàn)往往會很好,因為主動升級的用戶一般是高活躍度的用戶。臨近周末或大型節(jié)假日的時候,用戶的消費需求會被觸發(fā),電商類應(yīng)用的訂單轉(zhuǎn)化率也會直線上升。因此,在數(shù)據(jù)對比的時候,實驗組和對照組的數(shù)據(jù)在時間維度上要保持對應(yīng)。
4、對歷史數(shù)據(jù)遺忘。人與數(shù)據(jù)技術(shù)不同,數(shù)據(jù)技術(shù)有著100%的記憶能力,而人類根據(jù)艾浩賓斯遺忘定律1天后只能記起33%,6天后25%,31天后21%。因此,我們要合理的選擇篩選時間段。
比如猜你喜歡模塊不僅要對興趣標簽的計分進行一定的加權(quán)處理,也要結(jié)合商品的生命周期等因素做一系列的回歸實驗,得出受眾人群對各類興趣和購買傾向的衰退曲線,利用有規(guī)律的時間變化有效刪除老數(shù)據(jù),去提升模塊的點擊率。
5、實驗需拆分A1組,也就是在實驗組B和對照組A上再增加一組A1,A1和A的規(guī)則保持一致,然后探究AB的數(shù)據(jù)波動與AA1比較,剔除數(shù)據(jù)的自然/異常波動帶來的影響。以我實際的A/B實驗表明,設(shè)立A1組是非常重要且必要的,不管數(shù)據(jù)量級有多大,相同實驗規(guī)則的兩組在數(shù)據(jù)也會有一定的小幅波動,而這小幅波動在精細化運營的今天,對我們的判斷可能形成較大的干擾偏差。
四、合理客觀的審視數(shù)據(jù)
1、不要忽略沉默用戶
產(chǎn)品經(jīng)理在聽到部分用戶反饋的時候就做出決策,花費大量的時間開發(fā)相應(yīng)的功能,往往結(jié)果,可能這些功能只是極少部分用戶的迫切需求,而大部分用戶并不在乎。
甚至有可能與核心用戶的訴求相違背,導(dǎo)致新版產(chǎn)品上線后數(shù)據(jù)猛跌。
忽略沉默用戶,沒有全盤的考慮產(chǎn)品大部分目標用戶的核心需求,可能造成人力物力的浪費,更有甚者,會錯失商業(yè)機會。
2、全面理解數(shù)據(jù)結(jié)果
如果實驗結(jié)果的預(yù)期與我們的經(jīng)驗認知有明顯的偏差,請不要盲目下結(jié)論質(zhì)疑自己的直覺,而是嘗試對數(shù)據(jù)進行更透徹的分析。
例如我曾經(jīng)做過在首頁給用戶投放活動彈窗的實驗,發(fā)現(xiàn)實驗組的數(shù)據(jù)不管在首頁的點擊率,訂單轉(zhuǎn)化率乃至7日留存率方面都遠超對照組,首頁上的每一個模塊的轉(zhuǎn)化率都有明顯的提升,遠遠超出了我們的預(yù)期,那這真的是活動彈窗刺激了用戶的轉(zhuǎn)化率嘛?
后來我們發(fā)現(xiàn)在首頁能夠展示出活動彈窗的用戶,往往在使用環(huán)境時的網(wǎng)絡(luò)狀態(tài)比較好,在wifi環(huán)境下,而未展示彈窗的用戶則可能是在公交/地鐵/商場等移動場景下,網(wǎng)絡(luò)通訊可能不佳,因此影響了A/B實驗的結(jié)果。
3、不要過度依賴數(shù)據(jù)
過度依賴數(shù)據(jù),一方面,會讓我們做很多沒有價值的數(shù)據(jù)分析;另一方面,也會限制產(chǎn)品經(jīng)理本來應(yīng)有的靈感和創(chuàng)意。
正像羅振宇在時間的朋友跨年演講上提到的一樣。
用戶要什么,你就給什么,甚至他們沒說出來你就猜到了,這叫母愛算法,在內(nèi)容分發(fā)領(lǐng)域沒有人比今日頭條做得更好,但母愛算法有很大的弊端,在推薦的時候會越推越窄。
另一面則是父愛算法,站的高,看得遠。告訴用戶,放下你手里的爛東西,我告訴你一個好東西,跟我來。正像喬幫主當年打造的iPhone系列產(chǎn)品一樣,不看市場分析,不做用戶調(diào)研,打造出超出用戶預(yù)期的產(chǎn)品。
五、總結(jié)
美國最成功的視頻網(wǎng)站Netflix通過基于用戶習慣的分析,將大數(shù)據(jù)分析深入到電影的創(chuàng)作環(huán)節(jié)中,塑造了風靡一時的美劇《紙牌屋》。
然而Netflix的工作人員告訴我們,不應(yīng)該迷戀大數(shù)據(jù)。
如果說電視劇評分9分是精品的話,大數(shù)據(jù)可以讓我們脫離低分6分以下的風險,卻也會帶我們按部就班的走向平庸的絕大多數(shù)7-8分之間。
產(chǎn)品經(jīng)理在直覺創(chuàng)造的心智能力,情感理解的社交能力,與大數(shù)據(jù)相結(jié)合,正確的理解數(shù)據(jù),讓數(shù)據(jù)真正嵌入到產(chǎn)品的設(shè)計中,切實解決用戶的實際問題,方能真正做到所謂的“用戶洞察”,讓產(chǎn)品走到用戶需求前面,超出用戶的預(yù)期。