原文編者按:本文來自First Round Review,他們的文章既講故事,還會向創(chuàng)業(yè)者提供具有很強操作性的建議,以助力打造優(yōu)秀的公司。如何通過獲取和利用有價值的用戶反饋數(shù)據(jù)信息來改善產(chǎn)品?大部分創(chuàng)業(yè)者都會為此頭疼。本文中,堪稱史上發(fā)展最快的 SaaS 公司 Slack 的首位產(chǎn)品經(jīng)理分享了 Slack 獲取和利用有價值的用戶反饋信息、從而打造一款令用戶尖叫的產(chǎn)品的經(jīng)驗。
Kenneth Berger 2014年6月 加入 Slack,那時 Slack 正處于爆發(fā)式增長期,媒體報道也是鋪天蓋地。作為 Slack 的第一位產(chǎn)品經(jīng)理,加入 Slack 后的 1年 里,他全面負責(zé) Slack 的產(chǎn)品功能。在這期間,Slack日活用戶從 10 萬猛增至 100 萬 +,用戶好評如潮。
當(dāng)時 Slack 的用戶增長數(shù)據(jù)一直很搶眼,用戶反饋也很好,不管從什么角度看,Berger 的工作似乎并沒有太大難度。然而隨著用戶反饋數(shù)據(jù)的激增,Berger 需要快速從海量反饋數(shù)據(jù)中找到那些真正有價值的反饋數(shù)據(jù)并加以利用。他知道,滿足于現(xiàn)有的業(yè)績,光靠吃老本肯定是不行的。要實現(xiàn) Slack 更快地發(fā)展,Berger 必須要走出去,搜集哪些他沒有的有價值的反饋信息。
近日,Berger 接受了 First Round Review 的專訪,他分享了 Slack 是如何對用戶反饋信息進行優(yōu)先級劃分的以及從中學(xué)到的東西。他分享了自己為何在 “指標(biāo)” 和 “目標(biāo)” 這兩者中會更看重 “目標(biāo)”,為何他認為公司創(chuàng)始人需要像科學(xué)家一樣去思考和工作。最重要的是,他分享了如何從海量定性數(shù)據(jù)和定量數(shù)據(jù)中進行有效篩選并找到那些最有價值的數(shù)據(jù)的秘訣,這些數(shù)據(jù)包括網(wǎng)站統(tǒng)計數(shù)據(jù)、社交媒體上的反饋數(shù)據(jù)、留存率和客戶支持數(shù)據(jù)等。
要追求目標(biāo),不要單純地追求數(shù)據(jù)
對于大多創(chuàng)業(yè)公司來說,問題不是缺少用戶反饋數(shù)據(jù),而是他們不知道如何利用這些反饋信息。大多數(shù)情況下,人們對自己面前的已有信息或是容易獲取的信息更為敏感,也就是說,人們更加看重這類信息渠道,而對其他的信息渠道漠不關(guān)心,這就會導(dǎo)致在很多時候無法獲得真正有價值的反饋信息。根據(jù) Berger 的經(jīng)驗,要想避免這種情況的發(fā)生,最好的辦法就是將注意力和精力集中關(guān)注于公司最重要的目標(biāo)上。“很多人只關(guān)注指標(biāo)數(shù)據(jù),并認為這是驗證成功與否的標(biāo)志。數(shù)據(jù)指標(biāo)當(dāng)然非常重要,但對我而言,它只是目標(biāo)的一部分,讓目標(biāo)得以量化。”
Berger 對創(chuàng)業(yè)公司非常了解,他最開始聯(lián)合創(chuàng)辦了自己的公司 YesGraph,后來加入 Slack,他深知創(chuàng)業(yè)公司的發(fā)展環(huán)境和用戶心理是瞬息萬變的。如果你不一直不斷重新評估什么才是公司最重要的目標(biāo)的話,你可能就無法知道什么數(shù)據(jù)指標(biāo)對目前的公司來說才是最緊要、最值得關(guān)注的。
如果你同時還在忙于擴充團隊,事情就會變得更加復(fù)雜,因為不僅公司的目標(biāo)在變化,你的責(zé)任也在變化。公司可能會成立新的部門,很多事都會朝著不同的方向發(fā)展,公司的重點也會隨著時間的推移而發(fā)生變化。
在確定公司的目標(biāo)時,要堅持下面這個簡單的原則:每個人都需要知道他們?yōu)槭裁醋鏊麄冋谧龅氖虑?。在確定公司的整體目標(biāo)后,確保每個部門或部門負責(zé)人都知道這一目標(biāo),并在這一目標(biāo)的基礎(chǔ)上確定各自部門相應(yīng)的數(shù)據(jù)指標(biāo)。
只有當(dāng)各個部門的人員都參與到數(shù)據(jù)指標(biāo)的制定中時,數(shù)據(jù)指標(biāo)才能發(fā)揮最大的作用。
“如果人們身上背負的任務(wù)指標(biāo)是由其他人定的,這時數(shù)據(jù)指標(biāo)很難發(fā)揮它應(yīng)有的作用。只有當(dāng)各個團隊和團隊里的每個人都能參與到數(shù)據(jù)指標(biāo)的制定時,這是大家的工作積極性和才能才能被充分調(diào)動起來。”
對于絕大部分公司而言,有兩個指標(biāo)都是至關(guān)重要的:用戶留存指標(biāo)和營收指標(biāo)。但這兩個指標(biāo)究竟定為多少才最為合適?除了要關(guān)注這兩項指標(biāo)外,我們還需要關(guān)注哪些指標(biāo)?這些問題的答案因公司而異。公司的商業(yè)模式,公司的產(chǎn)品是企業(yè)級產(chǎn)品還是直接面向消費者的產(chǎn)品,以及你所在的團隊,這些都會影響上述問題的答案。我個人是非常反對 ‘指標(biāo)至上’ 的觀點的。例如,如果你只關(guān)心收入增長指標(biāo)的話,你怎么能知道客服團隊在里面發(fā)揮了多大作用?客服團隊通常是非常重要的,如果不給他們定一個和他們的工作直接相關(guān)的指標(biāo)的話,就無法充分調(diào)動他們的積極性,也就無法將他們的價值發(fā)揮到最大化。
要定期審視和評估你的目標(biāo),不管是一個月一次還是一個季度一次,只要符合公司的實際情況就行。你是否足夠關(guān)注新用戶的獲取?是否在為老用戶創(chuàng)造價值?公司目前的重點是什么?只有時刻想著這些問題,你才能知道如何處理利用用戶反饋信息,才能知道哪些反饋信息是目前最有價值的信息。
對于目前公司內(nèi)部工作的優(yōu)先級和重點,要及時分享給大家,讓大家都知道。大多情況下,在同時面對幾個產(chǎn)品功能需求時,你不得不先選擇一個功能優(yōu)先開發(fā)而不得不暫時放棄另外幾個功能?;蛘咴诿鎸Χ鄠€部門提出的不同需求時,你只能先滿足其中一個部門的需求。不同渠道的反饋信息是什么以及是如何按優(yōu)先級將它們進行劃分的,這些信息一定要公開透明,讓大家知道為什么有的反饋需求可以優(yōu)先得到滿足,這有助于讓大家感受到自己的反饋是被認真對待并認可的。
在創(chuàng)業(yè)公司,由于資源有限,你不可能一次性滿足所有需求。因此,要在公司內(nèi)部努力營造一種透明、暢通的交流氛圍,讓大家真正知道為什么有些需求可以優(yōu)先得到滿足。
明智的假設(shè)有助于產(chǎn)生明智的見解
實際上,制定和評估公司目標(biāo)的過程和科學(xué)家的工作非常類似,都要不停地提出和驗證假設(shè)。當(dāng)科學(xué)家要做一項實驗時,首先需要提出一個假設(shè),然后思考確定驗證假設(shè)的方法。運營公司也一樣,你需要設(shè)定目標(biāo),然后圍繞這個目標(biāo)設(shè)定指標(biāo)。
但是你往往是無法通過一個簡單的實驗就能看清事情的大局和重點,可能是由于提出的假設(shè)不對,也可能是因為你選擇的用于衡量目標(biāo)的指標(biāo)有問題。要科學(xué)對待處理你獲得的反饋數(shù)據(jù),首先要做到的一點就是能看清大局并以此為重,同時能根據(jù)實際情況對你的假設(shè)理論進行恰當(dāng)?shù)卣{(diào)整。
在 Slack 早期,為了獲得更多的用戶注冊,Berger 曾嘗試了一些當(dāng)時比較流行的市場推廣方法。“我知道,大家通常用的推廣方法中的很多我們還沒有嘗試過,所以我們決定嘗試一些方法,看效果如何。我們首先嘗試的是郵件營銷,給給那些已經(jīng)注冊 Slack 但還不活躍的用戶發(fā)郵件。接著我們嘗試了免費試用的方法。”
我們在部分用戶中嘗試了上面的方法,也看到了一些效果,但非常有限。我們所做的這些嘗試都是要付出一定的代價的,這實際上是一種權(quán)衡和交易。從我們嘗試的結(jié)果來看,這種交易并不劃算。用戶留存率是提高了,這看似取得了不錯的效果,但從全局來看,卻并非如此。在認真分析數(shù)據(jù)后,我們發(fā)現(xiàn),增加的留存率和我們所付出的種種努力其實并不成正比。
驗證假設(shè)還直接影響了 Slack 的策略轉(zhuǎn)變。最初,公司決定不對外宣稱自己是一款聊天類 App,而向外界傳達自己長遠的理念和愿景:變革現(xiàn)有的工作方式,創(chuàng)建更加透明的工作氛圍和暢通的交流環(huán)境。
不過當(dāng)做了產(chǎn)品的可用性測試后,他們發(fā)現(xiàn)了問題。剛開始的時候,借助于出色的媒體 PR,Slack 獲得了一大批用戶。這些用戶剛讀過有關(guān) Slack 產(chǎn)品的新聞報道,因此對產(chǎn)品有一定的了解,所以即使 Slack 官網(wǎng)上沒有具體的產(chǎn)品功能介紹而只有抽象的描述,這也不妨礙他們了解和使用 Slack。然而從其他渠道來的用戶就比較困惑了,因為當(dāng)時 Slack 官網(wǎng)上沒有產(chǎn)品功能介紹,沒有產(chǎn)品截圖,也沒有強調(diào)即時通訊是 Slack 的主要功能。所以這些用戶不知道 Slack 的核心功能是什么,是文件分享?內(nèi)部溝通?還是效率工具?不去教育和引導(dǎo)用戶,用戶不困惑才怪。
自從那時開始,為了更好地教育和引導(dǎo)潛在用戶,Slack 在官網(wǎng)上專門放了產(chǎn)品功能截圖。即便到后來沒有再放產(chǎn)品截圖了,但還是一直把 Slack 的即時通訊核心功能作為向用戶傳遞的關(guān)鍵內(nèi)容信息。
Slack 就通過這種方法來解決之前存在的問題。強調(diào) Slack 作為即時通訊工具的功能性,方便用戶了解這款產(chǎn)品,并以此為橋梁來向公眾闡述你那更加宏偉的愿景。這并不是說 ‘變革人們的工作方式’ 這種理念和愿景是錯誤的或是不重要的,它非常重要。不過我們需要學(xué)著以一種人們?nèi)菀桌斫獾姆绞饺ブv述我們的愿景。
Slack 做的另一個實驗是如何向用戶證明自己的實用性。為了驗證這一假設(shè),團隊使用了非常獨特的實驗方法——邀請潛在用戶在一整天的工作中只使用 Slack 作為公司內(nèi)部即時通訊和溝通的工具,不接發(fā)一封郵件。讓人們放棄常用的工具而只使用 Slack,這實在是一種冒險的舉動。但事實證明,這個實驗是非常成功的。讓人在 24 小時的工作中不使用郵件而僅使用 Slack 的情況下也能高效完成內(nèi)部溝通交流,Slack 無疑證明了自己是一款多么高效的工具。
[page]了解你可能存在的偏見并努力加以遏制
偏見是無法避免的,不管我們思想多么開放,我們都或多多少存在一定的偏見。這些偏見將影響我們?nèi)绾谓庾x用戶反饋的數(shù)據(jù)。我們在意識到這一點的同時,還要知道如何遏制一些常見的偏見。
選擇偏見
在搜集和評估產(chǎn)品反饋數(shù)據(jù)時,Berger 遭遇最多的就是這種偏見。例如,產(chǎn)品的支持請求通常只來自那些最活躍的用戶,了解這一點很重要。如果你只和這些用戶溝通交流,那么你就將所有的非活躍潛在用戶都排除在外了,更不可能從他們那里獲得有價值的數(shù)據(jù)。
你可能會進行產(chǎn)品的可用性測試。進行可用性測試時,很多人的做法是從 Craigslist 上招募測試志愿者,這看似是很合理的做法。不過你需要時刻記住的是,通過 Craigslist 找到的測試志愿者并不能代表絕大部分的潛在用戶。你要了解這種方法可能存在的局限,因為你找到的測試者都是一些經(jīng)常參與測試的專業(yè)測試者,和大部分用戶還是不一樣的。因此你要意識到,你在測試中獲得的數(shù)據(jù)的一部分可能是無用數(shù)據(jù),要學(xué)會排除這些數(shù)據(jù),然后繼續(xù)。
確認偏見 or 觀察者偏見
大家傾向于在數(shù)據(jù)中只看那些自己想看到的數(shù)據(jù),或是想看自己之前預(yù)測的結(jié)論,這很自然。這其實也是一種偏見,我們需要努力抑制這種偏見的發(fā)生。不妨想象一下,同樣一組數(shù)據(jù),可能支持一種假設(shè),也可能同樣能支持另外一種假設(shè)。它可能符合你所想的,也可能完全不符??傊灰蝗タ茨切┳约合肟吹臄?shù)據(jù),在這方面一定要極力克制。
實際上,在 Berger 看來,處理上面這類數(shù)據(jù)偏見的過程是在一家創(chuàng)業(yè)公司工作非常激動人心的一部分。那些曾在大公司工作的人會習(xí)慣利用數(shù)據(jù)做一些細微方面的修正和調(diào)整——例如在 A/B 測試中,主頁上的哪個詞起到了一點作用。如果你是在一家成立不久的創(chuàng)業(yè)公司,你跟數(shù)據(jù)打交道的過程就會更加曲折,利用數(shù)據(jù)做的事情也會重要很多。要盡可能快地積極參與到這個過程中。它可以幫你學(xué)到很多關(guān)于產(chǎn)品和用戶的新東西。
報告偏見
觀察者偏見主要指在一堆數(shù)據(jù)中只看你想看到的部分,而報告偏見主要指只關(guān)注那類最讓你覺得舒服的數(shù)據(jù)。這意味著對于那些比較難獲取、分析起來較為復(fù)雜以及難以量化的數(shù)據(jù),就不會給與太多的關(guān)注和重視。在就不同的產(chǎn)品決策做出取舍時,這種偏見表現(xiàn)得尤為明顯。你可能有一組很容易定量分析的數(shù)據(jù),所以你會優(yōu)先分析這組數(shù)據(jù),這組數(shù)據(jù)可能可以說明一個產(chǎn)品決策的正確性。但同時可能會有很多定性的分析來證明這個產(chǎn)品決策的錯誤。例如,你們產(chǎn)品的用戶增長數(shù)據(jù)可能非常不錯,但用戶滿意度如何呢?
你經(jīng)常要去面對和衡量來自不同渠道的用戶反饋數(shù)據(jù),并需要從不同的角度來評估產(chǎn)品決策,這些工作量雖然繁重但都是值得的。對于任何在產(chǎn)品決策中所面對的贊同意見和潛在的反對觀點,都要保持清晰的頭腦。數(shù)據(jù)的來源渠道是多種多樣的,認識到這一點可以幫你獲得更為清晰的視野。這已經(jīng)幫助我們在 Slack 做出了很多明智的決策,例如之前提到的郵件營銷,在我們從全局的角度來分析郵件營銷所取得的效果時,我們才知道做郵件營銷是不劃算的。
融合定量數(shù)據(jù)和定性數(shù)據(jù),讓他們共同發(fā)揮作用
在你確定假設(shè)并對其進行驗證時,你就需要從那些你認為比較有價值、有啟發(fā)性的數(shù)據(jù)入手。你確定了哪些用于驗證假設(shè)的問題?有哪些搜集反饋信息的渠道?又如何正確地開展這項工具?定量反饋和定量反饋的區(qū)別在哪里,Berger 總結(jié)出來的經(jīng)驗是:定量數(shù)據(jù)可以幫你了解某件事情的對或錯,而定量數(shù)據(jù)則可以告訴你它為什么是對的或錯的。
當(dāng)你在對你手中的反饋數(shù)據(jù)資源進行優(yōu)先級劃分時,你是否還需要去獲得其它的數(shù)據(jù)。換句話說,在一個任何數(shù)據(jù)都可以獲取的世界里,是否有必要去獲得所有的數(shù)據(jù),有備無患?
其實在通常情況下,獲取數(shù)據(jù)并非完全免費的,是需要獲取一定的成本的,有時是顯性成本,有時是機會成本。有時數(shù)據(jù)即使可以 “免費” 獲得,但我們?nèi)砸紤]是否值得我們花心思去獲得這些數(shù)據(jù),因為里面通常會含有隱形成本。
現(xiàn)在獲取信息是非常容易的,正如你可以很容易瀏覽用戶在產(chǎn)品官方 Twitter 上的反饋。你在工作中總會去搜集一些相關(guān)反饋信息,有時是定量數(shù)據(jù),有時是定性數(shù)據(jù)。不過如果你有清晰的目標(biāo),并知道如何通過假設(shè)驗證來實現(xiàn)你的目標(biāo),你就不會因為有一個用戶不喜歡某項功能就匆忙地去改動你的產(chǎn)品。你需要知道哪些數(shù)據(jù)適合用作測試使用。
你需要詳細地了解并清楚你的數(shù)據(jù)來源,這比其它所有事情都要重要,但這并不是說你不需要關(guān)注其它事情。如果你認為新上線的產(chǎn)品功能非常重要,但用戶的普遍反饋卻一般,這時你就需要傾聽用戶的聲音了。不過你不能對所有反饋數(shù)據(jù)都一視同仁的對待。
搜集你手里沒有的數(shù)據(jù)
通常情況下,如果定量數(shù)據(jù)反饋暴露了產(chǎn)品中存在一個問題,你可以一眼就在分析儀表盤上發(fā)現(xiàn)。定性數(shù)據(jù)反饋就不同了,它分析起來更加復(fù)雜和棘手。還記得上面說到的 “選擇偏見” 嗎?和網(wǎng)站流量數(shù)據(jù)和留存率數(shù)據(jù)不同,當(dāng)你瀏覽產(chǎn)品支持反饋或是社交媒體上的反饋信息時,你通常只會本能地看一些局部信息,無法看清全貌。要想獲得可直接使用的實用的定性數(shù)據(jù),你需要主動走出去積極搜集相關(guān)數(shù)據(jù)。
Berger 加入 Slack 時,他面臨的是一個貌似令人艷羨的問題:產(chǎn)品反饋都非常正面。“開始的時候,我就對自己說:‘如果在 Slack 官方 Twitter 賬號下留言的人都說 Slack 是一款很棒的產(chǎn)品,那么我加入 Slack 是干什么來了?我怎么才能為 Slack 創(chuàng)造價值?'。
所以 Berger 開始努力走出去接觸那些還沒有對 Slack 發(fā)表過評論亦或是還沒用過 Slack 的人群。他知道 Slack 的下一步戰(zhàn)略是為規(guī)模更大的團隊提供服務(wù)。所以 Berger 開始拜訪他能找到的規(guī)模最大的那些團隊。這次團隊拜訪工作是非常有價值的,因為這些大團隊使用 Slack 的體驗和那些經(jīng)常在 Twitter 上給 Slack 留言的活躍用戶(這些團隊的規(guī)模通常和 Slack 自己差不多)的體驗是非常不一樣的。
Berger 在用戶拜訪中發(fā)現(xiàn),Slack 確實給這些規(guī)模較大的團隊創(chuàng)造了很多價值,但 Slack 的有些地方卻并未能很好地滿足他們的需求,給他們造成了很大的困擾。而他們所遇到的問題其實是可以很快解決的,只是 Slack 之前一直沒發(fā)現(xiàn)而已。“只通過一種渠道了解用戶反饋當(dāng)然很簡單,而且這些反饋大都是正面的—似乎每個人都喜歡 Slack!但這么做從長遠來看是存在問題的。”
搜集這種定性數(shù)據(jù)似乎和在分析監(jiān)控面板上舒服地了解定量數(shù)據(jù)的方法是徹底背離的,其實并非如此。搜集和研究定性數(shù)據(jù)時,你同樣需要首先作出假設(shè),然后確定指標(biāo)和驗證流程。
“我的假設(shè)是我們的產(chǎn)品并沒能很好地服務(wù)好規(guī)模較大的團隊。所以我決定從離公司較近的舊金山灣區(qū)的一些使用 Slack 的大公司入手,在拜訪這些公司的過程中,我問了他們很多問題,主要圍繞他們的團隊是如何使用 Slack 的。”我問的這些問題非常直接:你是如何使用 Slack 的?公司內(nèi)部哪些人在用?他們主要用 Slack 干什么?他們還在用其他什么工具,Slack 是否能和這些工具實現(xiàn)互補?
舉個例子,Slack 最初內(nèi)置有一定比例數(shù)量的默認通知和通知偏好的切換功能。所以當(dāng)你在團隊中工作的時候,你每天會收到一定量的有關(guān)其他同事工作動態(tài)的郵件或桌面通知。這個對小團隊非常有用,因為這些通知可以幫助他們實時了解其他同事的工作進展。但同樣的消息通知機制對于大團隊來說就是一個災(zāi)難。
Berger 聽到很多大團隊在抱怨這個問題,最后 Slack 專門為大團隊提供了一套不同的默認通知功能。新功能按比例減少了每天收到的桌面通知數(shù)量,同時為他們提供了了解團隊全部動態(tài)信息的功能選項。這個功能對于大公司太實用了。
定量反饋數(shù)據(jù)分析起來很方便,但類如 “我每天收到的通知太多了” 這樣的定性反饋你如何分析并和團隊分享呢?
很多人不知道如何使用定性數(shù)據(jù)。例如你出去拜訪 5 個用戶,你可能會想:‘只拜訪 5 個用戶,我怎么知道該注意哪些東西,或者這訪問到底有沒有意義?’ 。這個時候就會發(fā)現(xiàn)前期準備工作的重要性了,因為你并不是訪問隨機選出的 5 個用戶,你要清楚你的假設(shè)是什么,并知道應(yīng)該訪問哪些用戶去驗證你的假設(shè)。如果你拜訪大團隊,你只能做出和大團隊相關(guān)的結(jié)論;如果你只和高度活躍的用戶交流,那么你只能獲取和活躍用戶相關(guān)的有用數(shù)據(jù)。
有時候,你收到的有些用戶反饋并不需要去測試驗證,因為你一看就知道怎么回事。有時你會碰到一個用戶以一種非常不正常的方式使用你的產(chǎn)品,極少有人這么用,所以即使他在使用的過程中遇到問題,你也可以不用管,因為一般用戶是不會這么用的。還有些時候,有用戶在使用 Slack 時遇到了了嚴重的問題,這時你不需要了解其他用戶的使用情況就能知道,每個人在使用 Slack 時都會遇到這個問題。
走出辦公室去拜訪用戶雖然很辛苦也很難,但它真的是非常值得的,因為你可以從中了解你的產(chǎn)品需要有哪些值得改進的地方,讓你知道產(chǎn)品下一步的開發(fā)重點是什么。
Berger 建議早期的創(chuàng)業(yè)公司不要過多地擔(dān)心自己是否知道如何利用用戶反饋數(shù)據(jù)。“要小心謹慎地選擇你的假設(shè),然后選擇適合的用戶群去拜訪,獲得有價值的反饋數(shù)據(jù)來驗證自己的假設(shè),你自然而然就能知道接下來該做什么。”