最近，前Facebook工程師覃超一篇關(guān)于2010年到2015年Facebook改版網(wǎng)站首頁歷程的文章受到極大關(guān)注。按照他的記錄，2012年，當(dāng)時的Facebook產(chǎn)品副總裁帶領(lǐng)一支公司內(nèi)部頂尖高手組成的團隊，歷時大半年開發(fā)了新的網(wǎng)站首頁，進行了重大的改版與更新。隨后，F(xiàn)acebook對該首頁進行了A/B測試：當(dāng)測試到5%用戶群的時候，各項數(shù)據(jù)指標(biāo)都在下滑；當(dāng)測試到12%用戶群的時候，下滑趨勢依舊明顯。于是，F(xiàn)acebook不得不放棄了這支30余人團隊近一年努力的結(jié)果。

A/B測試是個什么鬼？

A/B測試已經(jīng)是一項成熟的測試、開發(fā)方法，被Google的開發(fā)團隊普遍采用。業(yè)內(nèi)人士告訴鈦媒體記者，Google廣告產(chǎn)品的每一個新改動也要經(jīng)過一種嚴(yán)格的在線測試來驗證效果，在確保搜索體驗的同時提高廣告的轉(zhuǎn)化率，這種基于數(shù)據(jù)的互聯(lián)網(wǎng)產(chǎn)品開發(fā)和運營，可以大幅度加速創(chuàng)新、改善用戶體驗，起到事半功倍的效果。前Google廣告質(zhì)量控制部門工程師王曄介紹，A/B測試優(yōu)化每年能為Google帶來100億美元營收的增長。

簡單來說，A/B測試就是對一個頁面的A版本和B版本進行測試，統(tǒng)計哪個版本的點擊率更高。最為常見的A/B測試形式叫做灰度測試，也就是對一個公司自有的互聯(lián)網(wǎng)用戶群進行1%、2%、5%、10%等規(guī)模的用戶測試，然后選擇測試效果最好的頁面推廣到全用戶群。

實際上幾乎所有成功的互聯(lián)網(wǎng)公司，都不同程度地采用了A/B測試，用于網(wǎng)頁的優(yōu)化與點擊率效果提升。王曄介紹說，Google的各個產(chǎn)品都有成百上千個不同的測試版本同時運行，試驗數(shù)據(jù)決定了只有少數(shù)改動能最終上線，這些更好的改動可實現(xiàn)每月約2%的營收提升，最終達到20%的年化增長。

而Facebook的經(jīng)歷，更充分說明了在互聯(lián)網(wǎng)的世界里沒有常勝將軍，經(jīng)驗與直覺都不是互聯(lián)網(wǎng)世界的游戲規(guī)則。只有通過不斷的測試和反復(fù)的數(shù)據(jù)分析，才能證明一個觀點或判斷是否正確。從Facebook的例子就可以看出，唯快不破和不斷試錯的背后，其實是“數(shù)據(jù)說話”的思維，A/B測試就是一個讓數(shù)據(jù)說話的利器。

技術(shù)支撐與數(shù)據(jù)思維的跨界

A/B測試聽起來很簡單，但其實是技術(shù)支撐和數(shù)據(jù)思維相結(jié)合的跨界領(lǐng)域。

記者在硅谷采訪了美國A/B測試創(chuàng)業(yè)公司Optimizely的產(chǎn)品經(jīng)理Byron Jones，他介紹了A/B測試通用的五步法：分析、假設(shè)、構(gòu)建測試、運行測試、效果評估。其中，分析、假設(shè)和構(gòu)建測試屬于數(shù)據(jù)分析階段，運行測試及效果評估屬于技術(shù)支撐范疇，這二者相互配合、相輔相承。

在數(shù)據(jù)分析方面，A/B測試主要對采樣用戶群進行數(shù)學(xué)假設(shè)：根據(jù)統(tǒng)計學(xué)原理與算法，找出最具有統(tǒng)計意義的采樣用戶群特點、規(guī)模、實驗組數(shù)和次數(shù)等。在技術(shù)支撐方面，A/B測試主要基于大規(guī)?；ヂ?lián)網(wǎng)流量分割技術(shù)，不同的網(wǎng)頁針對不同的用戶群進行劃分，然后通過服務(wù)器和網(wǎng)絡(luò)控制完成流量分割，達到向不同用戶傳送不同網(wǎng)頁的目的。

在數(shù)據(jù)分析方面，還有一個非常有意思的辛普森悖論。形象的說，就是當(dāng)向50%的女性用戶推行某個促銷手段時，銷售獲得了增加；當(dāng)向50%的男性用戶推行同樣的促銷手段時，銷售也獲得了增加；但當(dāng)把這兩個人群合并，再推行一樣的促銷手段時，銷售反而下降了。因此，需要通過相關(guān)數(shù)學(xué)處理算法，盡量消除辛普森悖論。

A/B測試云服務(wù)，已成一個垂直創(chuàng)業(yè)方向

互聯(lián)網(wǎng)公司的A/B測試大多都由內(nèi)部團隊負(fù)責(zé)，以Google為代表的規(guī)模化和專業(yè)化A/B測試逐漸成熟。隨著互聯(lián)網(wǎng)的高速發(fā)展，越來越多的企業(yè)需要開展互聯(lián)網(wǎng)服務(wù)，全部采用自建A/B測試團隊顯然成本很高，于是就出現(xiàn)了基于SaaS模式的第三方專業(yè)化A/B測試公司。

有Google工程師背景的兩個團隊，分別都在做類似的服務(wù)類創(chuàng)業(yè)公司：其中一個，在美國創(chuàng)建了Optimizely公司，目前已經(jīng)完成了C輪融資，公司成立五年來總共完成了1.45億美元的融資。Optimizely的投資人包括著名的硅谷風(fēng)投A16Z、Bain Capital Ventures、Salesforce Ventures等，該公司現(xiàn)有400多名員工，業(yè)務(wù)發(fā)展非常迅猛。

而另一個團隊則回到中國，在去年創(chuàng)建了吆喝科技，這就是王曄的團隊。王曄曾在清華和耶魯讀書的時候，參與過中國下一代互聯(lián)網(wǎng)（CNGI）和網(wǎng)絡(luò)APP流量優(yōu)化（ALTO）等大型項目，在耶魯、微軟研究院以及NEC北美實驗室參與過多項技術(shù)創(chuàng)新課題。2012年到2014年，王曄在美國Google總部的廣告質(zhì)量控制部門工作。2014年，他看到了國內(nèi)互聯(lián)網(wǎng)+的熱潮后決定回國創(chuàng)業(yè)，把成熟的A/B測試技術(shù)以公有云的方式提供給國內(nèi)企業(yè)和開發(fā)者。

吆喝科技的產(chǎn)品叫做AppAdhoc Optimizer，這是基于A/B測試的優(yōu)化平臺，于2015年4月全面上線，目前已經(jīng)有100多家試用客戶。吆喝科技支持試驗流量動態(tài)控制、多變量組合試驗、大量并行試驗、針對特定人群的定向試驗等，其SDK不僅支持Web（HTML5）端A/B測試，還支持原生移動APP（iOS、Android）端。吆喝科技目前的投資機構(gòu)包括峰瑞資本、極客邦等。

2016年將成為互聯(lián)網(wǎng)+行動的關(guān)鍵之年，無論傳統(tǒng)企業(yè)的互聯(lián)網(wǎng)服務(wù)，還是眾多的O2O和電商創(chuàng)業(yè)公司，都可以通過A/B測試這樣的專業(yè)工具，研究在線用戶行為、提高運營效率，避免經(jīng)驗主義和直覺式思維的陷阱。

A/B測試告訴我們，互聯(lián)網(wǎng)+時代“領(lǐng)導(dǎo)說了”不算數(shù)，“數(shù)據(jù)說話”才算數(shù)。