CDPQ是加拿大魁北克省蒙特利爾市一家公司，該公司管理著加拿大魁北克的公共部門(mén)養(yǎng)老基金。該公司正面臨一個(gè)棘手的問(wèn)題：如何監(jiān)管其數(shù)據(jù)科學(xué)家和業(yè)務(wù)分析師基于分析應(yīng)用所做的工作，同時(shí)還不會(huì)妨礙他們的工作。

作為新數(shù)據(jù)管理架構(gòu)的一部分，其設(shè)計(jì)是為幫助提升其分析能力，CDPQ在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部設(shè)置了分離的數(shù)據(jù)沙箱，給分析師提供探索和原型用途。CDPQ負(fù)責(zé)建模和業(yè)務(wù)分析的高級(jí)主管Luc Veillette介紹，他們的目標(biāo)是為分析師們清理道路，快速研制算法并對(duì)業(yè)務(wù)問(wèn)題給出答案——最終實(shí)現(xiàn)更好的投資計(jì)劃和投資組合管理決策。

但是，這并不意味著可以全權(quán)委托。CDPQ的數(shù)據(jù)治理項(xiàng)目包括一組使用規(guī)則，例如：只要有可用的官方公司數(shù)據(jù)源，分析師們必須使用這些數(shù)據(jù)源;分析模型需要在審計(jì)階段審查。他和其它經(jīng)理們還要對(duì)分析活動(dòng)保持關(guān)注。

他說(shuō)：“我們對(duì)于我們的數(shù)據(jù)科學(xué)家做什么，努力形成集中的認(rèn)識(shí)。另外CDPQ想確保分析過(guò)程有文檔記錄下來(lái)，而且數(shù)據(jù)不會(huì)被誤用。即便如此，治理工作也并不是高壓強(qiáng)制措施，而是一種協(xié)作行為，為了讓業(yè)務(wù)單元持續(xù)走上數(shù)據(jù)驅(qū)動(dòng)的發(fā)展方向。”

Intuit公司個(gè)人理財(cái)軟件開(kāi)發(fā)者已經(jīng)把這種協(xié)作帶到了另一個(gè)層面。兩年前，Intuit把其150人的分析團(tuán)隊(duì)安置為法務(wù)部門(mén)的一部分，并且讓律師們和分析經(jīng)理、數(shù)據(jù)科學(xué)家和其他員工配合工作，一起確立訪問(wèn)和分析不同客戶(hù)數(shù)據(jù)集的規(guī)則，使各個(gè)產(chǎn)品線配合更加緊密。

分析應(yīng)用程序的不同優(yōu)先級(jí)

Laura Fennell是Intuit公司的高級(jí)副總裁，兼法律顧問(wèn)和秘書(shū)，他說(shuō)此舉是因擴(kuò)展分析應(yīng)用的需求而產(chǎn)生的，為了推動(dòng)產(chǎn)品研發(fā)和市場(chǎng)策略，同時(shí)維護(hù)客戶(hù)個(gè)人信息，盡力避免任何形式的數(shù)據(jù)誤用。誤用可能會(huì)損害加利福尼亞州Mountain View公司的名聲。

Fennell說(shuō)：“我們必須做正確的事。分析的利益是巨大的，但是風(fēng)險(xiǎn)也是巨大的。我們客戶(hù)的信任就是品牌的一切。這是我們客戶(hù)的數(shù)據(jù)，不是我們的數(shù)據(jù)。涉及信息總量巨大：截止今年年初，我們有超過(guò)五千萬(wàn)客戶(hù)，數(shù)據(jù)累積超過(guò)6PB。”

分析團(tuán)隊(duì)負(fù)責(zé)人Bill Loconzolo在剛剛結(jié)束的Strata+Hadoop2015全球大會(huì)上展示了一次聯(lián)合演示，F(xiàn)ennell承認(rèn)“我們對(duì)關(guān)系的處理真是萬(wàn)事開(kāi)頭難”。法律團(tuán)隊(duì)看到了大量需要保護(hù)的敏感數(shù)據(jù)，數(shù)據(jù)科學(xué)家質(zhì)疑如果在流程中有律師參與，他們?cè)趺茨茏龀鰜?lái)創(chuàng)新性的分析工作。Loconzolo說(shuō)，即便現(xiàn)在，為什么分析團(tuán)隊(duì)屬于法律部門(mén)也仍然是“一個(gè)不斷被問(wèn)及的問(wèn)題，我們一直在解答這個(gè)問(wèn)題”，每次他和其他管理者們招募到了新的分析師就需要解釋一次。

但是，Loconzolo說(shuō)這種搭配經(jīng)證明是有好處的，他現(xiàn)在的頭銜是數(shù)據(jù)工程副總裁。在此之前，分析團(tuán)隊(duì)主要是為明確客戶(hù)數(shù)據(jù)保護(hù)措施而努力工作，作為獨(dú)立的業(yè)務(wù)單元一對(duì)一的交流，法律團(tuán)隊(duì)在形成技術(shù)決策以后提供輸入。但是，Loconzolo說(shuō)這樣做流程太慢而且“極其痛苦”，可能會(huì)要幾年時(shí)間才能完成整個(gè)公司64個(gè)產(chǎn)品名錄的相關(guān)工作。Intuit加快了這項(xiàng)工作，把更多數(shù)據(jù)放到了專(zhuān)為分析用途建立的私有云，經(jīng)過(guò)這樣的集中化處理，就把律師從業(yè)務(wù)單元帶到了原始數(shù)據(jù)的面前。

律師們還必須調(diào)整他們對(duì)新流程環(huán)節(jié)的認(rèn)識(shí)。Fennell說(shuō)：“我們的工作必須調(diào)整，不能只是說(shuō)不行，要考慮我們?cè)鯓幽苁构ぷ鬟\(yùn)轉(zhuǎn)起來(lái)。目標(biāo)不是完全鎖定在客戶(hù)數(shù)據(jù)，而是要弄清楚如何使數(shù)據(jù)量合適，以便分析師們可以完成他們的工作。要避免不同方向兩頭使勁，他們要把待分析數(shù)據(jù)訪問(wèn)的目標(biāo)共享出來(lái)，讓大家都能有分析用途的數(shù)據(jù)訪問(wèn)，也分擔(dān)了實(shí)現(xiàn)那些目標(biāo)的職責(zé)。”

Rent the Runway 是紐約一家創(chuàng)業(yè)公司，該公司利用互聯(lián)網(wǎng)租借禮服和時(shí)尚配飾用于婚禮、聚會(huì)派對(duì)和其它活動(dòng)。該公司要處理的數(shù)據(jù)比Intuit少，但是對(duì)于處理系統(tǒng)中的客戶(hù)數(shù)據(jù)避免步驟出錯(cuò)也有類(lèi)似的擔(dān)憂。

Vijay Subramanian是該公司的首席分析官。他說(shuō)：“這正是我們思考的內(nèi)容。我們的理念是‘客戶(hù)至上，信任第一’”。由于Rent the Runway 公司現(xiàn)在還沒(méi)有自己的法務(wù)部門(mén)，所以他在外面聘請(qǐng)律師來(lái)操作，審核在線表單收集的尺碼信息和其他數(shù)據(jù)，這些數(shù)據(jù)會(huì)導(dǎo)入到網(wǎng)站的推薦引擎中用來(lái)幫助給訪問(wèn)網(wǎng)站的用戶(hù)推薦他們可能喜歡的服飾。

為分析項(xiàng)目限制時(shí)間

該創(chuàng)業(yè)公司資源非常有限，而其業(yè)務(wù)需求變化很快。結(jié)果，Subramanian試圖限制他的團(tuán)隊(duì)所做開(kāi)發(fā)項(xiàng)目的周期不超過(guò)三個(gè)月到六個(gè)月。他說(shuō)：“對(duì)于要做的業(yè)務(wù)來(lái)說(shuō)，超過(guò)這個(gè)時(shí)間范圍就有巨大風(fēng)險(xiǎn)，我們沒(méi)有那么奢侈的時(shí)限。”

Rent the Runway公司的數(shù)據(jù)科學(xué)家們使用Python或者開(kāi)源R編程語(yǔ)言來(lái)編寫(xiě)機(jī)器學(xué)習(xí)算法，包括增強(qiáng)的推薦引擎和用于微調(diào)定價(jià)的需求預(yù)測(cè)系統(tǒng)。為幫助保證開(kāi)發(fā)流程向前推進(jìn)，Subramanian采用了所謂的最小化變化產(chǎn)品方法學(xué)，該策略限制算法實(shí)現(xiàn)盡可能少的功能并高效實(shí)現(xiàn)。他說(shuō)，然后數(shù)據(jù)科學(xué)家們可以回過(guò)頭來(lái)在另一輪開(kāi)發(fā)周期中再添加算法，他希望在項(xiàng)目中避免“沙漠中漫無(wú)目的的游蕩”。

在后端，Rent the Runway公司把數(shù)據(jù)放到數(shù)據(jù)倉(cāng)庫(kù)，使用了HP的Vertica數(shù)據(jù)庫(kù)，把來(lái)自MySQL系統(tǒng)的傳統(tǒng)數(shù)據(jù)和來(lái)自MongoDB的NoSQL數(shù)據(jù)(存儲(chǔ)關(guān)于對(duì)服飾的態(tài)度評(píng)價(jià)信息)，還有跟蹤網(wǎng)站活動(dòng)的JSON日志文件混存到了一起。隨著該公司數(shù)據(jù)量的增長(zhǎng)，Subramanian說(shuō)他希望最終在Vertica之前增加一套Hadoop系統(tǒng)作為資產(chǎn)存儲(chǔ)所有原始數(shù)據(jù)。

在他們公司有一件事永遠(yuǎn)不會(huì)落伍，就是在利用分析應(yīng)用改善業(yè)務(wù)方面做投資。Rent the Runway公司需要數(shù)據(jù)來(lái)驅(qū)動(dòng)成功。他強(qiáng)調(diào)說(shuō)：“我們看起來(lái)像是常規(guī)的時(shí)尚業(yè)公司，但是我們必須有良好的數(shù)據(jù)存儲(chǔ)使消費(fèi)者信服，進(jìn)而只租不買(mǎi)”。