2018年云棲ATEC金融科技開放峰會上，螞蟻金服重點發(fā)布了新產(chǎn)品“金融數(shù)據(jù)+智能套件”，該套件包含金融計算引擎、數(shù)據(jù)智能中臺、智能應(yīng)用等組件，整合了許多世界級數(shù)據(jù)處理與智能分析能力，包括國內(nèi)首個金融級圖數(shù)據(jù)庫GeaBase、實時計算引擎，以及領(lǐng)先的視覺識別、數(shù)據(jù)智能能力，有效解決過去銀行數(shù)據(jù)分析決策困難、迭代周期長等數(shù)據(jù)智能困局。

今天，我們將重點介紹其中的關(guān)鍵組件——金融級圖數(shù)據(jù)庫GeaBase，它有效解決了海量復雜關(guān)系數(shù)據(jù)的離在線查詢和分析。

試想一下，在金融場景中，數(shù)據(jù)的組織方式本質(zhì)上很多是以關(guān)系圖譜的方式存在的。在數(shù)字金融時代，銀行獲得了場景后，如何發(fā)現(xiàn)數(shù)據(jù)關(guān)聯(lián)進行決策?

一般的在線查詢使用關(guān)系型數(shù)據(jù)庫，但是，關(guān)系型數(shù)據(jù)庫不能很好地反應(yīng)數(shù)據(jù)之間的內(nèi)在關(guān)聯(lián);同樣，傳統(tǒng)的基于大數(shù)據(jù)的深度學習算法，依靠統(tǒng)計學原理對模型進行訓練，并沒有考慮數(shù)據(jù)和數(shù)據(jù)之間的內(nèi)在關(guān)系。所以，螞蟻開發(fā)了基于圖推理的引擎，為深度學習等支持上層業(yè)務(wù)的應(yīng)用搭建計算存儲基礎(chǔ)，打造更完整的金融大數(shù)據(jù)鏈路。

GeaBase是螞蟻金服完全自主研發(fā)的新一代金融級實時分布式圖數(shù)據(jù)庫，能夠?qū)崿F(xiàn)對超大規(guī)模關(guān)系網(wǎng)絡(luò)毫秒級的復雜查詢及變更，支撐螞蟻金服風險控制、資金關(guān)系等多個關(guān)鍵應(yīng)用場景，并都達到百億個節(jié)點，千億條變量的海量數(shù)據(jù)規(guī)模，為螞蟻金服的眾多業(yè)務(wù)提供風險控制、反洗錢、反套現(xiàn)、金融案件審理和智能營銷推薦等保障和服務(wù)。

GeaBase歷經(jīng)三年自主研發(fā)，團隊持續(xù)擴大，并吸引眾多海歸工程師。目前GeaBase不僅支持了螞蟻金服越來越多的高并發(fā)、低延時的業(yè)務(wù)場景，而且也被廣泛應(yīng)用于阿里巴巴集團的其他業(yè)務(wù)場景中。

下面，通過對螞蟻金服計算存儲首席架構(gòu)師何昌華、螞蟻金服基礎(chǔ)技術(shù)部圖計算及存儲技術(shù)團隊等的訪談，我們一起來了解一下GeaBase，以及透過它，我們可以看到的未來金融數(shù)據(jù)智能藍圖中圖分析能力的力量。

GeaBase在螞蟻金服的實踐

圖數(shù)據(jù)庫基本含義是以“圖”這種數(shù)據(jù)結(jié)構(gòu)存儲和查詢數(shù)據(jù)。它起源于圖理論，數(shù)據(jù)模型主要是以節(jié)點和關(guān)系(邊)來體現(xiàn)，它的優(yōu)點是快速解決復雜的關(guān)系問題。圖數(shù)據(jù)庫在金融行業(yè)中有非常廣泛的應(yīng)用，比如反欺詐。

我們都知道，大數(shù)據(jù)應(yīng)用讓很多企業(yè)機構(gòu)在這個數(shù)字經(jīng)濟時代享受到優(yōu)勢。而由于用戶、系統(tǒng)和傳感器產(chǎn)生的數(shù)據(jù)量呈指數(shù)增長，數(shù)據(jù)內(nèi)部依賴和復雜度增加等發(fā)展因素，許多需要連續(xù)兩次甚至更多join以上的數(shù)據(jù)查詢場景在互聯(lián)網(wǎng)行業(yè)應(yīng)用中誕生，傳統(tǒng)關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)算法無法滿足日益增長的數(shù)據(jù)處理要求。

除此之外，在實際發(fā)展中，隨著關(guān)系型數(shù)據(jù)庫使用場景的不斷擴大，也暴露出一些它始終無法解決問題，其中最主要的是數(shù)據(jù)建模中的一些缺陷、以及在大數(shù)據(jù)量和多服務(wù)器之上進行水平伸縮的限制。在應(yīng)對這些趨勢時，關(guān)系數(shù)據(jù)庫產(chǎn)生了更多的不適應(yīng)性，從而導致大量解決這些問題中某些特定方面的不同技術(shù)出現(xiàn)，其中，圖數(shù)據(jù)庫成為了NoSQL中關(guān)注度最高、發(fā)展趨勢最明顯的數(shù)據(jù)庫。根據(jù)db-engines統(tǒng)計，圖數(shù)據(jù)庫過去幾年在市場的發(fā)展呈現(xiàn)出快速增長的趨勢。

有人說如果傳統(tǒng)關(guān)系型數(shù)據(jù)庫可以比做火車，圖數(shù)據(jù)庫則相當于大數(shù)據(jù)時代的高鐵。如上述所指，隨著大數(shù)據(jù)應(yīng)用越來越廣泛，人們逐漸開始關(guān)注到，如何在巨大的關(guān)系網(wǎng)絡(luò)中快速發(fā)現(xiàn)有價值的信息，成為了未來數(shù)年大數(shù)據(jù)領(lǐng)域的一大挑戰(zhàn)。

“比如在資金關(guān)系網(wǎng)絡(luò)中，如果我們發(fā)現(xiàn)資金的流動形成一個閉環(huán)，這就很可能是一個洗錢行為的訊號。”付志嵩介紹道。付志嵩是目前螞蟻金服圖計算及存儲技術(shù)團隊高級專家，他2015年加入螞蟻金服，作為主要架構(gòu)設(shè)計和研發(fā)人員參與了實時分布式圖數(shù)據(jù)庫GeaBase的開發(fā)，實現(xiàn)了對超大規(guī)模關(guān)系網(wǎng)絡(luò)毫秒級的復雜查詢及變更。目前團隊的主要職責是研發(fā)新一代的分布式圖數(shù)據(jù)庫和圖計算產(chǎn)品?；貒埃吨踞苑?wù)于美國圖數(shù)據(jù)庫公司BlazeGraph，領(lǐng)導了分布式圖計算系統(tǒng)的設(shè)計和開發(fā)。

他介紹，此前全球主流商用圖數(shù)據(jù)庫完全由國外商業(yè)公司壟斷，導致我國在技術(shù)上無法自主可控，而且這些商用圖數(shù)據(jù)庫在擴展性，易用性，性能上都無法滿足金融大數(shù)據(jù)的需求。這些挑戰(zhàn)體現(xiàn)在：

1、海量數(shù)據(jù)的現(xiàn)狀;

2、高并發(fā)、低延時的在線查詢;

3、金融業(yè)務(wù)場景復雜，需要一套靈活可擴展的查詢語言，支持不斷迭代的場景;

4、需要適配不同數(shù)據(jù)源和數(shù)據(jù)導入方式;

5、需要高可用及多種容錯機制;

6、考慮用戶使用體驗，產(chǎn)品化過程必須要有簡單的經(jīng)營流程。

GeaBase為螞蟻金服自主研發(fā)，針對自身面臨的海量數(shù)據(jù)規(guī)模、復雜網(wǎng)絡(luò)和大規(guī)模實時計算的需求，經(jīng)過兩年多的發(fā)展，通過采用新的架構(gòu)設(shè)計和算法，滿足了螞蟻金服自身金融場景的特點和需求，在螞蟻金服眾多業(yè)務(wù)場景中，取得了非常好的效果，實現(xiàn)了高可用、高穩(wěn)定性和可用性、高性能和實時更新的性能優(yōu)勢。

值得一提的是，我們也知道，螞蟻金服還自主研發(fā)了取代商業(yè)數(shù)據(jù)庫的OceanBase?？偟膩碚f，螞蟻金服使用關(guān)系型數(shù)據(jù)庫、圖數(shù)據(jù)庫以及圖計算，三者各自對應(yīng)不同場景。從技術(shù)實現(xiàn)層面講，螞蟻金服的圖數(shù)據(jù)庫主要有兩大應(yīng)用場景，一是在線查詢，該部分主要包括實時風控、實時營銷等，這些場景可統(tǒng)稱為實時決策，螞蟻金服需要在短時間內(nèi)迅速做出決策，比如某筆轉(zhuǎn)賬是否為洗錢或者賭博;二是離線計算，以及知識圖譜等。

這些問題都可通過圖數(shù)據(jù)庫解決，但并不能完全解決所有問題，比如機器學習圖模型、分析型反欺詐模型等，在線查詢局限在固定范圍內(nèi)讀取數(shù)據(jù)，可保證低時延響應(yīng)。但是，當計算需要全圖迭代時，在線查詢性能非常差，離線計算可以很好解決全圖迭代問題。

總結(jié)而言，螞蟻金服解決方案GeaBase(Graph Exploration and Analytics)集合了在線查詢與離線計算兩大能力，是一個一站式大規(guī)模分布式圖處理平臺。GeaBase的設(shè)計目標主要是兩大應(yīng)用場景，一是高并發(fā)低延時在線查詢場景，二是全圖迭代的離線計算場景。主要提供四大功能，一是數(shù)據(jù)CRUD，增刪查改操作;二是查詢FLWOR;三是在線分析，比如風控中使用較多的找閉環(huán);四是離線操作。

GeaBase：助力未來金融數(shù)據(jù)智能

隨著螞蟻金服圖數(shù)據(jù)庫解決方案GeaBase，以及更多計算存儲技術(shù)的開放，金融科技領(lǐng)域，將因金融數(shù)據(jù)智能能力的提升衍生出更大的想象空間。

螞蟻金服計算存儲首席架構(gòu)師何昌華，加入螞蟻后，帶領(lǐng)團隊研發(fā)并上線了螞蟻實時智能決策系統(tǒng)，著力于解決端到端秒級數(shù)據(jù)實時性，線下模型訓練和線上決策數(shù)據(jù)一致性，以及業(yè)務(wù)智能化門檻高和開發(fā)周期長等問題。目前，他聚焦于新一代數(shù)據(jù)技術(shù)架構(gòu)以及金融級計算的自主研發(fā)，圖數(shù)據(jù)庫解決方案GeaBase，是其中的一環(huán)。

在加入螞蟻金服之前，何昌華先后在Google搜索架構(gòu)部門、Airbnb等公司工作，專注于大規(guī)模的分布式系統(tǒng)及大數(shù)據(jù)架構(gòu)與智能應(yīng)用。

他表示，在過去的十幾年里，螞蟻金服打造了安全流暢的支付交易鏈路，而金融計算存儲，更多的是指底下一層的大數(shù)據(jù)鏈路，包括用戶怎么使用支付寶、產(chǎn)生了哪些交易等，并從中提取出更多邏輯關(guān)聯(lián)，如前文所述，輔助反欺詐、風險控制、智能推薦等各個場景的決策，幫助交易的安全和體驗提升。

我們可以看到，金融科技發(fā)展到今天，我們很好地解決了連接的問題，但數(shù)字金融的含義遠不止于此。無論是體現(xiàn)在風險控制、宏觀經(jīng)濟研究，還是金融產(chǎn)品設(shè)計與銷售等環(huán)節(jié)，在AI、物聯(lián)網(wǎng)等技術(shù)的幫助下，數(shù)字金融還將迎來更廣闊的空間。何昌華指出，AI未來將是金融行業(yè)的核心競爭力之一，今天螞蟻金服的極大部分業(yè)務(wù)也都基于AI來展開?；仡欉^去，大規(guī)模深度學習大約在五年前開始興起，這主要也是因為數(shù)據(jù)的爆炸性增長以及分布式計算能力的提升。未來假設(shè)在某個場景，基于同樣量級的數(shù)據(jù)、同等成本上，如果能夠進行比別人更多更快的計算，那就會在競爭上產(chǎn)生優(yōu)勢。

此前，螞蟻金服通過“BASIC”開放戰(zhàn)略，在金融領(lǐng)域構(gòu)建了一個自底向上的全棧式架構(gòu)，從具有金融級別支撐能力的分布式計算平臺等底層技術(shù)，到人工智能、區(qū)塊鏈等為代表的應(yīng)用技術(shù)，再到以智能風控、生物核身等金融級專有技術(shù)，形成了完整的技術(shù)堆棧，以建立與金融機構(gòu)更多層面的緊密連接，助力金融機構(gòu)打造更開放、多樣、靈活的生態(tài)連接。面對未來的趨勢，眾多金融機構(gòu)因此在數(shù)字化轉(zhuǎn)型路徑中，將構(gòu)建數(shù)據(jù)智能中臺作為重中之重。

而構(gòu)建一個能夠貫穿整個金融機構(gòu)的大數(shù)據(jù)中臺后，隨之而來的是發(fā)揮數(shù)據(jù)在業(yè)務(wù)和技術(shù)中承上啟下的作用。用何昌華的話來說，“單位成本更低更易用的大規(guī)模計算能力，將成為未來金融行業(yè)的核心優(yōu)勢，這就是我們定義的新計算，希望全力打造的核心地帶。”

何昌華透露，在打造這條基礎(chǔ)計算的鏈路中，GeaBase現(xiàn)在提供的不僅僅是一個圖數(shù)據(jù)庫，而是作為整個圖數(shù)據(jù)計算的大底盤，在它上面我們可以進行更多高效圖計算，從而更好地支持業(yè)務(wù)。“它不在支付系統(tǒng)里面，它布局在許多底層的數(shù)據(jù)處理系統(tǒng)中，最后在數(shù)據(jù)上提煉出一層知識，然后再提煉一層，最終形成實時智能決策能力，來支持支付，以及各類金融屬性的業(yè)務(wù)。”

存儲、架構(gòu)、算法：實時圖數(shù)據(jù)庫的誕生

回憶起圖數(shù)據(jù)庫研究的起源，研發(fā)團隊表示，面對互聯(lián)網(wǎng)時代的海量數(shù)據(jù)，以及背后的知識圖譜，“大家慢慢地回過頭來看，發(fā)現(xiàn)這個任務(wù)用‘圖’表示最好，能夠非常清晰地表示出點和點、實體和實體之間的關(guān)系。”

但回顧起圖數(shù)據(jù)庫研究領(lǐng)域的起源，研發(fā)團隊表示，從一開始，螞蟻金服的思路和市場上的圖數(shù)據(jù)庫就不一樣，螞蟻金服決定做的方向，是分布式的圖數(shù)據(jù)庫。

老一代圖數(shù)據(jù)庫，可以理解為是單機版的，這也是其很難適應(yīng)數(shù)據(jù)爆發(fā)時代的需求的原因。舉個例子，如果用圖表示大量的數(shù)據(jù)，涉及的是數(shù)百億的點、數(shù)千億的邊，這樣的話，單機上是肯定放不下的，“在海量的數(shù)據(jù)挑戰(zhàn)下，慢慢地就開始出現(xiàn)分布式的‘圖’。”

但這個時候，圖數(shù)據(jù)庫的雛形還不算真正建立。設(shè)想一下，在多臺機子上做圖計算，面臨的最大挑戰(zhàn)就是，傳統(tǒng)的算法幾乎失了效。這個時候就必須創(chuàng)造新的算法來完成分布式圖計算。

所以，在整個互聯(lián)網(wǎng)科技行業(yè)中，有了后來Google研發(fā)分布式圖計算框架Pregel，開啟了在分布式圖上做算法研究的先河，比如典型的算法PageRank。但是，GeaBase研發(fā)團隊指出，這些研究方向適用于離線場景，而螞蟻金服應(yīng)對的是大規(guī)模金融業(yè)務(wù)要實現(xiàn)實時決策的挑戰(zhàn)，需要面對“百億個節(jié)點萬億條邊的超大規(guī)模，并且實時更新的關(guān)系圖進行高并發(fā)低延時的讀寫”。

金融的業(yè)務(wù)場景對于實時性的要求都很高，比如說在轉(zhuǎn)賬的時候，我們幾乎需要在這一瞬間判斷這一筆轉(zhuǎn)賬是不是有風險，要求響應(yīng)速度非常的高，才能把錢在一秒之中轉(zhuǎn)出去。但在這個過程中除了風險控制之外，還有很多其他的操作，真正留給風控來檢查的時間大概也就兩百毫秒左右，在這兩百毫秒內(nèi)我們要做規(guī)則的判斷、數(shù)據(jù)及其特征的提取及最終判斷這筆轉(zhuǎn)賬的風險，所以每一個毫秒我們都要盡力爭取。

為應(yīng)對獨特的業(yè)務(wù)需求，螞蟻金服從2015年開始研發(fā)新一代金融級實時分布式圖數(shù)據(jù)庫GeaBase(Graph Exploration and Analytics Database)，并逐漸投入使用。根據(jù)測試，GeaBase在各方面的的性能達到了行業(yè)先驅(qū)圖數(shù)據(jù)庫Titan的四十倍到九十倍。

GeaBase第一次接受實際業(yè)務(wù)場景壓力測試，是在2016年的春節(jié)期間。“當時我們都加班在辦公室守著，火鍋年夜飯都開成流水席了。但成就感真的很高啊!”

GeaBase技術(shù)上的兩個“極致”

金融級的業(yè)務(wù)挑戰(zhàn)讓開發(fā)團隊在技術(shù)路線的選擇不敢有半點懈怠，投入了分布式圖數(shù)據(jù)庫的領(lǐng)域;而讓GeaBase走得更遠的，是背后追求極致的工程化精神。

機器性能壓到了極致

螞蟻金服計算存儲首席架構(gòu)師何昌華指出，GeaBase實現(xiàn)了海量數(shù)據(jù)里高并發(fā)、低延時的在線查詢，但是，螞蟻金服的機器數(shù)卻是用得更少的。一般情況下，當規(guī)模上去以后，技術(shù)上也可以去用更多的機器去解決高并發(fā)難題。但螞蟻金服的做法并不是堆機器，而是把單機的性能壓到了極致，效率、成本上有明顯的優(yōu)勢。

工程研發(fā)追求極致

GeaBase將圖數(shù)據(jù)庫從單機版做到了橫向擴展，但回憶起當年，團隊有兩名老員工，其中有一個覺得不靠譜，轉(zhuǎn)崗了，最后只剩下一個人，后來才重新招了很多人。“反正大家都覺得沒信心。”

在我們當時做的時候，目標之一就是我們一開始就做分布式的，因為這種數(shù)據(jù)量級單機是不可能hold住的，一定是橫向擴展、分布式的。但我們決定自己做的時候，連自己團隊的人，他們都認為這個東西不可能做的成功，因為市場上已經(jīng)有了相關(guān)圖數(shù)據(jù)庫產(chǎn)品，它給人們對圖數(shù)據(jù)的認知已經(jīng)定格。但是這個東西都沒有辦法能夠達到我們對OLTP的需求，比如說幾十毫秒的訪問的延時，以及高并發(fā)的訪問。當時我們就決定自己做，但當我把架構(gòu)設(shè)計思路和團隊講了之后，連團隊自己內(nèi)部的同學都覺得不可行，都對這個事情失去了信心。

大家覺得這怎么可能呢?這怎么能做到呢?當時都是這么想的。

其實，這些想法可能跟我在硅谷的經(jīng)歷有關(guān)系，很多時候我會對coding，或者性能要求會很嚴格。在國內(nèi)，由于業(yè)務(wù)導向的原因，大多數(shù)開發(fā)者是把功能做出來，但是對于實現(xiàn)的方法上并沒有那么關(guān)注。做業(yè)務(wù)，可能晚一個禮拜出來，這個市場就沒了。但是做基礎(chǔ)技術(shù)研發(fā)不一樣，做基礎(chǔ)技術(shù)研發(fā)的話，如果能把它做到極致，我情愿追求極致，晚一點完成。

當時我就跟團隊說，不管你覺得可以還是不可以，我們現(xiàn)在就在做這個，一切后果我來承擔。后來就開始做，做出來的效果后來還不錯，大家就開始慢慢變得有信心了?，F(xiàn)在團隊的凝聚力還不錯，也是因為大家覺得這個東西非常有做頭而且也是看到了未來方向之一。

這樣的嚴謹和極致，在實際運行中就體現(xiàn)出穩(wěn)定性的優(yōu)勢。“比如當時花了很多時間寫單元測試，但后續(xù)需要重構(gòu)的時候，因為有了單元測試保護，就不會擔心重構(gòu)后語義會和原來不一樣。這樣為后續(xù)打造的效率，節(jié)省下來的時間，遠遠超過一開始花的時間。”

走向開放的生態(tài)與能力共建

有很多人會覺得疑惑，會因為目前圖數(shù)據(jù)庫的應(yīng)用領(lǐng)域有限，就質(zhì)疑花這樣的代價去自研、去打造一個新興圖數(shù)據(jù)庫解決方案的價值。對此，何昌華表示，圖計算是一個廣義的領(lǐng)域，當前金融行業(yè)是其非常強的場景，螞蟻也因此而在圖數(shù)據(jù)庫有大量的投入，未來，隨著數(shù)字金融場景的驅(qū)動，圖計算、圖數(shù)據(jù)庫技術(shù)的價值也會被驗證，并逐漸發(fā)展起來。因為其實在金融以外的行業(yè)，同樣對圖計算有大量的需求。

“想象一下，未來的數(shù)字經(jīng)濟時代，IoT時代，海量的數(shù)據(jù)之間也會有千絲萬縷的關(guān)系，圖計算技術(shù)也將投入到更多場景的服務(wù)當中。”

目前，GeaBase的能力已在螞蟻金服自身業(yè)務(wù)場景中得到驗證，未來，GeaBase也將以開放的姿態(tài)走向市場，與更多生態(tài)合作伙伴一起，助力更多金融機構(gòu)推動普惠金融發(fā)展。

付志嵩透露，GeaBase公測產(chǎn)品已經(jīng)在螞蟻金服|金融科技官網(wǎng)上線，團隊將把GeaBase解決方案打造成技術(shù)服務(wù)平臺進行開放，和更多企業(yè)機構(gòu)、開發(fā)者合作共建更豐富的產(chǎn)品和服務(wù)、生態(tài)能力。