分布式數(shù)據(jù)庫助力企業(yè)IT數(shù)字化轉(zhuǎn)型

責(zé)任編輯:cres

2023-05-11 14:12:27

來源:企業(yè)網(wǎng)D1Net

原創(chuàng)

OceanBase解決方案部泛互行業(yè)總經(jīng)理弓子介分享了分布式數(shù)據(jù)庫助力企業(yè)IT數(shù)字化轉(zhuǎn)型。

5月10日,由企業(yè)網(wǎng)D1Net舉辦的2023全國CIO大會盛大召開。本屆大會以“企業(yè)承壓,IT怎么干?”為主題,匯集300+企業(yè)CIO及IT高管,旨在搭建CIO與同行交流的高質(zhì)量交流和社交平臺,通過觀點與思想的激烈碰撞,可落地的實戰(zhàn)干貨分享,幫助CIO用戶群化解困惑和焦慮,助力廣大CIO找準(zhǔn)數(shù)字化機遇、少走彎路,應(yīng)對數(shù)字化轉(zhuǎn)型過程中的諸多挑戰(zhàn)。主論壇外,另設(shè)新安全、數(shù)據(jù)賦能、新技術(shù)增效三個分論壇。包括CIO中年職業(yè)危機應(yīng)對也是本次大會的議題之一。
 
以下是現(xiàn)場速記。
 


OceanBase解決方案部泛互行業(yè)總經(jīng)理 弓子介
 
弓子介:在座的各位嘉賓,我叫弓子介,是2015年加入阿里,OceanBase是一款技術(shù)產(chǎn)品數(shù)據(jù)庫,今天又來了很多CIO,聊了很多數(shù)字化轉(zhuǎn)型,我是2015年加入以后正好趕上阿里系內(nèi)部的移動互聯(lián)網(wǎng)Timing,所以今天想跟大家分享阿里系內(nèi)部從原先的IOE單體架構(gòu),面臨“雙十一”在線高并發(fā)場景的思考。
 
大家一直都在談數(shù)字化,坦白講,技術(shù)都是為業(yè)務(wù)服務(wù)的。最近二十年,隨著互聯(lián)網(wǎng)的發(fā)展,剛才波士登的CIO也提到很多商業(yè)模式從線下的門店零售變成在線化。整個業(yè)務(wù)是不確定性的,很難預(yù)測明年或者下一個季度需要多少IT支撐才能滿足業(yè)務(wù),整個技術(shù)架構(gòu)都是業(yè)務(wù)驅(qū)動的。最近十幾年大家都在做企業(yè)IT數(shù)字化轉(zhuǎn)型,整個IaaS層也是從原先采購硬件的主機到后來采用虛擬化的方式提升整個IT運營成本,現(xiàn)在大家的業(yè)務(wù)也分為穩(wěn)態(tài)業(yè)務(wù)和敏態(tài)業(yè)務(wù),一般敏態(tài)業(yè)務(wù)可以預(yù)測,上云投入產(chǎn)出比是最高的。最近五年的發(fā)展也是經(jīng)過單體架構(gòu)變成微服務(wù)化架構(gòu),再到最近的容器化,整個技術(shù)架構(gòu)、中間數(shù)據(jù)架構(gòu)一直沒有一個很好的方法論。
 
今天結(jié)合OceanBase在螞蟻的實踐給大家做一個分享。
 
數(shù)據(jù)架構(gòu)伴隨應(yīng)用架構(gòu)和基礎(chǔ)設(shè)施架構(gòu)的演進,主要面臨幾個方面的問題:業(yè)務(wù)的不確定性,很難快速預(yù)估未來通過抖音投放和渠道投放需要多少硬件,這些對數(shù)據(jù)要有快速彈性的需求。現(xiàn)在已經(jīng)不光是交易數(shù)據(jù),尤其是很多創(chuàng)新業(yè)務(wù),去做IoT、RFID,采集車端這些非結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù),這些數(shù)據(jù)已經(jīng)很難通過傳統(tǒng)的商業(yè)數(shù)據(jù)庫,包括Oracle、MySQL存儲,衍生出來類似Mongo這些內(nèi)存數(shù)據(jù)庫,所以對企業(yè)來說數(shù)據(jù)庫的種類會越來越多,管理成本也會變大。OceanBase認(rèn)為,數(shù)據(jù)庫回到本質(zhì)就是幫助企業(yè)業(yè)務(wù)系統(tǒng)存儲數(shù)據(jù),只要有一款數(shù)據(jù)庫既能滿足聯(lián)機交易,又能滿足企業(yè)決策的報表查詢,包括交易數(shù)據(jù)、IoT半結(jié)構(gòu)化數(shù)據(jù),都是可以放在一個數(shù)據(jù)庫里面,那么對大家來說整個架構(gòu)可以統(tǒng)一,其實也是2015年在螞蟻內(nèi)部希望能夠統(tǒng)一技術(shù)棧的思考。
 
數(shù)據(jù)庫的發(fā)展也是伴隨業(yè)務(wù)的發(fā)展,Oracle到今天為止也有四十年了,但到2000年左右已經(jīng)沒有新的單機數(shù)據(jù)庫或者集中式數(shù)據(jù)庫品類的更新,因為2000年以后移動互聯(lián)網(wǎng)和PC時代來臨,面臨數(shù)據(jù)的爆發(fā)式增長,單機數(shù)據(jù)庫已經(jīng)很難支撐海量存儲,7×24小時聯(lián)機交易場景,所以基礎(chǔ)設(shè)施并沒有趕上業(yè)務(wù)的商業(yè)模式創(chuàng)新,怎么辦呢?只能去想一些妥協(xié)的、中間的解決方案,大家都聽過分庫分表,為什么要分?因為單機性能、容量很難滿足聯(lián)機改易和線上運營,不得不分而治之,所以架構(gòu)在OceanBase看來只是中間態(tài),原先IT存留人員還是之前傳統(tǒng)數(shù)據(jù)庫的年代,數(shù)據(jù)庫的實力有了幾何級的增長,所以對大家來說應(yīng)該也都聽說過,X86硬件故障率都有年化百分比,就是6%。
 
OceanBase數(shù)據(jù)庫可以在應(yīng)用程序微服務(wù)改造完成以后,把運維復(fù)雜度降為原來的集中式數(shù)據(jù)庫,既支持聯(lián)機交易,又支持現(xiàn)在新興的車聯(lián)網(wǎng)IoT數(shù)據(jù),整個企業(yè)統(tǒng)一技術(shù)棧,這是我們以前在螞蟻內(nèi)部的思考方向。
 
剛才講過,OceanBase數(shù)據(jù)庫相比市場上其它大家聽過的數(shù)據(jù)庫,最大的區(qū)別在于,這款數(shù)據(jù)庫是在阿里2010年立項,先解決自身阿里系內(nèi)部數(shù)字化轉(zhuǎn)型遇到的問題。OceanBase剛開始在阿里之前用的也是Oracle、IBM、EMC的存儲,但在2009年首屆“雙十一”,這套架構(gòu)就已經(jīng)扛不住了。為什么?因為天生不是為了在互聯(lián)網(wǎng)場景設(shè)計出來的,我們2010年立項以后在電商場景打磨數(shù)據(jù)庫的彈性和高并發(fā)能力,2015年OceanBase在阿里系內(nèi)部來到電商下游支付場景。
 
跟大家分享一個故事:2015年,支付寶出過一次比較大的輿情故障,就是杭州蕭山光纜2015年5月27日被挖斷了,那個時候還是有很大的社會輿情風(fēng)險。因為當(dāng)時的故障非常典型,就是傳統(tǒng)數(shù)據(jù)庫Oracle主備架構(gòu)情況下網(wǎng)絡(luò)出現(xiàn)中斷,如果大家是支付寶的用戶應(yīng)該也知道,支付寶剛開始去付錢是要跳到網(wǎng)商銀行,不去做帳務(wù)相關(guān)的處理,到了2014年有了余額寶,其實涉及到資金的交易,我們并不敢去做強行的切換,導(dǎo)致當(dāng)時故障花了8個小時,等到網(wǎng)絡(luò)恢復(fù)以后才恢復(fù)。其實這件事情也是加速OceanBase在螞蟻集團的快速落地,在這之后,2015年到2019年,我們花了四年的時間把阿里包括螞蟻內(nèi)部的所有應(yīng)用全部切換到OceanBase,包括借唄、花唄、余額寶都是跑在上面。
 
2020年以后,我們的數(shù)據(jù)庫產(chǎn)品也是被業(yè)務(wù)倒逼往前走,前十年都是在阿里系內(nèi)部面對互聯(lián)網(wǎng)場景,但隨著國內(nèi)的信創(chuàng)走進各行各業(yè),包括金融、政府。我們在做傳統(tǒng)客戶的時候發(fā)現(xiàn),這些架構(gòu)還是停留在原先的Oracle和MySQL,以前大家去跑業(yè)務(wù)的時候并不會像互聯(lián)網(wǎng)一樣嚴(yán)格區(qū)分聯(lián)機交易還是分析查詢,包括報表查詢的服務(wù),會在一個實例上去跑,但在互聯(lián)網(wǎng)場景打磨的數(shù)據(jù)庫走向傳統(tǒng)企業(yè)會發(fā)現(xiàn)一開始水土不服,云廠商提供的數(shù)據(jù)庫只能做聯(lián)機交易,稍微復(fù)雜的查詢就跑不出來了,可能會推薦去用一款數(shù)據(jù)庫,中間通過數(shù)據(jù)的傳輸解決原來可能Oracle一個數(shù)據(jù)庫就能解決的問題。
 
我們2020年發(fā)布OceanBase3.0版本,主要面向國內(nèi)各行各業(yè)的企業(yè)客戶,數(shù)據(jù)庫引擎既可以滿足互聯(lián)網(wǎng)場景的高并發(fā)、點查點讀,也可以支撐原先可能在Oracle X Data運行的復(fù)雜查詢。去年我們發(fā)布4.0版本,其實也是被業(yè)務(wù)倒逼的,因為我們走出阿里以后發(fā)現(xiàn)很多CIO對分布式數(shù)據(jù)庫的認(rèn)知,覺得我們的體量還沒到,現(xiàn)在我們用MySQL和Oracle也還好,并沒有急著去換分布式數(shù)據(jù)庫。4.0版本更多的是希望降低我們數(shù)據(jù)庫的使用門檻和起步成本,可以做一些創(chuàng)新業(yè)務(wù)的時候能夠直接體驗OceanBase。隨著業(yè)務(wù)越來越大,伴隨著業(yè)務(wù)一起成長,不是分布式數(shù)據(jù)庫只有到一個超大體量才能去用。
 
這些就是整個OceanBase四個版本解決的主要痛點,今天參會的很多CIO企業(yè)已經(jīng)在使用。就像剛才主持人介紹的,我們在金融行業(yè)主要是以信創(chuàng)國產(chǎn)化作為切入點,但在當(dāng)前OceanBase走出螞蟻、走向社會也是從金融行業(yè)走向各行各業(yè),現(xiàn)在OceanBase服務(wù)的非金融行業(yè)已經(jīng)超過金融行業(yè)客戶的數(shù)量。
 
OceanBase相比其它友商提供的數(shù)據(jù)庫最大的區(qū)別就是剛才提到的,當(dāng)前國內(nèi)的數(shù)據(jù)庫OceanBase是唯一一款由自研、自用到外部客戶輸出的數(shù)據(jù)庫,不會像其它廠商可能會基于開源直接在云上提供對外服務(wù),可能有這種踩坑的過程,需要企業(yè)一起進行。OceanBase從第一天起就是在螞蟻嚴(yán)苛的Mission-critical去做全場景打磨。
 
OceanBase之所以叫做分布式數(shù)據(jù)庫,主要就是解決互聯(lián)網(wǎng)場景穩(wěn)態(tài)業(yè)務(wù)和敏態(tài)業(yè)務(wù)的沖突。因為我們開發(fā)一個新的業(yè)務(wù)上線投產(chǎn),并不會知道這個業(yè)務(wù)未來發(fā)展的天花板有多高,一開始去做整個IT評估,可能評估多了,也有可能評估少了,這個時候可能就會面臨運營側(cè)流量激增,一下子IT基礎(chǔ)設(shè)施沒有扛住。我們的數(shù)據(jù)庫可以通過Scale Out的方式,以前用云主機和MySQL性能上線就是這臺PC機能夠提供的計算能力,單機上限就是整個系統(tǒng)的吞吐量上限。OceanBase可以通過追加機器橫向地往一個集群堆疊更多的機器,理論上性能是可以快速伴隨業(yè)務(wù)的突變隨時調(diào)整。
 
因為OceanBase本身就是在螞蟻內(nèi)部解決集中式數(shù)據(jù)庫這種主備架構(gòu)腦裂的問題,之前應(yīng)該也有一些報道,云廠商去年年底在某些Region出過大的故障,一個機房掛了整個Region八個小時都沒有辦法服務(wù),當(dāng)時只有OceanBase對外提供服務(wù),其它機房都有出現(xiàn)故障。雖然是小概率事件,但在金融場景和對連續(xù)性要求很高的業(yè)務(wù)場景都是必選項。
 
OceanBase4.0發(fā)布的新特性就是單機分布式一體化,伴隨業(yè)務(wù)從小到大。因為我們每年都會做一些創(chuàng)新的業(yè)務(wù)嘗試,新的業(yè)務(wù)不可能起步就使用特別大的規(guī)格去做業(yè)務(wù)創(chuàng)新,所以針對敏態(tài)創(chuàng)新型的業(yè)務(wù),4.0可以在單機使用,如果業(yè)務(wù)未來有爆發(fā)式的增長也可以快速通過追加機器實現(xiàn)3臺機器、6臺機器的線性增長,并不需要起步很高的配置、很高的規(guī)格才能使用分布式數(shù)據(jù)庫。
 
HTAP這個名詞比較偏技術(shù)術(shù)語,因為我們走進傳統(tǒng)企業(yè),發(fā)現(xiàn)一個業(yè)務(wù)系統(tǒng)無法嚴(yán)格區(qū)分是在線聯(lián)機交易還是復(fù)雜查詢,一般都是混合Workload,無論是國產(chǎn)信創(chuàng)還是成本經(jīng)濟效益考慮,很難遷移到一款數(shù)據(jù)庫,如果是其它云廠商的話。OceanBase希望把簡單留給客戶,把復(fù)雜留給自己,想要去做一個分布式Oracle,解決原先的應(yīng)用,包括DB2、Oracle遷移到OB,或者一個產(chǎn)品替換到另一個產(chǎn)品,不是為了做數(shù)字化轉(zhuǎn)型,一款產(chǎn)品需要八款產(chǎn)品才能解決原先一個數(shù)據(jù)庫解決的場景問題,整個成本只要一份數(shù)據(jù)就能夠滿足業(yè)務(wù)需求。
 
剛才提到的就是OceanBase的優(yōu)勢,站在CIO的角度去做整個數(shù)據(jù)庫的替換決策成本還是挺高的,因為換數(shù)據(jù)庫無異于給非常換發(fā)動機引擎,業(yè)務(wù)不能停,過程還需要盡量低成本。OceanBase在數(shù)據(jù)庫內(nèi)核層面兼容Ocacle11.2以上的版本以及MySQL8.0,相比其它廠商最大的區(qū)別是什么?因為現(xiàn)在很多廠商也說兼容Oracle,可能基于PostGre,OceanBase是原生層面兼容Oracle,就像大家了解Java和C的區(qū)別,Java需要解釋虛擬機的翻譯,因為內(nèi)核是開源PostGre,上面封裝的性能遠遠不如底層數(shù)據(jù)庫內(nèi)核層面實現(xiàn)兼容。為了盡量減少整個異構(gòu)數(shù)據(jù)遷移的決策成本,我們把螞蟻內(nèi)部去O的最佳實踐沉淀了一款遷移工具,叫做OMS,可以端到端地幫助大家在整個異構(gòu)數(shù)據(jù)遷移過程中,所有的風(fēng)險都是可以通過這款工具一鍵完成。
 
OceanBase在阿里系內(nèi)部就是面對這種規(guī)?;倪\維,螞蟻內(nèi)部有上萬個OceanBase實例,規(guī)?;瘓鼍爸谐杀疽彩枪究剂縄T部門和整個數(shù)據(jù)庫部門的一個重要的指標(biāo),我們從原來的MySQL、Oracle遷移過來,公司希望能夠以更低的成本完成這件事情。我們在OceanBase內(nèi)部自研編碼以及高壓縮比,原先Oracle應(yīng)用、MySQL應(yīng)用遷移過來,存儲至少比原先節(jié)省70%。
 
剛才提到微服務(wù)化改造以后,服務(wù)進行了拆分,底層數(shù)據(jù)實例會有一個指數(shù)級的膨脹,導(dǎo)致運維的復(fù)雜度上升,整體資源密度的下降。OceanBase內(nèi)部做了微服務(wù)化改造以后,MySQL實例上漲10倍,遷移到OceanBase以后,我們通過多租戶概念,可以在一個大集群把原來零散的MySQL、Oracle整合到一套OceanBase集群,整體計算密度大約有50%的上升,可以降低整體運維復(fù)雜度。
 
前面介紹的都是OceanBase的內(nèi)核能力,除了內(nèi)核以外,數(shù)據(jù)庫本身使用對象包含開發(fā)和運維,針對不同的使用群體,我們也有配套一些管理工具以及開發(fā)工具,可以像原先使用MySQL、Oracle一樣使用OceanBase,并不會增加太多的學(xué)習(xí)成本。
 
OceanBase的公有云也是對外正式發(fā)布,因為發(fā)現(xiàn)隨著疫情的變化,很多企業(yè)也開始走出國門,開始走向海外,所以O(shè)ceanBase能夠提供線下部署,也能夠提供公有云部署,未來企業(yè)如果有跨境出海的需求也可以直接使用OceanBase,我們現(xiàn)在是在AWS和GCB均已經(jīng)開服。
 
前面講的都是OceanBase的產(chǎn)品特性,后面跟大家分享一些案例。
 
因為我們是源于螞蟻,螞蟻之所以使用OceanBase看重的也是OceanBase的底層核心能力。我們提出的理念就是統(tǒng)一技術(shù)棧,現(xiàn)在螞蟻的應(yīng)用數(shù)據(jù)都是跑在OceanBase上面。
 
隨著信創(chuàng)的推進,運營商需要去做原先技術(shù)棧的架構(gòu)轉(zhuǎn)型。OceanBase幫助山東移動把原來的CRM系統(tǒng)從傳統(tǒng)的IOE架構(gòu)平遷到OceanBase上來,不光是原來技術(shù)棧的升級,也包括未來主機、芯片的全棧國產(chǎn)化。
 
海底撈是去年因為疫情,整個國內(nèi)門店需要降本增效,OceannBase高壓縮比以及多租戶整合,幫助整個海底撈原先的IT的TCO投入降低大概35%左右。
 
理想汽車不光是供應(yīng)鏈端的系統(tǒng),包括車聯(lián)網(wǎng)端的整個IoT數(shù)據(jù),現(xiàn)在是全面跑在OceanBase上來,看重的是金融級的高可用。車間智能制造,如果系統(tǒng)宕機,可能直接影響到出貨量,其實是OceanBase給理想汽車帶來的價值。
 
攜程也是如此,因為很難預(yù)測分布式業(yè)務(wù)未來的增長,很多業(yè)務(wù)都有自己的周期性,攜程就是最典型的例子。春運購買火車票,日常業(yè)務(wù)是跑在自己的機房,可以用自己的IDC內(nèi)部的基礎(chǔ)設(shè)施承載,但春運這種突增的業(yè)務(wù)高發(fā)流量,單機房是很難承載的,采用OceanBase以后可以快速地在春運前購買云主機,通過OceanBase的彈性能力彈到云上,等到春運搶火車票結(jié)束以后再縮回自己的IDC。
 
總結(jié)一下,這些是我們在國內(nèi)的頭部咖啡品牌,因為原先的技術(shù)站是基于虛擬化的VMWare架構(gòu),需要整體數(shù)字化轉(zhuǎn)型,包括應(yīng)用側(cè)的微服務(wù)化,其實面臨整體數(shù)據(jù)庫實例的膨脹,包括原來的PostGre、MySQL、Oracle可以通過OceanBase整合到一個技術(shù)棧,這是我們當(dāng)時做這個項目帶來的最大價值。
 
OceanBase是從螞蟻孵化帶有天生的互聯(lián)網(wǎng)高并發(fā)和海量數(shù)據(jù)的解決方案,我們走出螞蟻,走向各行各業(yè),也會被業(yè)務(wù)場景打磨,現(xiàn)在可以支持頭部客戶,也可以支持Startup和創(chuàng)新場景。未來大家如果有些創(chuàng)新業(yè)務(wù)場景,可以考慮先使用OceanBase,隨著業(yè)務(wù)變大,OceanBase也可以從容地、慢慢地通過擴縮容的方式伴隨業(yè)務(wù)一起成長。
 
我們既可以支持線下IDC,又可以支持各種云,包括國內(nèi)的云廠商以及海外主流的云廠商??蛻裟抢锶绻卸嘣茟?zhàn)略,OceanBase可能是你的首選,包括理想和一些客戶,底層云的Vendor是多家,可以通過OceanBase屏蔽不同云廠商的產(chǎn)品差異,PaaS層提供統(tǒng)一的管理和監(jiān)控。

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號