中國航信榮剛:中航信大數(shù)據(jù)思考與實踐

責(zé)任編輯:hli

作者:榮剛

2012-03-06 14:47:17

摘自:賽迪網(wǎng)

中國航信目前運行著超過2000臺硬件設(shè)備,每秒鐘事務(wù)處理能力是11000TNX/S,每天為100萬旅客提供訂票離港服務(wù),每天交易量10億元。

我來自中國民航信息集團公司(以下簡稱中國航信)。中國航信的前身創(chuàng)建于80年代,30年來,一直為中國民航業(yè)提供信息化服務(wù)。中國航信正式組建于2002年10月,屬國資委管理的中央企業(yè),現(xiàn)有員工近4000人,總部在北京。2000年10月,中國民航計算機信息中心聯(lián)合當(dāng)時所有國內(nèi)航空公司發(fā)起成立中國民航信息網(wǎng)絡(luò)股份有限公司,于2001年2月在香港聯(lián)交所主板掛牌上市交易。2008年7月,中國民航信息集團公司以中國民航信息網(wǎng)絡(luò)股份有限公司為主體,完成主營業(yè)務(wù)和資產(chǎn)重組并在香港成功整體上市。

目前,中國航信是航空旅游行業(yè)領(lǐng)先的信息技術(shù)及商務(wù)服務(wù)提供商,主要業(yè)務(wù)是航空客運業(yè)務(wù)處理、航空旅游電子分銷、機場旅客處理、航空貨運數(shù)據(jù)處理、航空財務(wù)結(jié)算清算、IT外包服務(wù)、互聯(lián)網(wǎng)旅游分銷平臺。包括淘寶、攜程、藝龍在內(nèi),它們銷售客票的原始數(shù)據(jù)都由中國航信提供。航信的電子客票服務(wù),可以讓乘客方便地通過網(wǎng)絡(luò)購買機票、網(wǎng)上值機,拿著第二代身份證就可以登機。

我曾經(jīng)看到過這樣一個報道:美國某機場通過視頻監(jiān)控發(fā)現(xiàn)一個旅客把前面旅客的勞力士手表給偷了。隨著服務(wù)細(xì)化以及航信客戶--航空公司的要求越來越高、越來越細(xì),中國航信也會逐步將圖像、聲音、視頻加入到數(shù)據(jù)庫當(dāng)中,增加數(shù)據(jù)庫的多樣性。目前,航信只是把圖片放到了數(shù)據(jù)庫中,視頻還沒有放到其中。

中國航信目前運行著超過2000臺硬件設(shè)備,每秒鐘事務(wù)處理能力是11000TNX/S,每天為100萬旅客提供訂票離港服務(wù),每天交易量10億元。中航信目前存儲的數(shù)據(jù)大部分為結(jié)構(gòu)化數(shù)據(jù),擁有超過2PB的存儲系統(tǒng),每年結(jié)構(gòu)化數(shù)據(jù)增長量為35%。中國航信擁有3個正在運行的數(shù)據(jù)中心,還有兩個在建數(shù)據(jù)中心,分別是在順義的30000平米數(shù)據(jù)中心以及浙江在嘉興的15000平米數(shù)據(jù)中心。未來,會根據(jù)客戶需求以及市場驅(qū)動等因素,來決定在結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)的投資。

目前,中航信最緊迫是要滿足航空公司的實時票價計算需求。實時票價,就是航空公司能夠在在某一時刻,根據(jù)歷史數(shù)據(jù)、當(dāng)下的需求,來自動決定機票售價,既可以讓航空公司的利潤最高,又能夠讓消費者能夠接受。這個動態(tài)票價點需要在幾秒內(nèi)計算出來,需要結(jié)構(gòu)化大數(shù)據(jù)、并行計算等技術(shù)來進行支撐。中航信現(xiàn)采用的傳統(tǒng)teradata關(guān)系數(shù)據(jù)庫,不能支持實時計算。

航信成立之后的前20年,中國航信都是采用傳統(tǒng)的主機系統(tǒng),設(shè)備都是IBM的UNIX。目前,中國航信正在從傳統(tǒng)的主機模式向開放平臺進行轉(zhuǎn)移,目前,酒店業(yè)務(wù)、貨運業(yè)務(wù)、電子客票、機場離崗等等都在逐步地向開放平臺進行遷移。

在開放平臺上,中國航信主要應(yīng)用是的Oracle或者MySQL,數(shù)據(jù)架構(gòu)之間相互比較獨立、煙囪式的,每個系統(tǒng)之間數(shù)據(jù)沒有物理上的聯(lián)系。而邏輯上的些微聯(lián)系也是根據(jù)業(yè)務(wù)需求,進行的數(shù)據(jù)交換。這些數(shù)據(jù)在物理上是統(tǒng)一存儲,我們在3年前實現(xiàn)了在開放平臺上的虛擬化存儲技術(shù),把所有的磁盤、所有的應(yīng)用系統(tǒng)、主機都集成到我們的虛擬化云平臺上,可以根據(jù)需要在幾分鐘內(nèi)就部署一套系統(tǒng),這在兩年前就完全實現(xiàn)了。

中國航信在2002年投資一億部署Teradata的數(shù)據(jù)倉庫。這是一個關(guān)系型數(shù)據(jù)庫,它能存儲大量數(shù)據(jù),但缺點是反應(yīng)速度慢,沒法實時地為航空公司提供服務(wù),不能在規(guī)定時間內(nèi)計算出票價,這個需求對于航空公司、客票代理、購票人都是非常有用的。過長的等待時間會讓該功能失去功用了,因此Teradata系統(tǒng)不能用于實時的計算,都是按天為單位來運算的。在2000年時,覺得Teradata的存儲容量很大,可以存儲1~2年的數(shù)據(jù),但我們現(xiàn)在存儲半年數(shù)據(jù)就滿了,且管理成本、運維成本、擴容成本都是千萬級的,也非常昂貴。

根據(jù)預(yù)測,2020年的中國航空旅客運輸量將達(dá)到7.7億人次左右,年復(fù)合增長率為12.27%,并將成為全球第一的航空旅行大國。航空客運銷售代理市場的規(guī)模將達(dá)到360億元左右,成長空間巨大??梢灶A(yù)見,支撐這一巨大規(guī)模的IT系統(tǒng)也將是及其復(fù)雜的。

此外,中航信今天還面臨數(shù)據(jù)多樣性的挑戰(zhàn)。數(shù)據(jù)多樣性,這更多是由客戶驅(qū)動,如航空公司、客票代理、旅客對價格的理解,對服務(wù)需求的理解,對服務(wù)要求的提高,會促使中航信決定是不是、何時應(yīng)用大數(shù)據(jù),是結(jié)構(gòu)化的還是非機構(gòu)化的。比如中航信現(xiàn)有數(shù)據(jù)庫支持圖片,那就可以支持在乘客離崗時候照一張照片,在登機口利用照片核對是否同一人,符合之后才可以登機。但這里面的數(shù)據(jù)保密問題,對航空公司、信息服務(wù)提供商、乘客都是一個很大挑戰(zhàn)。

在2011年,中航信就開始研究大數(shù)據(jù),是以事件交易服務(wù)為中心,主要面向旅客、面向航空公司來做大數(shù)據(jù)的服務(wù)。并在2011年底對國內(nèi)航空公司做了調(diào)研。航空公司要求航信能夠提供實時機票定價服務(wù),根據(jù)市場需求,根據(jù)航線情況,能夠給出旅客能夠接受的最高價格,比如京滬航線,什么時候全價、什么時候能夠打八折、八五折、七折,或者更低的折扣,這就要求航信提供很快的服務(wù),能夠根據(jù)當(dāng)時的市場需求、以及前幾年的歷史數(shù)據(jù),以及飛機時刻,來計算出能夠航空公司所能賣出的最高價格,同時也能提高艙位的利用率。同時,也要監(jiān)測競爭對手是不是有低價,如果競爭對手給出低價,航空公司也要立即跟進。這都需要實時數(shù)據(jù)來支撐。

目前,中國航信在EMC的Greenplum上進行了大數(shù)據(jù)部署,這是基于事務(wù)性的、云計算部署,它解決了結(jié)構(gòu)化數(shù)據(jù)并行計算問題,能夠快速計算、迅速反應(yīng),但在圖像存儲上還有待完善。未來,航信最終會做hadoop,會采用全開源的NoSQL+X86的硬件平臺,利用mapreduce、bigtable、GFS等類似的技術(shù)。

特別是對于證券業(yè)、民航業(yè)、銀行業(yè)等結(jié)構(gòu)化數(shù)據(jù)較多的企業(yè)來說,Greenplum是適用的,因為他的結(jié)構(gòu)化數(shù)據(jù)+并行處理能力強大。而對于擁有大量圖像、聲音、視頻的非機構(gòu)化數(shù)據(jù),hadoop更加適用。

對企業(yè)來說,任何技術(shù)都有好處和缺陷,關(guān)鍵要看企業(yè)客戶需求是什么,客戶要拿來做什么。就好比:不可能開著飛機大炮去打獵,得拿著獵槍。因此,服務(wù)提供商選擇什么樣的技術(shù)是基于客戶的需求,要選對工具和技術(shù)去支撐應(yīng)用,這是最關(guān)鍵的一點,看不到這點,會走冤枉路,花冤枉錢。

中航信目前在做一個shopping,把中航信的酒店、機票還有價格放到平臺上面,底層用的是mysql,上層是一些Nosql的數(shù)據(jù)庫,這樣能夠快速響應(yīng)。因為統(tǒng)計發(fā)現(xiàn),大概每900-1000個的訪問者中只有一人進行了購買,大部分人是瀏覽。為了應(yīng)對這種情況,中航信采用了低成本的mysql,上面放一個高速緩存的nosql數(shù)據(jù)庫,上面再架設(shè)一個網(wǎng)站的方式來為客戶提供服務(wù)。

民航主要用的是微軟數(shù)據(jù)庫架構(gòu),正逐步走向mapreduce、NoSQL,逐步走向開源系統(tǒng)、開放架構(gòu)。由于中國航信研發(fā)人員比較多,能夠較好地對開源內(nèi)容進行編制和再創(chuàng)新,但最終還是航空公司和旅客的需求應(yīng)用來驅(qū)動中國航信的架構(gòu)。

比如未來旅客訂票需要圖像,又如我們提供的預(yù)定酒店服務(wù),可以在網(wǎng)上展示酒店客房的實際情況,甚至可以模仿消費者在房間里面走,而出現(xiàn)的視覺變化,房間的布局、顏色。以及窗外的景色,這就需要大數(shù)據(jù)的支持,必須是非結(jié)構(gòu)化大數(shù)據(jù)來支持,傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)是無法支持的??蛻粼敢饣ㄥX購買這個服務(wù),或者競爭讓這個服務(wù)以更低的成本得以實現(xiàn)。比如訂酒店,你可以看到周圍環(huán)境的布局以及酒店房間里面的情況,這樣消費者可以更快地決定是否購買。如果其他商家做不到,那就有獨特的競爭優(yōu)勢。對商家來說,是否能夠負(fù)擔(dān)這個成本,所有東西都取決于客戶的需求以及成本的匹配。

在數(shù)據(jù)中心“大數(shù)據(jù)平臺”發(fā)展路線上,中國航信規(guī)劃了四個方面。第一是基礎(chǔ)的IDC建設(shè),目前建設(shè)了兩個全新的數(shù)據(jù)中心;第二個是云存儲、云主機、云計算;第三個是開放的云應(yīng)用,第四是把這些技術(shù)應(yīng)用到web上,如網(wǎng)上值機、根據(jù)座位圖來選擇座位,未來航信可以提供立體飛機倉位示意圖,讓乘客可以更直觀地判斷位置的舒適程度等,只要航空公司需要,就可以很快開發(fā)出這些服務(wù)。

除了為民航提供服務(wù)之外,中國航信還對其他企事業(yè)單位開放,提供包括信息服務(wù),外包服務(wù)、災(zāi)備、虛擬化服務(wù)、咨詢、運維外包在內(nèi)的多種服務(wù)。比如民政部的全國低保信息系統(tǒng)、機房租用及運維服務(wù)項目;銀河證券的數(shù)據(jù)機房租用項目;北方工業(yè)公司的虛擬化咨詢實施項目;上海虹橋機場的信息系統(tǒng)異地災(zāi)備項目;中體彩的實時交易系統(tǒng),支持全國有幾十萬個投注點的大容量并發(fā)交易。后來鐵路的網(wǎng)上售票也來參觀過航信系統(tǒng)。(作者:中國民航信息集團副總經(jīng)理榮剛)

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號-6京公網(wǎng)安備 11010502049343號