2014年7月31日,由DOIT傳媒和存儲在線舉辦的首屆中國閃存峰會在亮馬河飯店盛大召開,樂視網(wǎng) 高級總監(jiān)/國內(nèi)知名云存儲、大數(shù)據(jù)專家薛偉發(fā)表了題為《基于閃存云存儲的樂視生態(tài)有機云建設(shè) 》的演講。
以下是現(xiàn)場文字實錄:
薛偉:各位領(lǐng)導(dǎo),大家上午好,剛才這么多廠商都介紹了關(guān)于閃存陣列的一些優(yōu)勢,包括技術(shù)指標(biāo),下面我們從用戶的角度談?wù)勯W存在互聯(lián)網(wǎng)公司,特別是在一個存儲大戶的視頻網(wǎng)站公司的具體應(yīng)用情況。
第 一個方面,對互聯(lián)網(wǎng)用戶來講,我們不是閃存專家,我們也不是硬件專家,但是我們需要透徹的理解,廠商說的哪些是真的,哪些是市場測試的。但是,實際上我們 選一種產(chǎn)品,不管自研設(shè)備,還是用廠商的設(shè)備,都是為了滿足我們自己的場景。所以,今天第一步先把我們對于閃存技術(shù)以及傳統(tǒng)的存儲技術(shù)對我們的環(huán)境應(yīng)用以 及重要的關(guān)注點和他們的一些特征在哪里?
第 二部分部分介紹整個樂視生態(tài),樂視網(wǎng)不僅僅是一個視頻網(wǎng)站,樂視現(xiàn)在正在從一個單純的垂直通道的視頻網(wǎng)站公司,變成一個平臺級的服務(wù)公司,比如業(yè)務(wù)層的需 要,應(yīng)用層組裝的服務(wù),應(yīng)用的基礎(chǔ)設(shè)施,以及網(wǎng)絡(luò)的設(shè)施,數(shù)據(jù)中心、帶寬,等等存儲計算都是基于云平臺的方式介紹的。所以機在后面的環(huán)節(jié)我們會更多的介紹 關(guān)于我們場景的一些內(nèi)容。
我 們下面把整個的存儲架構(gòu)的演進,其實前面提到很多的一般的最原始的一些管理方案,其實都已經(jīng)過時了,但是在企業(yè)級,不同的場景有不同的需求,而且互聯(lián)網(wǎng)企 業(yè)和企業(yè)級的用戶,特別是廣電用戶,它的基本訴求和歷史的發(fā)展是不一樣的。所以,這里面基于老的設(shè)備,以及未來的延展性,特別是有的公司,有的用戶不受到 空間的限制,而在我們今天資源巨缺的情況下,實際上很多的IDC的服務(wù)提供商,包括數(shù)據(jù)中心,包括云的服務(wù)商,很多還涉及到一些機柜方面的限制,如何使高密度的方案進行設(shè)置,我們這兒就有一塊過程的演進。
其實中間這一塊,分布式存儲到來,今天我們談閃存存儲,特別是兩年前,我記得電信等很多公司都在測關(guān)于Hadoop的體驗,看到多個數(shù)據(jù)節(jié)點讀的性能的提升,測完之后發(fā)現(xiàn)這是一個量變到質(zhì)變的過程。今天我們看云存儲平臺,我們在前前后后,包括我在樂視之前其實做的也是一個數(shù)據(jù)密集型的公司,叫115.com,有 10PB的存儲,今天我們的帶寬有3.5T,全球有350個CDN節(jié)點,整個存儲容量已經(jīng)有超過百萬的PB級的情況。選用什么樣的技術(shù),在哪一個環(huán)節(jié),這已經(jīng)不只是一個廠商的話題,因為廠商的產(chǎn)品只能用到我們某一個架構(gòu)里的某一個節(jié)點,或者某一個場景,而我們今天看到的,比如采用我們的云平臺,大家會猜,樂視里的云平臺是通過OpenStack這種方式嗎?其實不是,但是我們會參考很多特性。所以,大家很多人會覺得,你這個有點過于深奧,什么叫有機云,這也是我們在前沿吸收的一個我們國際化的公司叫做環(huán)狀存儲有機云的一個公司,它是跟戴爾收購的那個DX 6000差不多的公司。
我們在為樂視網(wǎng)這樣一個全網(wǎng)服務(wù)的公司搭建一個云存儲的平臺,由于中國的互聯(lián)網(wǎng)環(huán)境很復(fù)雜,我們必須要說我們的聯(lián)通、電信、鐵通,全網(wǎng)環(huán)境的用戶如何實現(xiàn)視頻服務(wù)的直播點播的高可靠,以及企業(yè)級對外的服務(wù),以及個人云的一些服務(wù),這些都在我們的場景之中。
最后,我們?nèi)绾未罱ㄎ覀冏约旱脑拼鎯ζ脚_,今天的云存儲平臺,絕對不是怎么做一個解決方案,而且這個平臺你的可靠性要提高多少,Google的可靠性是999,你們是999999,為什么?你們肯定是短版,因為他們是整個系統(tǒng)服務(wù)的999,樂視還沒有到999,我所服務(wù)的還是在99。
關(guān)于傳統(tǒng)的SAN和NAS的問題,這實際上是傳統(tǒng)的講分布式的云的存儲和架構(gòu)會提出的一個例子,但是實際上很多公司還是用別的一些公司做,這引發(fā)我們對存儲架構(gòu)演進的一個思考。比如今天我們講AFA,我們AFA整 個的全閃存架構(gòu),我們怎么看待全閃存,其實我們在買之前會有一個評估,全閃存并不是一個新的東西,它實際上是一套基于硬件和軟件,包括軟件定義網(wǎng)絡(luò),軟件 定義存儲,包括軟件定義工作空間。今天我們看到,我們自己用我們自己的業(yè)務(wù)定義閃存陣列。我們自己看什么是閃存的時候,樂視之前用了很多的場景,我們對于 數(shù)據(jù)的二級存儲包括很多自動的分級存儲,包括冷熱數(shù)據(jù)的自動分離已經(jīng)做了很多方案。今天我們看到隨著技術(shù)的發(fā)展,當(dāng)然有一個技術(shù)我們比較關(guān)注,在兩年前, 叫做光連接,就是網(wǎng)絡(luò)通道的速度一直沒有改善,其實我們今天看到,我們在關(guān)鍵場景上的一些磁盤的延遲,這時候單一的磁盤SSD已經(jīng)無法解決這個問題了,這是我們看到更新的技術(shù)。所以,我們會通過三個層面來看,通過三個層面可以回顧一下剛才幾個廠商講的共同點。
第一、固態(tài)硬盤,你要關(guān)注的點是什么?實際上它就是一個芯片,加上存儲,沒什么,對我們來看就是一些物料成本。大家也都知道,樂視最近特別熱衷于做物料,不過大家可以放心,我們不會做我們不擅長的東西,但是我們會對消費者提供更多的可能會產(chǎn)生的一些純閃存的應(yīng)用。
第二、Flash的一些架構(gòu)和類型,通過包括工藝、生產(chǎn)成本,可能都是用NOR的形式做閃存,NOR的形式,我們做了一個排名,通過排名大家可以看到,你不做價格考慮的情況下,哪一個更好一些?
熱心觀眾回答道:AFA。
薛偉:你說的太高級了,我指的是單層單元閃存,eSLC、每單元存儲兩位數(shù)據(jù),還有eMLC。
回答:我覺得可能是第四個好一些。
薛偉:每單元存儲兩位數(shù)據(jù)和每單元存儲一位數(shù)據(jù),誰的性能更高一些。我們以用戶的觀點出發(fā)會看一些設(shè)備廠商,看他們提供哪一類的閃存的技術(shù)。實際上我們從廠商的觀點,我相信他們過多會中庸之道解決問題,你們一定會選擇主流的設(shè)備。實際上我們發(fā)現(xiàn),X86時代,發(fā)現(xiàn)整個磁盤速度已經(jīng)出現(xiàn)瓶頸,這時候我們實際上有一個簡單的方案,就是把原來的磁盤陣列換成閃存陣列,全閃存陣列并不是多復(fù)雜,只是一個成本的增加。而這個成本增加,樂視到今天非常維護廣大網(wǎng)民和股東的利益,我們的TCO一定考慮的非常精細(xì),我們成本增加一定是在其他方面去換得的這種價值,這里面有那些價值呢?
其實剛才很多專家都講了。第一、我們對于IOPS的價值,還有一個是節(jié)能的價值,我們可能會自建我們自己的數(shù)據(jù)中心,第三個就是低延遲的價值。
我 們看一下具體優(yōu)化了哪些層面?第一個層面,核心存儲層。什么是核心存儲層?就是我了給用戶提供上傳,如果大家都上傳,這個路就堵了,所以我們用異步存儲, 就是第一步存到一個位置,第二步再把這個位置異步往整個數(shù)據(jù)中心。第一步存儲的時候,就要有數(shù)據(jù)存儲成功的技術(shù)。我們另一個高手前兩天講了一個他們?nèi)绾蝺?yōu) 化他們阿里云的存儲,你如何定義一個副本的成功,我們考慮全閃存之前,遇到很多極致的軟性的方案,只要有兩個副本成功了,就認(rèn)為你是成功了,它是在一定程 度上提升性能。但是,提升和優(yōu)化是一個軟硬兼施的過程。這時候就通過全閃存陣列提升我們的性能,五倍到十倍。第二、對讀的優(yōu)化,這時候我們也是通過我們的AFA的解決方案提供產(chǎn)品的需求。
第 二、包括我們的核心數(shù)據(jù)中心的部署,剛才我們看到外邊很多的廠商列出了,包括數(shù)據(jù)庫閃存的加速方案。數(shù)據(jù)庫在互聯(lián)網(wǎng)公司是哪個場景都會有但是是不是所有的 都會涉及到,并不見得。我們在一些關(guān)鍵的通過軟件集成的解決方案仍然發(fā)現(xiàn)它有瓶頸的地方,比如個人云的服務(wù)中心,比如我們對整個的上傳的神經(jīng)網(wǎng)絡(luò)的管理, 這時候我們發(fā)現(xiàn)通過軟件剛才介紹的什么讀寫分離,包括加緩存等等都解決不了,包括優(yōu)化數(shù)據(jù)之后引擎也解決不了,我們還回到軟硬兼施,通過硬件的方案把核心 數(shù)據(jù)中心部署在AFA的基礎(chǔ)上,這可以提高很大的性能。其他的方案特別多了,包括磁盤性能的效率降低,比如說我們在系統(tǒng)設(shè)計的時候就考慮到如何幫磁盤的操作完成內(nèi)存的操作。
下面看一下我們作為樂視的云存儲平臺它能提供的場景。一個相當(dāng)于混合云狀況,面向企業(yè),面向個人云。一個是,樂視云給個人用戶提供的一個樂視云的產(chǎn)品,包括樂視云盤,TV版,包括Pad版, 每一個應(yīng)用接口的后面必然會導(dǎo)致一個應(yīng)用的需求。如果讓你設(shè)計一個樂視的云存儲平臺,你關(guān)注的點是什么?首先,一定要支持視頻網(wǎng)站的上傳原理,然后能夠被 大家播放。視頻從上傳到播放整個的環(huán)節(jié)都是跟存儲有關(guān)。從云存儲的角度來講,比如我們今天解決了自己的問題,樂視網(wǎng)其實還有一個對外的SaaS平臺,京東、淘寶,他們所能提供的視頻都是由樂視支持的。今天云存儲肯定是一個多點上傳的系統(tǒng),這一點實際上跟我們個人存儲還不太一樣。大家知道4399是一個做游戲的,游戲的視頻肯定每個人跟每個人不一樣。但如果將來有個人云存儲,比如說我們今天可能看過《變形金剛4》,很多人并沒有去現(xiàn)場看,你可以看看你的云里有沒有?當(dāng)云里還沒有的時候,在場的人可能有十個人都在上傳《變形金剛4》,如果當(dāng)十個人都在同時上傳,因為著容量的大小可能需要傳幾個小時,通過我們在后臺的全網(wǎng)調(diào)度的跨度和判斷,我們把《變形金剛4》分開,假如分200片,每一片的數(shù)據(jù)50兆或者100兆,用戶分開上傳。
在整個視頻存儲里邊,包括對外企業(yè)的一些提供的存儲服務(wù),剛剛說給企業(yè)提供存儲服務(wù),包括云視頻的網(wǎng)頁播放的,還有包括S3的API,像我們一直講亞馬遜的服務(wù)。其實我們真正發(fā)現(xiàn)單服務(wù)于亞馬遜的用戶其實并不多,還有包括個人云盤的SDK的服務(wù),這時候我們會創(chuàng)造一些云服務(wù)的場景。
關(guān) 于我們設(shè)計場景時候的思考,第一、如何把我們的場景形成一個通用場景,我們會把一些業(yè)務(wù)特殊的內(nèi)容通過調(diào)度,通過一些組件的借口擴展的方式增強;第二個, 存儲永遠(yuǎn)是一個時間換空間的問題,這個理論是不是大家認(rèn)同?這個時間換空間的問題,今天硬件廉價到一定程度,我們通過硬件的堆積解決我考慮到的這個問題。 第三個問題是運維的難度,每一個新的基礎(chǔ)運用都會對運維提出挑戰(zhàn),實際上我們在后臺也是通過自動化的運維通訊,通過運維的分節(jié)管理解決這些問題。
還有一點就是有中心,無單點的雙環(huán)有機云存儲架構(gòu)思路。它整個就是一級存儲,一級存儲環(huán)會用到AFA的技術(shù)。里面介紹了一些全網(wǎng)的上傳方式,包括多線程的,包括POST的方式。所以引發(fā)這么為什么樂視云要用全閃存的討論?這其實就是我們對機型的考慮重點是什么。以前我們考慮SSD、SAS、SATA,后來我們考慮通過SSD的分級。這是我們對環(huán)狀存儲的介紹,這是我們講用戶在上傳下載和企業(yè)用戶上傳下載中,涉及到的網(wǎng)絡(luò)多通道的概念。
我們看到很多云視頻架構(gòu),包括國美都在用我們的云平臺,做一個視頻網(wǎng)站非常簡單,但是為什么這個簡單的背后實際上有大量的基礎(chǔ)支撐,這是因為你所上傳的位置一定有我們的云的上傳節(jié)點,這個上傳節(jié)點我們之所以提供可以提供低延遲,高的IOPS是因為有AFA的技術(shù)。下載的時候,之所以能加速,也是因為很多的細(xì)節(jié)會遇AFA。樂視生態(tài)后面這幾塊,包括樂視的體育,樂視影業(yè)其實都在做這樣一個事情,通過云去實現(xiàn)。
最 后就是個人云場景,個人云場景比企業(yè)云場景還要復(fù)雜,還要提供高可靠。這個需求的場景,包括數(shù)據(jù)在線的一站式的服務(wù)體驗,比如數(shù)據(jù)的音樂的可播放,視頻的 可播放,以及之間的文檔的在線編輯等等一系列需求,這種個人生產(chǎn)的數(shù)據(jù)與后面一些控制流,數(shù)據(jù)流,以及日志流,還要進行分析數(shù)據(jù)。這里面如何通過AFA支持大數(shù)據(jù)中心,有三個分類。第一、我們對于個人云比如一個相冊圖片來講,我們有算法的識別,數(shù)據(jù)的聚合,包括資源的推薦等等。最后樂視把基于AFA的實時的一些吞吐技術(shù)應(yīng)用到很多行業(yè),最后通過大數(shù)據(jù)的精準(zhǔn)定位,提高我們投資行業(yè)影視的把握,剛剛我們獲得《小時代3》的熱播的喜訊,后續(xù)還會投資的一些片子,謝謝大家!