2014年7月31日，由DOIT傳媒和存儲在線舉辦的首屆中國閃存峰會在亮馬河飯店盛大召開，樂視網(wǎng) 高級總監(jiān)/國內(nèi)知名云存儲、大數(shù)據(jù)專家薛偉發(fā)表了題為《基于閃存云存儲的樂視生態(tài)有機云建設(shè) 》的演講。

以下是現(xiàn)場文字實錄：

薛偉：各位領(lǐng)導(dǎo)，大家上午好，剛才這么多廠商都介紹了關(guān)于閃存陣列的一些優(yōu)勢，包括技術(shù)指標(biāo)，下面我們從用戶的角度談?wù)勯W存在互聯(lián)網(wǎng)公司，特別是在一個存儲大戶的視頻網(wǎng)站公司的具體應(yīng)用情況。

第 一個方面，對互聯(lián)網(wǎng)用戶來講，我們不是閃存專家，我們也不是硬件專家，但是我們需要透徹的理解，廠商說的哪些是真的，哪些是市場測試的。但是，實際上我們 選一種產(chǎn)品，不管自研設(shè)備，還是用廠商的設(shè)備，都是為了滿足我們自己的場景。所以，今天第一步先把我們對于閃存技術(shù)以及傳統(tǒng)的存儲技術(shù)對我們的環(huán)境應(yīng)用以 及重要的關(guān)注點和他們的一些特征在哪里?

第 二部分部分介紹整個樂視生態(tài)，樂視網(wǎng)不僅僅是一個視頻網(wǎng)站，樂視現(xiàn)在正在從一個單純的垂直通道的視頻網(wǎng)站公司，變成一個平臺級的服務(wù)公司，比如業(yè)務(wù)層的需 要，應(yīng)用層組裝的服務(wù)，應(yīng)用的基礎(chǔ)設(shè)施，以及網(wǎng)絡(luò)的設(shè)施，數(shù)據(jù)中心、帶寬，等等存儲計算都是基于云平臺的方式介紹的。所以機在后面的環(huán)節(jié)我們會更多的介紹 關(guān)于我們場景的一些內(nèi)容。

我 們下面把整個的存儲架構(gòu)的演進，其實前面提到很多的一般的最原始的一些管理方案，其實都已經(jīng)過時了，但是在企業(yè)級，不同的場景有不同的需求，而且互聯(lián)網(wǎng)企 業(yè)和企業(yè)級的用戶，特別是廣電用戶，它的基本訴求和歷史的發(fā)展是不一樣的。所以，這里面基于老的設(shè)備，以及未來的延展性，特別是有的公司，有的用戶不受到 空間的限制，而在我們今天資源巨缺的情況下，實際上很多的IDC的服務(wù)提供商，包括數(shù)據(jù)中心，包括云的服務(wù)商，很多還涉及到一些機柜方面的限制，如何使高密度的方案進行設(shè)置，我們這兒就有一塊過程的演進。

其實中間這一塊，分布式存儲到來，今天我們談閃存存儲，特別是兩年前，我記得電信等很多公司都在測關(guān)于Hadoop的體驗，看到多個數(shù)據(jù)節(jié)點讀的性能的提升，測完之后發(fā)現(xiàn)這是一個量變到質(zhì)變的過程。今天我們看云存儲平臺，我們在前前后后，包括我在樂視之前其實做的也是一個數(shù)據(jù)密集型的公司，叫115.com，有 10PB的存儲，今天我們的帶寬有3.5T，全球有350個CDN節(jié)點，整個存儲容量已經(jīng)有超過百萬的PB級的情況。選用什么樣的技術(shù)，在哪一個環(huán)節(jié)，這已經(jīng)不只是一個廠商的話題，因為廠商的產(chǎn)品只能用到我們某一個架構(gòu)里的某一個節(jié)點，或者某一個場景，而我們今天看到的，比如采用我們的云平臺，大家會猜，樂視里的云平臺是通過OpenStack這種方式嗎?其實不是，但是我們會參考很多特性。所以，大家很多人會覺得，你這個有點過于深奧，什么叫有機云，這也是我們在前沿吸收的一個我們國際化的公司叫做環(huán)狀存儲有機云的一個公司，它是跟戴爾收購的那個DX 6000差不多的公司。

我們在為樂視網(wǎng)這樣一個全網(wǎng)服務(wù)的公司搭建一個云存儲的平臺，由于中國的互聯(lián)網(wǎng)環(huán)境很復(fù)雜，我們必須要說我們的聯(lián)通、電信、鐵通，全網(wǎng)環(huán)境的用戶如何實現(xiàn)視頻服務(wù)的直播點播的高可靠，以及企業(yè)級對外的服務(wù)，以及個人云的一些服務(wù)，這些都在我們的場景之中。

最后，我們?nèi)绾未罱ㄎ覀冏约旱脑拼鎯ζ脚_，今天的云存儲平臺，絕對不是怎么做一個解決方案，而且這個平臺你的可靠性要提高多少，Google的可靠性是999，你們是999999，為什么?你們肯定是短版，因為他們是整個系統(tǒng)服務(wù)的999，樂視還沒有到999，我所服務(wù)的還是在99。

關(guān)于傳統(tǒng)的SAN和NAS的問題，這實際上是傳統(tǒng)的講分布式的云的存儲和架構(gòu)會提出的一個例子，但是實際上很多公司還是用別的一些公司做，這引發(fā)我們對存儲架構(gòu)演進的一個思考。比如今天我們講AFA，我們AFA整 個的全閃存架構(gòu)，我們怎么看待全閃存，其實我們在買之前會有一個評估，全閃存并不是一個新的東西，它實際上是一套基于硬件和軟件，包括軟件定義網(wǎng)絡(luò)，軟件 定義存儲，包括軟件定義工作空間。今天我們看到，我們自己用我們自己的業(yè)務(wù)定義閃存陣列。我們自己看什么是閃存的時候，樂視之前用了很多的場景，我們對于 數(shù)據(jù)的二級存儲包括很多自動的分級存儲，包括冷熱數(shù)據(jù)的自動分離已經(jīng)做了很多方案。今天我們看到隨著技術(shù)的發(fā)展，當(dāng)然有一個技術(shù)我們比較關(guān)注，在兩年前， 叫做光連接，就是網(wǎng)絡(luò)通道的速度一直沒有改善，其實我們今天看到，我們在關(guān)鍵場景上的一些磁盤的延遲，這時候單一的磁盤SSD已經(jīng)無法解決這個問題了，這是我們看到更新的技術(shù)。所以，我們會通過三個層面來看，通過三個層面可以回顧一下剛才幾個廠商講的共同點。

第一、固態(tài)硬盤，你要關(guān)注的點是什么?實際上它就是一個芯片，加上存儲，沒什么，對我們來看就是一些物料成本。大家也都知道，樂視最近特別熱衷于做物料，不過大家可以放心，我們不會做我們不擅長的東西，但是我們會對消費者提供更多的可能會產(chǎn)生的一些純閃存的應(yīng)用。

第二、Flash的一些架構(gòu)和類型，通過包括工藝、生產(chǎn)成本，可能都是用NOR的形式做閃存，NOR的形式，我們做了一個排名，通過排名大家可以看到，你不做價格考慮的情況下，哪一個更好一些?

熱心觀眾回答道：AFA。

薛偉：你說的太高級了，我指的是單層單元閃存，eSLC、每單元存儲兩位數(shù)據(jù)，還有eMLC。

回答：我覺得可能是第四個好一些。

薛偉：每單元存儲兩位數(shù)據(jù)和每單元存儲一位數(shù)據(jù)，誰的性能更高一些。我們以用戶的觀點出發(fā)會看一些設(shè)備廠商，看他們提供哪一類的閃存的技術(shù)。實際上我們從廠商的觀點，我相信他們過多會中庸之道解決問題，你們一定會選擇主流的設(shè)備。實際上我們發(fā)現(xiàn)，X86時代，發(fā)現(xiàn)整個磁盤速度已經(jīng)出現(xiàn)瓶頸，這時候我們實際上有一個簡單的方案，就是把原來的磁盤陣列換成閃存陣列，全閃存陣列并不是多復(fù)雜，只是一個成本的增加。而這個成本增加，樂視到今天非常維護廣大網(wǎng)民和股東的利益，我們的TCO一定考慮的非常精細(xì)，我們成本增加一定是在其他方面去換得的這種價值，這里面有那些價值呢?

其實剛才很多專家都講了。第一、我們對于IOPS的價值，還有一個是節(jié)能的價值，我們可能會自建我們自己的數(shù)據(jù)中心，第三個就是低延遲的價值。

我 們看一下具體優(yōu)化了哪些層面?第一個層面，核心存儲層。什么是核心存儲層?就是我了給用戶提供上傳，如果大家都上傳，這個路就堵了，所以我們用異步存儲， 就是第一步存到一個位置，第二步再把這個位置異步往整個數(shù)據(jù)中心。第一步存儲的時候，就要有數(shù)據(jù)存儲成功的技術(shù)。我們另一個高手前兩天講了一個他們?nèi)绾蝺?yōu) 化他們阿里云的存儲，你如何定義一個副本的成功，我們考慮全閃存之前，遇到很多極致的軟性的方案，只要有兩個副本成功了，就認(rèn)為你是成功了，它是在一定程 度上提升性能。但是，提升和優(yōu)化是一個軟硬兼施的過程。這時候就通過全閃存陣列提升我們的性能，五倍到十倍。第二、對讀的優(yōu)化，這時候我們也是通過我們的AFA的解決方案提供產(chǎn)品的需求。

第 二、包括我們的核心數(shù)據(jù)中心的部署，剛才我們看到外邊很多的廠商列出了，包括數(shù)據(jù)庫閃存的加速方案。數(shù)據(jù)庫在互聯(lián)網(wǎng)公司是哪個場景都會有但是是不是所有的 都會涉及到，并不見得。我們在一些關(guān)鍵的通過軟件集成的解決方案仍然發(fā)現(xiàn)它有瓶頸的地方，比如個人云的服務(wù)中心，比如我們對整個的上傳的神經(jīng)網(wǎng)絡(luò)的管理， 這時候我們發(fā)現(xiàn)通過軟件剛才介紹的什么讀寫分離，包括加緩存等等都解決不了，包括優(yōu)化數(shù)據(jù)之后引擎也解決不了，我們還回到軟硬兼施，通過硬件的方案把核心 數(shù)據(jù)中心部署在AFA的基礎(chǔ)上，這可以提高很大的性能。其他的方案特別多了，包括磁盤性能的效率降低，比如說我們在系統(tǒng)設(shè)計的時候就考慮到如何幫磁盤的操作完成內(nèi)存的操作。

下面看一下我們作為樂視的云存儲平臺它能提供的場景。一個相當(dāng)于混合云狀況，面向企業(yè)，面向個人云。一個是，樂視云給個人用戶提供的一個樂視云的產(chǎn)品，包括樂視云盤，TV版，包括Pad版， 每一個應(yīng)用接口的后面必然會導(dǎo)致一個應(yīng)用的需求。如果讓你設(shè)計一個樂視的云存儲平臺，你關(guān)注的點是什么?首先，一定要支持視頻網(wǎng)站的上傳原理，然后能夠被 大家播放。視頻從上傳到播放整個的環(huán)節(jié)都是跟存儲有關(guān)。從云存儲的角度來講，比如我們今天解決了自己的問題，樂視網(wǎng)其實還有一個對外的SaaS平臺，京東、淘寶，他們所能提供的視頻都是由樂視支持的。今天云存儲肯定是一個多點上傳的系統(tǒng)，這一點實際上跟我們個人存儲還不太一樣。大家知道4399是一個做游戲的，游戲的視頻肯定每個人跟每個人不一樣。但如果將來有個人云存儲，比如說我們今天可能看過《變形金剛4》，很多人并沒有去現(xiàn)場看，你可以看看你的云里有沒有?當(dāng)云里還沒有的時候，在場的人可能有十個人都在上傳《變形金剛4》，如果當(dāng)十個人都在同時上傳，因為著容量的大小可能需要傳幾個小時，通過我們在后臺的全網(wǎng)調(diào)度的跨度和判斷，我們把《變形金剛4》分開，假如分200片，每一片的數(shù)據(jù)50兆或者100兆，用戶分開上傳。

在整個視頻存儲里邊，包括對外企業(yè)的一些提供的存儲服務(wù)，剛剛說給企業(yè)提供存儲服務(wù)，包括云視頻的網(wǎng)頁播放的，還有包括S3的API，像我們一直講亞馬遜的服務(wù)。其實我們真正發(fā)現(xiàn)單服務(wù)于亞馬遜的用戶其實并不多，還有包括個人云盤的SDK的服務(wù)，這時候我們會創(chuàng)造一些云服務(wù)的場景。

關(guān) 于我們設(shè)計場景時候的思考，第一、如何把我們的場景形成一個通用場景，我們會把一些業(yè)務(wù)特殊的內(nèi)容通過調(diào)度，通過一些組件的借口擴展的方式增強;第二個， 存儲永遠(yuǎn)是一個時間換空間的問題，這個理論是不是大家認(rèn)同?這個時間換空間的問題，今天硬件廉價到一定程度，我們通過硬件的堆積解決我考慮到的這個問題。 第三個問題是運維的難度，每一個新的基礎(chǔ)運用都會對運維提出挑戰(zhàn)，實際上我們在后臺也是通過自動化的運維通訊，通過運維的分節(jié)管理解決這些問題。

還有一點就是有中心，無單點的雙環(huán)有機云存儲架構(gòu)思路。它整個就是一級存儲，一級存儲環(huán)會用到AFA的技術(shù)。里面介紹了一些全網(wǎng)的上傳方式，包括多線程的，包括POST的方式。所以引發(fā)這么為什么樂視云要用全閃存的討論?這其實就是我們對機型的考慮重點是什么。以前我們考慮SSD、SAS、SATA，后來我們考慮通過SSD的分級。這是我們對環(huán)狀存儲的介紹，這是我們講用戶在上傳下載和企業(yè)用戶上傳下載中，涉及到的網(wǎng)絡(luò)多通道的概念。

我們看到很多云視頻架構(gòu)，包括國美都在用我們的云平臺，做一個視頻網(wǎng)站非常簡單，但是為什么這個簡單的背后實際上有大量的基礎(chǔ)支撐，這是因為你所上傳的位置一定有我們的云的上傳節(jié)點，這個上傳節(jié)點我們之所以提供可以提供低延遲，高的IOPS是因為有AFA的技術(shù)。下載的時候，之所以能加速，也是因為很多的細(xì)節(jié)會遇AFA。樂視生態(tài)后面這幾塊，包括樂視的體育，樂視影業(yè)其實都在做這樣一個事情，通過云去實現(xiàn)。

最 后就是個人云場景，個人云場景比企業(yè)云場景還要復(fù)雜，還要提供高可靠。這個需求的場景，包括數(shù)據(jù)在線的一站式的服務(wù)體驗，比如數(shù)據(jù)的音樂的可播放，視頻的 可播放，以及之間的文檔的在線編輯等等一系列需求，這種個人生產(chǎn)的數(shù)據(jù)與后面一些控制流，數(shù)據(jù)流，以及日志流，還要進行分析數(shù)據(jù)。這里面如何通過AFA支持大數(shù)據(jù)中心，有三個分類。第一、我們對于個人云比如一個相冊圖片來講，我們有算法的識別，數(shù)據(jù)的聚合，包括資源的推薦等等。最后樂視把基于AFA的實時的一些吞吐技術(shù)應(yīng)用到很多行業(yè)，最后通過大數(shù)據(jù)的精準(zhǔn)定位，提高我們投資行業(yè)影視的把握，剛剛我們獲得《小時代3》的熱播的喜訊，后續(xù)還會投資的一些片子，謝謝大家!