2015年的中國(guó)電影市場(chǎng),暑期檔的國(guó)產(chǎn)動(dòng)漫《西游記之大圣歸來(lái)》,一舉成為內(nèi)地影史到目前為止票房最高的動(dòng)漫。隨著數(shù)字化時(shí)代的到來(lái),非線性編輯成為快速編輯海量視頻素材的主要方式, Dell Fluid FS存儲(chǔ)系統(tǒng)在此領(lǐng)域的上佳表現(xiàn),已為廣電行業(yè)的眾多客戶帶來(lái)了卓越的制作體驗(yàn)。
2015年的中國(guó)電影市場(chǎng),國(guó)內(nèi)動(dòng)漫一支獨(dú)秀,特別是暑期檔的國(guó)產(chǎn)動(dòng)漫《西游記之大圣歸來(lái)》,上映62天,票房達(dá)到9.56億,成為內(nèi)地影史到目前為止票房最高的動(dòng)漫。銀幕上活靈活現(xiàn)的動(dòng)畫人物 ,流暢的場(chǎng)景呈現(xiàn),都是由后端一系列數(shù)字技術(shù)來(lái)支撐的,其中最為關(guān)鍵的是非線性編輯技術(shù),它將視頻剪輯、復(fù)雜特效、字幕完美地融合到原始視頻素材。
一個(gè)時(shí)長(zhǎng)90分鐘的動(dòng)漫,多種多樣的視頻素材總?cè)萘靠蛇_(dá)到幾十、上百TB,要對(duì)其進(jìn)行快速編輯,當(dāng)然需要一個(gè)高性能的數(shù)字平臺(tái);此外,要生成最后的可播放版本拷貝,還需要有安全的保護(hù)。從粗剪直到最后一個(gè)剪輯版本出來(lái),會(huì)有多個(gè)版本共存,也必須有相當(dāng)?shù)目臻g來(lái)存放,因此,這個(gè)平臺(tái)應(yīng)有很好的容量擴(kuò)展性。最后,這個(gè)數(shù)字支撐平臺(tái)在制作項(xiàng)目結(jié)束之后,還要繼續(xù)為下一個(gè)項(xiàng)目服務(wù),所以對(duì)前一個(gè)項(xiàng)目需要有歸檔功能,這也關(guān)系到整個(gè)數(shù)字工廠的生命管理周期。
隨著數(shù)字化時(shí)代的到來(lái),可以基于素材的任意時(shí)間點(diǎn)實(shí)現(xiàn)剪切、復(fù)制、粘貼,甚至實(shí)現(xiàn)諸多特效處理等,因此,非線性編輯的便捷與高效使其成為視頻編輯的主要方式。由此可見,選擇一個(gè)合適的數(shù)字支撐平臺(tái)滿足非線性編輯業(yè)務(wù)的需求是至關(guān)重要的。
所以,接下來(lái)我們從幾個(gè)方面來(lái)體驗(yàn)戴爾流動(dòng)文件平臺(tái)架構(gòu)Fluid FS如何高效滿足上述需求。
堪比金箍棒的高性能平臺(tái)
對(duì)于非線性編輯來(lái)說(shuō),若一個(gè)制作項(xiàng)目能從原來(lái)十天的工作量縮減到五天,甚至一天,毫無(wú)疑問(wèn)對(duì)于產(chǎn)品的上線排期,院線趕檔期以及產(chǎn)品的變更都是非常實(shí)際的事情,也必將帶來(lái)更多的收入;
就如同孫大圣的金箍棒需要應(yīng)對(duì)不同的環(huán)境,有時(shí)變作繡花針,有時(shí)則要成為定海神針。對(duì)于非線性編輯技術(shù)來(lái)講,一般要編輯的對(duì)象都是大文件,但有時(shí)候也會(huì)處理一些小文件,所以這個(gè)數(shù)字支撐平臺(tái)需要對(duì)大文件和小文件實(shí)現(xiàn)同樣的優(yōu)化性能——這對(duì)于傳統(tǒng)的NAS文件系統(tǒng)是難以實(shí)現(xiàn)的。而戴爾流動(dòng)文件平臺(tái)架構(gòu)Fluid FS如同金箍棒一般,可伸可縮,能夠自如對(duì)小如4K文件和大到數(shù)個(gè)TB的大文件分別進(jìn)行優(yōu)化。
相對(duì)于其他友商的NAS文件系統(tǒng)不區(qū)別地將所有的文件都按元數(shù)據(jù)inode和數(shù)據(jù)data分開管理,戴爾Fluid FS則將 小于4KB都存儲(chǔ)在inodes中,無(wú)需另寫入data數(shù)據(jù)空間中。而對(duì)于每個(gè)大文件,所有的數(shù)據(jù)都被分布到后端存儲(chǔ)所有可用的LUN上 ,且以1MB chunks方式進(jìn)行。新數(shù)據(jù)的寫入是基于可用的空閑空間以及LUN的聚合性,以達(dá)到在可用的LUN之間平衡分布,從而實(shí)現(xiàn)優(yōu)化性能。除此之外,戴爾Fluid FS還通過(guò)提供單獨(dú)的智能讀寫cache調(diào)整對(duì)讀寫IO同時(shí)進(jìn)行優(yōu)化,從而達(dá)到性能的最大化。
性能與容量的線性擴(kuò)展
戴爾流動(dòng)文件平臺(tái)架構(gòu)Fulid FS提供了一種橫向擴(kuò)展的存儲(chǔ)系統(tǒng)架構(gòu),并結(jié)合后端的流動(dòng)存儲(chǔ)實(shí)現(xiàn)靈活的橫向和縱向擴(kuò)展一體化的架構(gòu),從而實(shí)現(xiàn)一個(gè)真正原生的統(tǒng)一命名空間。
目前廣電行業(yè)非線編系統(tǒng)的后端存儲(chǔ)容量基本是PB級(jí)的,要求高效靈活的擴(kuò)展性。Dell Fluid FS存儲(chǔ)系統(tǒng)是基于橫向擴(kuò)展架構(gòu),通過(guò)前端Fluid FS控制節(jié)點(diǎn)與后端SAN存儲(chǔ)系統(tǒng)的在線橫向擴(kuò)展支持高性能海量級(jí)存儲(chǔ)要求。
從容量上講好像也挺簡(jiǎn)單的,不就是一堆磁盤壘上去嗎?那我們就需要提到"命名空間"的概念了,對(duì)于客戶端來(lái)說(shuō),一個(gè)命名空間用起來(lái)就像是一個(gè)文件系統(tǒng)。簡(jiǎn)單舉例,一般大家用PC遇到容量空間不夠的情況,就直接買硬盤加上去,然后在系統(tǒng)中會(huì)看到多了個(gè)設(shè)備,然后格式化形成一個(gè)新的D盤。
對(duì)于傳統(tǒng)的命名空間而言,當(dāng)Dell Fluid FS發(fā)現(xiàn)存放在C盤的文件如果需要轉(zhuǎn)放到D盤,需要剪切操作,意味著需要時(shí)間,需要磁盤與CPU的性能消耗——在這我們可以理解為C盤與D盤不是在同一個(gè)命名空間中,是兩個(gè)獨(dú)立的文件系統(tǒng),盡管容量增加了,但實(shí)際上操作也復(fù)雜了。聯(lián)想到非線編應(yīng)用涉及眾多素材文件,如果處于不同的文件系統(tǒng)或命名空間,編輯操作該是多麻煩的事?。?/div>
Dell Fluid FS存儲(chǔ)系統(tǒng),基于存儲(chǔ)資源池的概念,可真正實(shí)現(xiàn)文件系統(tǒng)在線橫向擴(kuò)展。
案例A:當(dāng)用戶無(wú)空閑存儲(chǔ)空間時(shí),需要增加額外的存儲(chǔ)空間
● 磁盤加入后僅對(duì)FS3起作用,擴(kuò)展其容量,但無(wú)法使其它文件系統(tǒng)受益
● 即使FS3仍有空閑空間情況下,F(xiàn)S1、FS2無(wú)法進(jìn)行利用
● 當(dāng)FS3容量受限于文件系統(tǒng)的最大容量,則無(wú)法解決
● 磁盤加入后,擴(kuò)展整個(gè)存儲(chǔ)資源池容量,真正實(shí)現(xiàn)文件系統(tǒng)在線擴(kuò)展
● Fluid FS可以智能地利用新加入的磁盤為整個(gè)文件系統(tǒng)提供性能提升
實(shí)例B:當(dāng)用戶需要將一個(gè)視頻文件移動(dòng)到另一文件系統(tǒng)中
● 在命名空間內(nèi),”COPY”有可能會(huì)跨不同的文件系統(tǒng),造成不可預(yù)期的情況,可能導(dǎo)致IO增加,性能嚴(yán)重下降等
● 在Fluid FS單一文件系統(tǒng)下,”COPY”是非常簡(jiǎn)單易操作的,無(wú)關(guān)乎文件大小,僅是指針重定向操作
非線編應(yīng)用在編輯過(guò)程中需要進(jìn)行大量的數(shù)據(jù)讀寫操作,所以必須要求存儲(chǔ)系統(tǒng)能提供強(qiáng)大的性能支持,并且具有良好的性能提升空間。Dell Fluid FS 存儲(chǔ)系統(tǒng)基于橫向架構(gòu),能夠有效、完滿地達(dá)到非線編應(yīng)用的要求。
從以下兩圖可看到Dell Fluid FS 系統(tǒng)可以通過(guò)前端控制器和后端磁盤的增加,達(dá)到性能線性增長(zhǎng)的效果:
數(shù)據(jù)生命周期管理
A.?dāng)?shù)據(jù)智能化分層管理
非線編應(yīng)用涉及海量級(jí)數(shù)據(jù),視頻制作出來(lái)后不僅僅作為成品,同樣可能成為其它作品的素材,比如我們常??吹降挠耙暩木幾髌坊蚋咔遛D(zhuǎn)碼等,所以要求存儲(chǔ)系統(tǒng)具有數(shù)據(jù)生命周期管理的特性。Dell Fluid FS存儲(chǔ)系統(tǒng)的智能化數(shù)據(jù)分層管理,有效支持非線編系統(tǒng)的海量數(shù)據(jù)管理,有效提升熱點(diǎn)數(shù)據(jù)的讀寫訪問(wèn)性能,并提供冷數(shù)據(jù)的低成本大容量存儲(chǔ)。分層特性基于數(shù)據(jù)塊級(jí)別,由存儲(chǔ)系統(tǒng)自動(dòng)化管理,無(wú)需人為干預(yù),實(shí)現(xiàn)智能化。
B.持續(xù)性數(shù)據(jù)保護(hù)
非線編應(yīng)用的海量數(shù)據(jù)特性注定了數(shù)據(jù)保護(hù)是必要的,編輯人員在非線編過(guò)程中所花費(fèi)的時(shí)間和精力是無(wú)法估值的,可以想象一個(gè)誤刪除所帶來(lái)的難以估量的成本。 Dell Fluid FS存儲(chǔ)系統(tǒng)提供的快照功能可以有效地實(shí)現(xiàn)數(shù)據(jù)保護(hù),其快照技術(shù)采用直接寫方式,僅保存數(shù)據(jù)改變量,無(wú)性能影響?;跀?shù)據(jù)卷的快照功能,方便易用,可通過(guò)Open、Copy、Restore三種方式實(shí)現(xiàn)數(shù)據(jù)恢復(fù):OPEN可以將快照數(shù)據(jù)以文件夾方式打開,可以選取需要恢復(fù)的文件進(jìn)行數(shù)據(jù)恢復(fù);COPY可以將快照中數(shù)據(jù)COPY到本地或其他目錄中,不影響現(xiàn)有目錄的數(shù)據(jù);Restore是將快照中數(shù)據(jù)以完全覆蓋的方式恢復(fù)到目錄中。用戶可以直接操作,不需要IT管理員干預(yù),管理更為簡(jiǎn)單高效。
Dell Fluid FS存儲(chǔ)系統(tǒng)支持NDMP協(xié)議,可與主流備份軟件結(jié)合,實(shí)現(xiàn)數(shù)據(jù)直接備份到外部存儲(chǔ)介質(zhì),達(dá)到數(shù)據(jù)離線保護(hù)的目的。
當(dāng)然Dell Fluid FS存儲(chǔ)系統(tǒng)還提供遠(yuǎn)程數(shù)據(jù)保護(hù)、用戶認(rèn)證、文件權(quán)限管理等,充分滿足多個(gè)非線編項(xiàng)目組的并發(fā)工作需求。
客戶案例
以上海廣電行業(yè)知名企業(yè)為例,隨著4K電視技術(shù)(16:9屏幕分辯率3840*2160)的發(fā)展,作為國(guó)內(nèi)領(lǐng)先的IPTV新媒體視聽業(yè)務(wù)運(yùn)營(yíng)商、服務(wù)商,客戶需要發(fā)展對(duì)4K節(jié)目支持。相比通常的2K或高清節(jié)目,大家都知道一個(gè)1080高清的視頻大概40GB,那么4K的視頻就應(yīng)該有150GB以上,上百兆的碼流都是小意思,因此4K節(jié)目意味著需要更大的容量,更高性能的硬件平臺(tái)支撐。
戴爾團(tuán)隊(duì)積極響應(yīng)客戶需求,以客戶的非線編應(yīng)用需求為基礎(chǔ),提供了相應(yīng)測(cè)試方案及硬件測(cè)試平臺(tái)。按4K非線編應(yīng)用生產(chǎn)系統(tǒng)需求,要求后端存儲(chǔ)系統(tǒng)需要至少支持1PB以上容量,平均1GB以上的穩(wěn)定讀寫帶寬。
基于Redhat和Windows平臺(tái),采用每個(gè)進(jìn)程20GB測(cè)試數(shù)據(jù),運(yùn)行iozone測(cè)試命令模擬讀寫。測(cè)試結(jié)果如下,數(shù)據(jù)均完全滿足客戶的非線編應(yīng)用需求。
Redhat平臺(tái)
Windows平臺(tái)
需要補(bǔ)充說(shuō)明的是,這次測(cè)試的Dell Fluid FS系統(tǒng)為原舊有V3版本,現(xiàn)升級(jí)版本已到V5,單是系統(tǒng)緩存就已經(jīng)達(dá)到96GB,是原有的兩倍,性能顯著提升,而且只需通過(guò)簡(jiǎn)單的在線升級(jí)即可實(shí)現(xiàn),無(wú)需附加任何許可費(fèi)用,更好地保護(hù)客戶IT投資。
綜上所述,Dell Fluid FS存儲(chǔ)系統(tǒng)在非線編應(yīng)用中有著上佳表現(xiàn),在廣電行業(yè)內(nèi),已有眾多客戶正在體驗(yàn)Dell Fluid FS存儲(chǔ)系統(tǒng)所帶來(lái)的卓越制作體驗(yàn)。