大量數字化處理對象。
Versity公司是一家采用多線程SAM-QFS的歸檔軟件初創(chuàng)企業(yè)。
這家年輕的公司成立于2011年3月,CEO Bruce Gilpin擁有風險投資背景,而CTO則為Harriet Coverston。她自1986年起即在LSC(即Large Storage Configurations)公司工作并擔任技術負責人職務,而該公司正是QFS(即快速文件系統)的開發(fā)方。
QFS能夠對磁盤驅動器進行分組,并為其提供一套文件系統。該軟件后被Sun公司收購,Coverston亦在工作一段時間后隨甲骨文收購Sun而轉投數據庫巨頭旗下。
在Sun公司中,QFS與存儲及歸檔管理器(簡稱SAM)配合使用,后者負責管理磁盤與磁帶等批量存儲資源,而SAM-QFS即由此而生。Sun公司于2008年3月將其納入OpenSolaris項目。這是一款層級化存儲管理產品(簡稱HSM),能夠將冷門文件由前端磁盤復制至磁帶(IBM、LTO與甲骨文格式),整個過程以后臺方式運行并可根據需要隨時恢復至磁盤內。
甲骨文公司目前的Hierarchical Storage Manager正是基于SAM-QFS。
Versity公司為自籌資金所建立,并在其后的兩年中一直以節(jié)儉與延遲結款方式進行運作,直到2013年7月獲得來自克雷公司的A輪資助。克雷公司為其高性能計算市場上的一家分銷合作伙伴。2014年4月,Versity存儲管理器(簡稱VSM)軟件產品正式發(fā)布。
該軟件已經擁有10到20家客戶,其中包括利用其管理250 PB數據的Ovation Data公司。另外,去年Versity公司簽下了一份總額達100萬美元的訂單。
Gilpin在采訪時指出,VSM是一款開源軟件,用戶以訂閱方式加以使用。具體來講,VSM屬于專有開源產品,其以合法方式使用SAM-QFS源代碼,并由Versity方面基于CDDL進行授權。
其架構特性包括:
專門構建的歸檔文件系統提供業(yè)界領先的性能表現。
基于策略的數據管理應用提供自動化存儲分層,從而實現持續(xù)存儲優(yōu)化效果。
基于開源SAM-QFS的技術方案目前已經在為全球范圍內的數百座客戶站點服務。
寫入為open tar文件格式以降低供應商依賴性。
軟件的運行速度據稱亦相當出色:
Tunable系統參數調整可面向任意應用、網絡類型或者存儲技術起效。
以接近存儲硬件原始速度的水平實現文件歸檔移動。
元數據可進行拆分存儲以提升吞吐能力,或者根據環(huán)境內事務處理情況進行穿插存儲。
可變DAU(即磁盤分配單元)機制擁有出色的大型與小型文件處理性能,且可調整以支持多種不同工作負載。
VSM并非對象存儲方案,亦不屬于并行文件系統。具體來講,這是一套適用于那些不希望面向對象API進行寫入,但又需要保留自身現有POSIX接口的企業(yè)客戶的歸檔存儲方案。
發(fā)展
Versity公司正著手為其后端存儲發(fā)布S3接口,旨在將其作為公有云或者內部S3所能使用的對象存儲機制。目前已經有一家客戶選擇這種使用方式,Gilpin表示其"硬件供應商正是內部對象存儲廠商之一。"
為什么Versity公司要支持對象接口?該公司給出的答案是,"因為Web規(guī)模數據中心雖然已經建立起對象存儲體系,但其余企業(yè)仍然在使用POSIX,而且二者之間無法往來遷移。"
Versity公司還在著手添加一套二級對象存儲接口,旨在利用較S3更快速也更簡單的方式將VSM與內部對象存儲體系加以結合。根據我們掌握的情況,由此構建的系統在使用成本上僅為Amazon S3存儲的三分之一。
我們猜測其后端對象存儲供應商很可能是Cloudian公司。
多線程
多個文件被打包為單一TAR文件,即所謂流量重塑機制,其隨后作為單一條目被寫入至歸檔備份存儲內。此TAR文件的大小可通過策略進行設置。
VSM隨后會使用運行在一個或者多個處理器核心上的線程進行多線程IO。該軟件的部分開發(fā)人員來自Lustre公司,且對并行文件系統擁有深刻理解。Gilpin就速度水平給出說明,表示VSM在使用5000美元戴爾服務器(配備雙10 GbitE網卡)的情況下能夠實現每秒1.8 GB的后端存儲寫入速度。其讀取速度則為每秒2.1 GB。
這一水平與DataCore所使用的Parallel Server技術基本類似。
Gilpin指出,VSM的速度水平高于Avere文件管理器、對象存儲與云訪問加速產品。
向外擴展文件系統
Versity公司正在著手開發(fā)一套向外擴展POSIX文件系統,其可應對高達1萬億個文件。這套方案將匹配對象存儲系統,而且已經擁有8個月的過往開發(fā)周期。該公司希望在今年10月推出這套文件系統的alpha演示版本。
這將是一套對等系統,其中不存在主節(jié)點,同時采用字節(jié)范圍鎖定與B樹數據結構。
Gilpin指出,其專門針對歸檔需求所設計,而對字節(jié)范圍內的POSIX加以忽略,意味著默認情況下不存在文件鎖定。如果出現可能將其速度拖慢至NFS水平的資源競爭情況,元數據會得到優(yōu)先處理。
而這將成為Versity公司的下一代產品。
Gilpin同時指出,Versity公司正在考量如何更好地從Lustre系統中提取文件,甚至直接支持Lustre文件格式。
競爭關系與評論意見
其競爭對手包括IBM(LTFS LE、TSM與HPSS)、甲骨文(SAM-QFS、甲骨文HSM)、SGI(DSM)以及昆騰(StorNext)。他表示,昆騰可能是其最為強勁的競爭對手,當然IBM與甲骨文則擁有更強大的銷售渠道與客戶基礎。
SpectraLogic據稱已經成為Versity公司的一位合作伙伴。
在我們看來,業(yè)務規(guī)模有限與來自克雷的投資并不能說明什么;必須承認,這是一家嚴肅的廠商,其擁有出色的歸檔方案,而且VSM的多線程速度也的確令人印象深刻。
其向外擴展發(fā)展思路也解決了各對象存儲廠商在構建文件系統時始終存在的擴展能力有限這一問題。S3后端接口將使得VSM成為一套面向面向POSIX應用用戶的對象存儲網關,其它后續(xù)對象存儲API的推出也將進一步強化這種能力。另外,向外擴展文件系統的開發(fā)顯得頗具潛力,因此我們將期待著這家年輕的企業(yè)在4個月后會交出怎樣一份實際答卷。