在 AWS re:Invent 大會上,亞馬遜 (Amazon.com) 公司旗下的 Amazon Web Services, Inc. (AWS) 發(fā)布兩項新功能,幫助客戶更快速和更經(jīng)濟劃算地向 AWS 云遷移任意類型和規(guī)模的數(shù)據(jù)。AWS Snowball 是可安全地向 AWS 導入或從 AWS 導出 50 TB/設備數(shù)據(jù)的PB級數(shù)據(jù)傳輸設備。Amazon Kinesis Firehose 是向 AWS 加載流數(shù)據(jù)的全面托管服務(面向 Amazon S3 和 Amazon Redshift 今日即可用,面向其他 AWS 數(shù)據(jù)存儲的功能即將推出)。若要更多地了解 AWS Snowball 和 Amazon Kinesis Firehose,請訪問: https://aws.amazon.com/new/reinvent/data-transfer/。
目前,客戶正向 AWS 云遷移越來越多的應用和大量數(shù)據(jù),從應用日志到數(shù)字媒體、基因組和來自聯(lián)網(wǎng)設備的PB級傳感器數(shù)據(jù)。AWS Direct Connect 向客戶提供 AWS 網(wǎng)絡專用快速連接的同時,AWS Snowball 和 Amazon Kinesis Firehose 適合需要大批量傳輸數(shù)據(jù)、有數(shù)據(jù)位于分散位置或需要持續(xù)加載流數(shù)據(jù)的客戶。借助 AWS Snowball 和 Amazon Kinesis Firehose,現(xiàn)在 AWS 客戶有兩種新方式向 AWS 云更方便且經(jīng)濟劃算地遷移大數(shù)據(jù)集和流數(shù)據(jù)。
亞馬遜AWS 存儲服務副總裁Bill Vass表示:“對公司來說,目前沒有比借助 AWS 云采集、存儲、分析和共享數(shù)據(jù)更方便或更經(jīng)濟劃算的方式。客戶已認識到他們的數(shù)據(jù)包含可形成競爭優(yōu)勢的關(guān)鍵洞察力,他們希望盡快將盡可能多的數(shù)據(jù)導入 AWS。AWS Snowball 和 Amazon Kinesis Firehose 向客戶提供兩個更重要工具,將他們的數(shù)據(jù)導入 AWS。”
AWS Snowball:向 AWS 安全遷移大量數(shù)據(jù)的最快方式需要向 AWS 傳輸大量數(shù)據(jù)的客戶面臨挑戰(zhàn) – 上傳數(shù)據(jù)所花的時間。例如,如果公司使用 100 兆位/秒總帶寬容量向 AWS 傳輸數(shù)據(jù),通過該連接傳輸 100 TB 數(shù)據(jù)大約需要 100 天。公司可以選擇花更多錢擴展帶寬容量或升級網(wǎng)絡,但大多數(shù)人不想為了支持向云發(fā)送更多數(shù)據(jù),就采取這種簡單(但昂貴)的方法?,F(xiàn)在,借助 AWS Snowball,這款堅固耐用且防篡改的加密便攜式存儲設備,客戶在一周之內(nèi)即可向 AWS 遷移 同樣的100 TB 數(shù)據(jù),僅需高速互聯(lián)網(wǎng)使用五分之一的成本??蛻羰褂?AWS 管理控制臺創(chuàng)建任務,AWS 直接向客戶發(fā)送設備,一旦收到設備,客戶簡單地將其插入本地網(wǎng)絡。AWS Snowball 提供客戶可用于加密 50TB 數(shù)據(jù)并向每臺設備傳輸?shù)暮唵螖?shù)據(jù)傳輸客戶端。客戶可并行使用多臺 AWS Snowball 設備在相同時限內(nèi)傳輸更大數(shù)據(jù)集。一旦在 AWS Snowball 上完全加載客戶數(shù)據(jù),其電子墨水運輸標簽與 AWS 運輸?shù)刂纷詣痈?,客戶可利?AWS 簡單通知服務 (SNS)、短信或 AWS 管理控制臺跟蹤傳輸任務狀態(tài)。
AWS Snowball 設備使用多重安全保護客戶數(shù)據(jù)。除防篡改封裝之外,AWS Snowball 還使用端到端 256 位加密以及設計為確??蛻魯?shù)據(jù)安全和全監(jiān)管鏈的行業(yè)標準可信平臺模塊 (TPM)。一旦已從 AWS Snowball 向 AWS 數(shù)據(jù)存儲(初始 Amazon S3)傳輸客戶數(shù)據(jù),按照美國國家標準與技術(shù)研究院 (NIST) 介質(zhì)清除指南定義的標準,AWS 從 AWS Snowball 設備擦除全部數(shù)據(jù)。在刪除本地數(shù)據(jù)副本之前,客戶可獲得報告并確認已向 AWS 成功地加載全部數(shù)據(jù)。
BuzzFeed 是向超過 2 億獨立月度訪客和 15 億以上觀眾制作并分發(fā)原創(chuàng)新聞、娛樂和視頻的全球性媒體公司。BuzzFeed 技術(shù)運營總監(jiān)Eugene Ventimiglia表示:“作為全球最大媒體公司之一,BuzzFeed 生成我們需要保存和維護的大量內(nèi)容。我們希望實施基于 Amazon Glacier 的歸檔解決方案,但我們的 250TB 歸檔數(shù)據(jù)實在太多、無法在單個磁盤驅(qū)動器上遷移數(shù)據(jù)并且使用高速互聯(lián)網(wǎng)的確會耗時過長。AWS Snowball的發(fā)布,完全改變了我們的思維,現(xiàn)在我們有簡單、安全且經(jīng)濟劃算的方式在一周內(nèi)向 AWS 遷移整個 250TB 數(shù)據(jù)庫。”
索尼 Ci 媒體云平臺提供分發(fā)、協(xié)作和專業(yè)媒體工作流轉(zhuǎn)型。索尼專業(yè)解決方案部美洲區(qū)副總裁David Rosen表示:“我們的許多客戶有PB數(shù)據(jù)和受限帶寬,這已成為他們向索尼媒體云 (Ci) 遷移一些最沉重媒體工作流的障礙。AWS Snowball 有潛力徹底解決該問題。從我們早期觀察 AWS Snowball 來看,能夠安全且經(jīng)濟劃算地替代互聯(lián)網(wǎng)向 AWS 傳輸我們擁有的大量媒體資產(chǎn),我們對這一前景倍感興奮。”
Amazon Kinesis Firehose:向 AWS 輕松加載數(shù)據(jù)流移動設備、軟件應用與服務、可穿戴設備、工業(yè)傳感器和 IT 基礎(chǔ)設施生成數(shù)量驚人的數(shù)據(jù) – 有時每小時可達數(shù) TB。2013 年,AWS 發(fā)布 Amazon Kinesis Streams 讓客戶構(gòu)建應用采集、處理和分析吞吐量極高的流數(shù)據(jù)。許多客戶使用 Amazon Kinesis Streams 捕獲數(shù)據(jù)并載入 Amazon S3 或 Amazon Redshift。到目前為止,這要求客戶管理 Amazon Kinesis 數(shù)據(jù)流并編寫自定義代碼加載數(shù)據(jù)?,F(xiàn)在,Amazon Kinesis Firehose 讓這些像應用編程接口 (API) 調(diào)用一樣方便。Amazon Kinesis Firehose 捕獲來自數(shù)十萬不同來源的數(shù)據(jù)并將其直接實時地載入 AWS??蛻粼?AWS 管理控制臺中簡單地創(chuàng)建 Amazon Kinesis Firehose 分發(fā)流并指定 Amazon S3 目標桶或 Amazon Redshift 表和他們希望向目的地分發(fā)新數(shù)據(jù)的時間頻率??蛻暨€可配置 Amazon Kinesis Firehose 在分發(fā)前按指定時間間隔批處理、壓縮和加密流數(shù)據(jù)。
赫斯特國際集團是全球最大媒體與信息公司之一,在全世界有超過 250 個基地。赫斯特國際集團數(shù)據(jù)服務副總裁Rick McFarland表示:“我們監(jiān)測公司數(shù)字財產(chǎn)的趨勢性內(nèi)容并且每天生成TB級的數(shù)據(jù)流。這是我們公司的’數(shù)據(jù)貨幣’并且?guī)椭覀兊纳虡I(yè)智能和產(chǎn)品開發(fā)。讓我們感到興奮的是,我們能夠讓 Web 服務器群僅指向 Amazon Kinesis Firehose,它負責全部流數(shù)據(jù)聚合、壓縮和向 Amazon S3 分發(fā),無需我們進行任何干預。這將降低我們數(shù)據(jù)管道的操作復雜性并讓我們專注于分析,這樣我們能夠向客戶提供最佳內(nèi)容。”
AWS Snowball 和 Amazon Kinesis Firehose 今日上市。客戶可訪問 aws.amazon.com/importexport/request-access 網(wǎng)站申請AWS Snowball 設備??蛻艨墒褂?AWS 管理控制臺、AWS 命令行界面 (CLI) 或 AWS 軟件開發(fā)包 (SDK) 訪問 Amazon Kinesis Firehose。Amazon Kinesis Firehose 初期在美國東部(弗吉尼亞北部)、美國西部(俄勒岡)和歐盟(愛爾蘭)區(qū)域上市,未來幾個月將擴展到其他區(qū)域。