AI無處不在，是當今社會的熱點 。在DOIT和行業(yè)用戶的基礎(chǔ)中，很多用戶反饋：AI是個趨勢，必將對未來產(chǎn)生重大的影響，與此同時，行業(yè)用戶也反饋，針對AI大勢感覺無從入手。分析其中的原因，DOIT認為人們能夠看到只是AI帶來的神奇表現(xiàn)，但是沒有看到AI背后的數(shù)據(jù)是如何訓練的。

西部數(shù)據(jù)在今年6月正式發(fā)布了人工智能數(shù)據(jù)周期存儲框架(AI Data Cycle)，也部分揭秘了大型AI工作負載數(shù)據(jù)應(yīng)用的秘密，有助于用戶厘清AI和數(shù)據(jù)存儲之間的動態(tài)關(guān)系。

西部數(shù)據(jù)公司副總裁兼中國區(qū)總經(jīng)理 蔡耀祥

西部數(shù)據(jù)公司副總裁兼中國區(qū)總經(jīng)理蔡耀祥透露：西部數(shù)據(jù)積極調(diào)整產(chǎn)品路線圖，以滿足在AI驅(qū)動下不斷升級的需求，更大限度地提升性能和容量并降低能耗和TCO(總體擁有成本，Total Cost of Ownership)。

人工智能數(shù)據(jù)周期的六大階段

西部數(shù)據(jù)通過人工智能數(shù)據(jù)周期，詳細解讀了AI管道六個階段中數(shù)據(jù)從收集、訓練到推理的存儲細節(jié)。

<人工智能數(shù)據(jù)周期>

讓我們簡單了解一下人工智能數(shù)據(jù)周期的各個階段。

1，原始數(shù)據(jù)存檔，內(nèi)容存儲：從各種來源安全高效地收集并存儲原始數(shù)據(jù)，以用于訓練模型。所收集數(shù)據(jù)的質(zhì)量和多樣性至關(guān)重要，為后續(xù)的所有階段奠定了基礎(chǔ)。

在此階段，查找并收集數(shù)據(jù)集需要大容量存儲，通常來說會用到大容量企業(yè)級HDD(eHDD)。由于企業(yè)級HDD可以經(jīng)濟高效地存儲巨量規(guī)模化數(shù)據(jù)，且擁有更低的TCO，被視作是建立深度內(nèi)容資源庫的理想選擇。全球線上和可訪問的冷數(shù)據(jù)及溫數(shù)據(jù)都主要通過它來保存。具體來說，選用單盤容量點更高的HDD能夠幫助云和企業(yè)級用戶提升存儲密度，實現(xiàn)數(shù)據(jù)中心的規(guī)模化擴展，滿足不斷增長的容量需求。

西部數(shù)據(jù)現(xiàn)已正式向指定客戶出樣具備行業(yè)領(lǐng)先容量的32TB 企業(yè)級ePMR HDD。

全新的大容量Ultrastar DC HC690 UltraSMR HDD專為超大規(guī)模云和企業(yè)級數(shù)據(jù)中心的巨量數(shù)據(jù)存儲需求設(shè)計。在人工智能工作流這類對大規(guī)模數(shù)據(jù)存儲和低TCO有嚴格要求的應(yīng)用場景下，該產(chǎn)品可發(fā)揮重要作用。此外，憑借先進的ePMR技術(shù)和OptiNAND技術(shù)、長遠的產(chǎn)品規(guī)劃和可預(yù)見的容量提升，西部數(shù)據(jù)可以幫助用戶充分應(yīng)對當前乃至未來AI應(yīng)用對存儲日益增長的需求。

<西部數(shù)據(jù)Ultrastar DC HC690 UltraSMR HDD>

2，數(shù)據(jù)準備和轉(zhuǎn)換：在該階段，數(shù)據(jù)會被處理、清洗和轉(zhuǎn)換，以供模型訓練使用。在AI場景下，這一階段需要執(zhí)行的操作很復(fù)雜，并且對性能的要求也更高。數(shù)據(jù)需要首先被轉(zhuǎn)化為AI模型可以使用的信息，包括對文本、圖片、視頻以及所有輸入AI模型的內(nèi)容進行矢量化處理。這也是AI管道中對各方面需求都更高的階段，對計算和存儲基礎(chǔ)設(shè)施的要求也更加苛刻。

這是一個對性能要求很高且存儲密集的階段，該階段的存儲選擇從HDD轉(zhuǎn)向了SSD，從而建立高速數(shù)據(jù)湖以支持數(shù)據(jù)準備和轉(zhuǎn)換。在該階段，用戶會部署采用大容量企業(yè)級SSD(eSSD)的全閃存存儲系統(tǒng)，以增強現(xiàn)有的基于HDD的資源庫，或用于新的全閃存存儲層。

為滿足市場對大容量SSD的需求，西部數(shù)據(jù)全新的企業(yè)級SSD將容量提升到了32TB和64TB，并針對人工智能數(shù)據(jù)周期中第二階段的高性能存儲需求和其他大容量性能存儲需求著重優(yōu)化。全新Ultrastar DC SN655+企業(yè)級SSD采用PCIe Gen 4接口，并集成了多項用于服務(wù)AI用例的軟件特性和功能。

<西部數(shù)據(jù)Ultrastar DC SN655+ 企業(yè)級SSD>

3，AI模型訓練：AI模型會在該階段進行反復(fù)訓練，從而基于訓練數(shù)據(jù)做出準確的預(yù)測。具體來說，模型是在高性能超級計算機上進行訓練的，而訓練效率在很大程度上取決于最大化GPU利用率和專門的高性能存儲。

從數(shù)據(jù)中心的角度來看，這一階段的工作負載對計算性能的要求極高，所以需要我們再次轉(zhuǎn)變存儲策略。這一階段理想的SSD是高性能、低容量、以計算為目的企業(yè)級SSD，確保向GPU集成系統(tǒng)輸入數(shù)據(jù)的環(huán)節(jié)不會因存儲性能不足而受到影響。此外，在該過程中還有很多復(fù)雜的操作，如檢驗點、歸檔等，可能會根據(jù)計算狀態(tài)，將整個數(shù)據(jù)集寫回數(shù)據(jù)湖或進行檢索。因此，計算密集型存儲和基于閃存的數(shù)據(jù)湖在該階段有時會混合應(yīng)用。

4，界面交互：這一階段涉及為AI模型建立用戶友好型界面，包括各類應(yīng)用程序接口(API)、儀表板和工具等，使得上下文的特定數(shù)據(jù)和終端用戶的提示可以結(jié)合起來。AI模型會被整合到現(xiàn)有的互聯(lián)網(wǎng)和客戶端應(yīng)用程序中，在不取代現(xiàn)有系統(tǒng)的情況下增強其功能，進一步推動了存儲需求。

這一階段的存儲重點在終端，比如在客戶端設(shè)備、移動設(shè)備以及物聯(lián)網(wǎng)設(shè)備。這些都是真正執(zhí)行推理的地方。這里不僅有較高的性能需求來應(yīng)對推理過程，也有更大的容量需求來應(yīng)對新數(shù)據(jù)的產(chǎn)生。

兼顧性能和容量的客戶端存儲設(shè)備填補了這些需求。最終這些內(nèi)容會回到基于HDD的長期內(nèi)容存儲系統(tǒng)中，無論是歸檔或云端的。換言之，PC和筆記本電腦需要容量更大、性能更強的客戶端SSD(cSSD)，手機、物聯(lián)網(wǎng)系統(tǒng)和汽車會需要容量更大的嵌入式閃存設(shè)備，以在邊緣已有的應(yīng)用中增強AI。

5，AI推理引擎：第五階段是奇跡實時發(fā)生的地方。在這個階段，訓練好的模型被部署到數(shù)據(jù)生產(chǎn)環(huán)境中，對新的數(shù)據(jù)進行分析并提供實時的預(yù)測或者生成新的內(nèi)容。推理引擎的效率將直接影響AI響應(yīng)的及時性和準確性。

這一階段需要用于緩存的高性能eSSD、用于高速數(shù)據(jù)湖的大容量eSSD、大容量cSSD以及用于AI驅(qū)動邊緣設(shè)備的嵌入式閃存。

6，新內(nèi)容生成：最后一個階段是新內(nèi)容誕生的地方。AI模型所帶來的洞察分析經(jīng)常會產(chǎn)生新的數(shù)據(jù)，這些數(shù)據(jù)因其價值或趣味性而被存儲。盡管這一階段標志著循環(huán)的結(jié)束，但與此同時生成的新數(shù)據(jù)又會被反饋到數(shù)據(jù)周期中，通過不斷提升數(shù)據(jù)價值以用于未來模型的訓練和分析，實現(xiàn)持續(xù)的改進和創(chuàng)新。

生成的內(nèi)容將被存儲到大容量eHDD中，在數(shù)據(jù)中心實現(xiàn)大容量存儲、備份和歸檔。同時，大容量cSSD和嵌入式閃存設(shè)備也將用于存儲邊緣設(shè)備中額外由AI驅(qū)動的數(shù)據(jù)。

針對人工智能數(shù)據(jù)周期第三、四、五階段的高性能存儲需求，西部數(shù)據(jù)推出了旗下首款企業(yè)級PCIe Gen 5.0 SSD解決方案，擁有市場領(lǐng)先的隨機讀寫表現(xiàn)，容量高達16TB，隨機讀取性能相比上一代產(chǎn)品提升約3倍，超低的延遲和非凡的響應(yīng)速度尤其適用于大語言模型(Large Language Model, LLM)的訓練、推理和AI服務(wù)部署。此外，更低的能耗能夠提供更高的每瓦特IOPS(IOPS/Watt)，有助于企業(yè)進一步降低TCO。PCIe Gen 5帶來的帶寬提升滿足了AI行業(yè)計算密集型工作環(huán)境對高速計算和低時延的需求。

AI提速內(nèi)容增長，數(shù)據(jù)存儲未來可期

在數(shù)據(jù)中心，預(yù)計未來五年內(nèi)，HDD 和企業(yè)級SSD 都有顯著的 EB 級增長機會。在2024全球閃存峰會上，AI引發(fā)的對大容量的存儲需求成為會議的焦點，西部數(shù)據(jù)預(yù)計：在未來五年內(nèi)，PC和筆記本電腦市場的cSSD需求也會出現(xiàn)25%～35%的增長，智能手機的閃存需求會出現(xiàn)40%～50%的增長。

西部數(shù)據(jù)深刻理解AI和數(shù)據(jù)存儲之間的動態(tài)關(guān)系，在不斷提供更大容量產(chǎn)品的基礎(chǔ)上，為下一代AI工作負載所需要的極致性能和耐用性提供量身打造的存儲解決方案。憑借持續(xù)豐富擴展的產(chǎn)品組合、長遠的技術(shù)路線和不懈突破創(chuàng)新，西部數(shù)據(jù)將幫助用戶釋放AI的革新力量，創(chuàng)造更多價值。