在大數(shù)據(jù)領(lǐng)域，并非每家公司都需要高性能計(jì)算(HPC)，但幾乎所有使用大數(shù)據(jù)的企業(yè)都采用了Hadoop式分析計(jì)算。
HPC和Hadoop之間的區(qū)別很難區(qū)分，因?yàn)榭梢栽诟咝阅苡?jì)算(HPC)設(shè)備上運(yùn)行Hadoop分析作業(yè)，但反之亦然。 HPC和Hadoop分析都使用并行數(shù)據(jù)處理，但在Hadoop 和分析環(huán)境中，數(shù)據(jù)存儲(chǔ)在硬件上，并分布在該硬件的多個(gè)節(jié)點(diǎn)上。在高性能計(jì)算(HPC)中，數(shù)據(jù)文件的大小要大得多，數(shù)據(jù)存儲(chǔ)集中。高性能計(jì)算(HPC)由于其文件體積龐大，還需要更昂貴的網(wǎng)絡(luò)通信(如InfiniBand)，因此需要高吞吐量和低延遲。
企業(yè)首席信息官的目的很明確：如果企業(yè)可以避免使用HPC并只將Hadoop用于分析，可以執(zhí)行此操作。這種方式成本更低，更易于員工操作，甚至可以在云端運(yùn)行，其他公司(如第三方供應(yīng)商)可以運(yùn)行它。
不幸的是，對(duì)于需要高性能計(jì)算(HPC)進(jìn)行處理的生命科學(xué)、氣象、制藥、采礦、醫(yī)療、政府、學(xué)術(shù)的企業(yè)和機(jī)構(gòu)來(lái)說(shuō)，全部采用Hadoop是不可能的。由于文件規(guī)模較大，處理需求極其嚴(yán)格，采用數(shù)據(jù)中心或與采用云計(jì)算都不是很好的方案。
簡(jiǎn)而言之，高性能計(jì)算(HPC)是一個(gè)在數(shù)據(jù)中心內(nèi)部運(yùn)行的大數(shù)據(jù)平臺(tái)的完美示例。正因?yàn)槿绱?，企業(yè)如何確保其投資巨大的硬件完成需要的工作成為了一個(gè)挑戰(zhàn)。
大數(shù)據(jù)Hadoop和HPC平臺(tái)提供商PSCC Labs首席戰(zhàn)略官Alex Lesser表示：“這是必須使用HPC來(lái)處理其大數(shù)據(jù)的許多公司面臨的挑戰(zhàn)。大多數(shù)這些公司都有支持傳統(tǒng)IT基礎(chǔ)設(shè)施，他們很自然地采用了這種思路，自己構(gòu)建Hadoop分析計(jì)算環(huán)境，因?yàn)檫@使用了他們已經(jīng)熟悉的商用硬件，但是對(duì)于高性能計(jì)算(HPC)來(lái)說(shuō)，其響應(yīng)通常是讓供應(yīng)商來(lái)處理。”
考慮采用高性能計(jì)算(HPC)的公司需要采取以下四個(gè)步驟：
1.確保企業(yè)高層對(duì)高性能計(jì)算(HPC)的支持
企業(yè)的高層管理人員和董事會(huì)成員不一定要求是高性能計(jì)算領(lǐng)域的專家，但絕不能沒(méi)有他們的理解和支持。這些管理人員都應(yīng)該對(duì)高性能計(jì)算(HPC)有足夠的了解，以及可以為企業(yè)明確支持可能制定的大規(guī)模硬件、軟件和培訓(xùn)投資。這意味著他們必須在兩個(gè)方面受到教育：(1)HPC是什么，為什么它與普通分析不同，需要采用特殊的硬件和軟件。(2)為什么企業(yè)需要使用HP??C而不是原有的分析來(lái)實(shí)現(xiàn)其業(yè)務(wù)目標(biāo)。這兩項(xiàng)教育工作都應(yīng)由首席信息官(CIO)或首席開發(fā)官(CDO)負(fù)責(zé)。
Lesser表示：“采用HPC的最積極的公司是那些相信他們真正的科技公司，他們指的是亞馬遜AWS云服務(wù)，最初只是亞馬遜公司的零售業(yè)務(wù)，現(xiàn)在已成為一個(gè)龐大的利潤(rùn)中心。”
2.考慮一個(gè)可以自定義的預(yù)配置硬件平臺(tái)
PSSC Labs等公司提供預(yù)打包和預(yù)配置的HPC硬件。“我們有一個(gè)基于HPC最佳實(shí)踐的基本軟件包，可以與客戶一起根據(jù)客戶的計(jì)算需求定制這個(gè)基礎(chǔ)軟件包。”Lesser說(shuō)，他指出幾乎每個(gè)數(shù)據(jù)中心都必須進(jìn)行一些定制。
3.了解回報(bào)
與任何IT投資一樣，HPC必須符合成本效益，并且企業(yè)應(yīng)該能夠獲得投資回報(bào)(ROI)，這一點(diǎn)在管理層和董事會(huì)的頭腦中已經(jīng)闡明。“一個(gè)很好的例子是飛機(jī)設(shè)計(jì)。”Lesser說(shuō)。 “高性能計(jì)算(HPC)的投資規(guī)模很大，但是當(dāng)公司發(fā)現(xiàn)它可以使用HPC進(jìn)行設(shè)計(jì)模擬并獲得5個(gè)9的準(zhǔn)確性，并且不再需要租用物理風(fēng)洞時(shí)，就會(huì)很快收回了HPC投資。”
4.培訓(xùn)自己的IT員工
HPC計(jì)算對(duì)企業(yè)的IT員工來(lái)說(shuō)不是一個(gè)簡(jiǎn)單的過(guò)渡，但是如果企業(yè)要運(yùn)行內(nèi)部部署操作，則應(yīng)該讓團(tuán)隊(duì)定位以實(shí)現(xiàn)自給自足。
最初，企業(yè)可能需要聘請(qǐng)外部咨詢?nèi)藛T才能開始工作。但咨詢?nèi)蝿?wù)的目標(biāo)應(yīng)始終是雙重目標(biāo)：(1)讓HPC應(yīng)用程序繼續(xù)運(yùn)行，(2)將知識(shí)傳授給員工，以便他們能夠接管操作。企業(yè)不應(yīng)該滿足于此。
HPC團(tuán)隊(duì)的核心是需要一名數(shù)據(jù)科學(xué)家，他能夠開發(fā)高性能計(jì)算所需的高度復(fù)雜的算法來(lái)回答企業(yè)的問(wèn)題。它還需要一名精通C +或Fortran技能，并能夠在并行處理環(huán)境中工作的強(qiáng)大系統(tǒng)的程序員，或者是網(wǎng)絡(luò)通信專家。
“最重要的是，如果企業(yè)每?jī)芍芤\(yùn)行一次或兩次工作，就應(yīng)該到云端來(lái)承載其HPC。”Lesser說(shuō)，“但是如果企業(yè)正在使用HPC資源和運(yùn)行作業(yè)，如制藥公司或生物學(xué)公司可能每天多次運(yùn)行，那么在云端運(yùn)行就會(huì)浪費(fèi)資金，應(yīng)該考慮運(yùn)行自己的內(nèi)部操作。”
版權(quán)聲明：本文為企業(yè)網(wǎng)D1Net編譯，轉(zhuǎn)載需注明出處為：企業(yè)網(wǎng)D1Net，如果不注明出處，企業(yè)網(wǎng)D1Net將保留追究其法律責(zé)任的權(quán)利。
京公網(wǎng)安備 11010502049343號(hào)