小編的話

“品高云公開(kāi)課”系列文章意在分享技術(shù)牛人的知識(shí)干貨，和大家一起交流學(xué)習(xí)云知識(shí)，每期主題都不一樣喲！期待各位讀者在文后發(fā)表留言，來(lái)一場(chǎng)技術(shù)上的交流和思想上的碰撞！2015年12月18日本期品高云公開(kāi)課由品高云教育行業(yè)總監(jiān)吳一冰帶來(lái)“超算入云：HPC in Cloud”的分享。

分享嘉賓

吳一冰品高云教育行業(yè)總監(jiān)，CCF YOCSEF廣州AC委員。長(zhǎng)期從事云計(jì)算、云安全等相關(guān)領(lǐng)域技術(shù)研究，近年來(lái)致力于為教育信息化貢獻(xiàn)來(lái)自云端的力量。

分享正文

大家好，我是品高云教育行業(yè)經(jīng)理吳一冰，今天跟各位分享一點(diǎn)關(guān)于云計(jì)算這個(gè)老兵的新任務(wù)，HPC in Cloud。

之前參加過(guò)智慧教育展，在展會(huì)上有不少談云的，云教學(xué)、云備課，好多種不同的說(shuō)法。大家似乎認(rèn)為云計(jì)算是一個(gè)萬(wàn)能的技術(shù)，這是云計(jì)算的成功，也是對(duì)于云計(jì)算概念的一種透支，很多人已經(jīng)不知道云這個(gè)玩意最擅長(zhǎng)的、最能干的是什么了。

我們品高云做了很多年云計(jì)算，最開(kāi)始，大家對(duì)云計(jì)算的看法認(rèn)為云計(jì)算可以提供更快的計(jì)算速度，好像我們有個(gè)大集群，里面蘊(yùn)藏著巨大的計(jì)算力，理所當(dāng)然可以干“超級(jí)計(jì)算”的事情。這也是最開(kāi)始云超算這個(gè)概念的出現(xiàn)背景，但從市場(chǎng)跟技術(shù)原理上，都沒(méi)能得到主流認(rèn)同。

后來(lái)我們漸漸發(fā)現(xiàn)，云計(jì)算的最核心的本質(zhì)，并不是計(jì)算速度，而是交付速度，提升各種資源的交付效率。

最初階段云計(jì)算交付基礎(chǔ)環(huán)境，例如虛擬機(jī)、云存儲(chǔ)；

后來(lái)云計(jì)算可以交付運(yùn)行環(huán)境，不僅是虛擬機(jī)，里面還有中間件、數(shù)據(jù)庫(kù)，用戶拿到之后可以直接丟應(yīng)用進(jìn)去，就能運(yùn)行；

再后來(lái)，云計(jì)算可以直接交付應(yīng)用，我們把應(yīng)用做成部署模板，自動(dòng)化創(chuàng)建應(yīng)用；

云計(jì)算繼續(xù)發(fā)展，可以交付并行的應(yīng)用。這個(gè)能力對(duì)于云HPC來(lái)說(shuō)，是有里程碑似的意義。

云計(jì)算的發(fā)展，漸漸達(dá)到了HPC高性能計(jì)算的基礎(chǔ)環(huán)境支撐要求，使得這兩條技術(shù)流派產(chǎn)生了交叉。

因此，近年來(lái)我們可以看到亞馬遜AWS，微軟的Azure，都推出了HPC集群服務(wù)，美國(guó)有很多高校、研究機(jī)構(gòu)、企業(yè)，例如華盛頓大學(xué)、輝瑞制藥等，都在使用亞馬遜的在線HPC集群。阿里云前一段也推出了并行計(jì)算服務(wù)，盡管業(yè)內(nèi)很多HPC專家都說(shuō)阿里做的還不成熟，但說(shuō)明阿里云也看到了這個(gè)趨勢(shì)，開(kāi)始做了云超算。

說(shuō)回到我們的高性能計(jì)算云，高性能計(jì)算這個(gè)技術(shù)本身，最開(kāi)始并不是針對(duì)高校的。這項(xiàng)復(fù)雜的技術(shù)，適用于定向的研究機(jī)構(gòu)、企業(yè)，長(zhǎng)期用于研究同一種課題，例如中科院等離子研究所、中石化用于石油勘探等。

這跟高校的科研模式有比較明顯的差異，高校內(nèi)的研究門類特別多，有物理、化學(xué)、電子、生命科學(xué)等，而且大多數(shù)研究是實(shí)驗(yàn)、驗(yàn)證性質(zhì)的。

而且具有短期、高頻、多樣化的特點(diǎn)。就是每個(gè)實(shí)驗(yàn)運(yùn)行的時(shí)間并不長(zhǎng)，但可能有很多次實(shí)驗(yàn)，對(duì)于學(xué)校來(lái)說(shuō)，也有很多種不同的應(yīng)用。

當(dāng)前大多數(shù)高校的HPC資源，都是在各科研團(tuán)隊(duì)手里，彼此之間很難共享，資深的老師可能有很多HPC資源，年輕老師可能沒(méi)資源；有些老師做課題實(shí)驗(yàn)時(shí)，HPC資源可能不夠用，但不做實(shí)驗(yàn)的老師，可能資源有大量閑置。

另外一方面，HPC環(huán)境安裝部署搭建的復(fù)雜度很高。物理學(xué)院的老師搭好之后，即便不用，借給材料學(xué)院的老師，也沒(méi)法直接用，要做很大的改動(dòng)，材料院的老師用完也沒(méi)法恢復(fù)成物理院需要的HPC環(huán)境。簡(jiǎn)單說(shuō)，構(gòu)建難度大、復(fù)雜度高，歸根結(jié)底就是交付效率比較低。

而云計(jì)算恰恰就是解決資源交付效率低的問(wèn)題的。

剛才我們說(shuō)到，云計(jì)算可以交付集群應(yīng)用，也就是可以直接自動(dòng)構(gòu)建HPC集群。我們只需要將各種不同的HPC應(yīng)用模板進(jìn)行初始化導(dǎo)入，各院系的用戶就可以直接通過(guò)云平臺(tái)自助的去創(chuàng)建。

　　品高教育云平臺(tái)自助服務(wù)門戶視圖

對(duì)于資源管理者來(lái)說(shuō)，也不需要去做各種復(fù)雜的運(yùn)維工作，因?yàn)樵破脚_(tái)會(huì)利用自動(dòng)化服務(wù)來(lái)代替人來(lái)做運(yùn)維。管理者給用戶分配配額，例如100核的CPU、200G的內(nèi)存、10T的存儲(chǔ)等。用戶就可以自助的去使用平臺(tái)來(lái)創(chuàng)建HPC集群，只需要選擇他需要的HPC軟件應(yīng)用、選擇節(jié)點(diǎn)配置、指定節(jié)點(diǎn)規(guī)模。剩下的所有事情，都交給云，云會(huì)自動(dòng)創(chuàng)建資源、自動(dòng)安裝軟件、自動(dòng)配置成集群，用戶可以直接使用。

　　通過(guò)品高教育云平臺(tái)部署Matlab集群模擬界面

為了更好的滿足各類HPC的需求，云計(jì)算還需要針對(duì)HPC應(yīng)用場(chǎng)景做技術(shù)優(yōu)化，例如支持GPU、Xeon Phi等協(xié)處理器，這些都是在HPC領(lǐng)域有很重要作用的設(shè)備。而且為了提供更強(qiáng)大的計(jì)算性能，我們不得不告別虛擬機(jī)，改用LXC容器技術(shù)來(lái)提供計(jì)算單元，基本上可以實(shí)現(xiàn)物理服務(wù)器99%的性能。而且，為了解決不同架構(gòu)、不同HPC應(yīng)用對(duì)于底層資源的兼容性要求，品高云還做了測(cè)試，通過(guò)了Intel的Intel Cluster Ready 的認(rèn)證，也是國(guó)內(nèi)唯一一家通過(guò)ICR認(rèn)證的云平臺(tái)軟件廠商。

現(xiàn)在不少學(xué)校都有高性能計(jì)算的需求，超算的應(yīng)用也越來(lái)越廣。但不少高校覺(jué)得超算平臺(tái)的運(yùn)維壓力很大，自己不懂，覺(jué)得建設(shè)一個(gè)超算平臺(tái)這個(gè)事情心里沒(méi)底。但都認(rèn)為云計(jì)算不算新技術(shù)了，也比較成熟了，可以上云了。但如果這個(gè)云，還能干超算的事情，那么這個(gè)云的價(jià)值就非常大了。而且云中提供的超算，還大大降低了管理和使用的技術(shù)門檻，畢竟比較麻煩、復(fù)雜的配置、部署的工作都由云計(jì)算來(lái)完成了。

學(xué)校的IT管理部門，可以通過(guò)HPC科研云，向校內(nèi)各院系提供HPC云服務(wù)，并且可以記錄每年我服務(wù)了多少個(gè)院系、多少個(gè)科研團(tuán)隊(duì)，支持了多少個(gè)項(xiàng)目等，這些科研項(xiàng)目產(chǎn)生的學(xué)術(shù)價(jià)值、經(jīng)濟(jì)價(jià)值，都會(huì)與IT部門相關(guān)。真正幫助IT部門的定位從成本中心轉(zhuǎn)型為服務(wù)中心、運(yùn)營(yíng)中心。工作主體也從IT資源運(yùn)維，變成了IT資源運(yùn)營(yíng)。

歡迎大家一起來(lái)交流！

想提出問(wèn)題的同學(xué)們，可以在右下方“寫留言”，分享嘉賓會(huì)熱情并且耐心地進(jìn)行解答噢！

你想和更多志同道合的技術(shù)大咖一起交流嗎？你想收聽(tīng)每周的“品高云微信群公開(kāi)課”的直播嗎？

長(zhǎng)按識(shí)別以下二維碼關(guān)注“品高云計(jì)算”微信公眾號(hào)，回復(fù)“公開(kāi)課”，品高云公開(kāi)課的最新咨詢、往期精彩回顧都在這里！