隨著成本的下降和用例的增加，高性能計(jì)算正在吸引各種類型和各種規(guī)模的新用戶。其擴(kuò)展選項(xiàng)包括基于超級(jí)計(jì)算機(jī)的高性能計(jì)算(HPC)系統(tǒng)、基于集群的高性能計(jì)算(HPC)以及基于云計(jì)算的高性能計(jì)算(HPC)服務(wù)。
在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的世界中，高性能計(jì)算(HPC)成為組織的首選平臺(tái)，很多組織希望深入了解基因組學(xué)、計(jì)算化學(xué)、財(cái)務(wù)風(fēng)險(xiǎn)建模、地震成像等領(lǐng)域。最初由需要執(zhí)行復(fù)雜數(shù)學(xué)計(jì)算的研究科學(xué)家所采用，高性能計(jì)算(HPC)現(xiàn)在引起了各個(gè)領(lǐng)域組織和企業(yè)的關(guān)注。
高性能計(jì)算(HPC)數(shù)據(jù)存儲(chǔ)系統(tǒng)Panasas公司系統(tǒng)工程總監(jiān)Dale Brantly說(shuō),“我們依靠數(shù)據(jù)的收集、分析、分發(fā)而蓬勃發(fā)展的環(huán)境，并依靠可靠的高性能計(jì)算(HPC)來(lái)支持具有強(qiáng)大計(jì)算能力的簡(jiǎn)化工作流程。”
雖然中小型企業(yè)采用高性能計(jì)算(HPC)技術(shù)仍然相對(duì)較少，但對(duì)于愿意投資于這種技術(shù)和專業(yè)知識(shí)的組織來(lái)說(shuō)，高性能計(jì)算(HPC)具有巨大的潛力。
通常，高性能計(jì)算(HPC)用例專注于某種類型的仿真。谷歌云首席技術(shù)官辦公室高性能計(jì)算(HPC)和量子計(jì)算技術(shù)總監(jiān)Kevin Kissell說(shuō)：“高性能計(jì)算(HPC)可以模擬機(jī)翼上的氣流、發(fā)動(dòng)機(jī)燃燒、行星氣象系統(tǒng)、核反應(yīng)，以及投資組合的估值。”其他用例則以分析為目的，例如統(tǒng)計(jì)廣告投資回報(bào)率或評(píng)估業(yè)務(wù)部門的績(jī)效。仍然可以將其他用例歸類為翻譯或轉(zhuǎn)換。他說(shuō)：“就像視頻的渲染一樣。”
無(wú)需超級(jí)計(jì)算機(jī)的高性能計(jì)算
許多企業(yè)和IT領(lǐng)導(dǎo)者都誤以為高性能計(jì)算(HPC)系統(tǒng)都是基于超級(jí)計(jì)算機(jī)的。實(shí)際上，雖然由Atos、IBM、HPE、Cray和Fujitsu等公司生產(chǎn)的超級(jí)計(jì)算機(jī)是眾多專用高性能計(jì)算(HPC)系統(tǒng)的核心，但一種更廣泛使用的方法是將多臺(tái)小型計(jì)算機(jī)集成到互連的集群中以提供高性能計(jì)算(HPC)功能。在這種安排下，集群中的每臺(tái)計(jì)算機(jī)都充當(dāng)節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)通常配備有多個(gè)處理器(稱之為計(jì)算核心)用于處理計(jì)算任務(wù)。每個(gè)節(jié)點(diǎn)內(nèi)的處理器、圖形處理單元(GPU)和內(nèi)存資源相互連接以創(chuàng)建高性能計(jì)算(HPC)系統(tǒng)。
由于采購(gòu)和運(yùn)行超級(jí)計(jì)算機(jī)及其定制軟件的成本高達(dá)數(shù)百萬(wàn)美元，其成本遠(yuǎn)遠(yuǎn)超出了大多數(shù)企業(yè)的財(cái)務(wù)承受能力。使用運(yùn)行現(xiàn)成軟件的相對(duì)便宜的互連計(jì)算機(jī)，集群型高性能計(jì)算(HPC)通常更易于部署和運(yùn)行。盡管如此，對(duì)于大多數(shù)企業(yè)來(lái)說(shuō)，即使是規(guī)模適中的基于集群的高性能計(jì)算(HPC)都是一筆巨大的投資，尤其是那些高性能計(jì)算(HPC)需求有限的企業(yè)。
現(xiàn)在這種情況正在改變。希望在不破壞IT預(yù)算的情況下獲得高性能計(jì)算(HPC)訪問(wèn)權(quán)限的企業(yè)現(xiàn)在可以選擇使用公共云服務(wù)，例如谷歌云、Microsoft Azure、AWS和IBM Cloud。
數(shù)字服務(wù)和軟件工程商Ciklum公司的.NET技術(shù)負(fù)責(zé)人Maksym Pavlov說(shuō)，“這些服務(wù)使企業(yè)能夠訪問(wèn)高性能計(jì)算(HPC)功能來(lái)滿足其業(yè)務(wù)需求，而無(wú)需大量投資高性能計(jì)算(HPC)集群的硬件基礎(chǔ)設(shè)施。”IBM公司云計(jì)算的副總裁David Turek補(bǔ)充，“云計(jì)算的出現(xiàn)在一定程度上平衡了小公司和大公司之間的競(jìng)爭(zhēng)環(huán)境。”
從高性能計(jì)算(HPC)集群遷移到云計(jì)算高性能計(jì)算(HPC)
北卡羅來(lái)納大學(xué)教堂山分校(UNC-Chapel Hill)長(zhǎng)期以來(lái)一直依靠其本地高性能計(jì)算(HPC)集群來(lái)支持多個(gè)科學(xué)、工程和醫(yī)學(xué)領(lǐng)域的研究活動(dòng)。然而，隨著研究計(jì)算需求的持續(xù)增長(zhǎng)，用戶需求開始超過(guò)當(dāng)前系統(tǒng)的計(jì)算資源和容量。該大學(xué)并沒(méi)有增加現(xiàn)有的高性能計(jì)算(HPC)投資，而是決定采用云計(jì)算技術(shù)提供按需的高性能計(jì)算(HPC)環(huán)境。
實(shí)踐證明，該方法既具有成本效益，又具有高度靈活性。北卡羅來(lái)納大學(xué)教堂山分校首席信息官M(fèi)ichael Barker表示，“采用云計(jì)算，我們就可以提供完成所要求工作所需的計(jì)算工作。這是一種滿足運(yùn)行計(jì)算工作的需求非常有效的方式。”
該校高級(jí)研究助理Jeff Roach說(shuō)，高性能計(jì)算(HPC)向云端遷移既是必要的，也是受歡迎的。他說(shuō)，“我們有一個(gè)非常傳統(tǒng)的本地集群。然而隨著時(shí)間的推移，該系統(tǒng)逐漸無(wú)法跟上越來(lái)越多的需要領(lǐng)先計(jì)算能力和更快性能的用戶的步伐。我們發(fā)現(xiàn)，本地集群對(duì)于設(shè)計(jì)該集群的人員確實(shí)非常有效，但是他們的一些案例正變得越來(lái)越少。”
隨著需要計(jì)算的用例迅速成為規(guī)范，北卡羅來(lái)納大學(xué)教堂山分校開始與谷歌云以及仿真和分析軟件提供商Techila科技公司合作，以規(guī)劃其進(jìn)入云計(jì)算高性能計(jì)算(HPC)的旅程。
其規(guī)劃之后的第一步是概念評(píng)估的證明。Roach說(shuō)：“我們?cè)谛@里聘用了一位研究人員，他當(dāng)時(shí)采用配備大量?jī)?nèi)存的設(shè)備進(jìn)行交互式計(jì)算，我們?cè)噲D幫助完成他的工作量。”他指出這獲得很大成功。他說(shuō)，“這名研究人員很快完成了工作，并且非常喜歡采用，這是因?yàn)椋嗤娜蝿?wù)在大學(xué)的高性能計(jì)算(HPC)本地集群上運(yùn)行可能要花費(fèi)一周的時(shí)間才能完成，而他采用云計(jì)算高性能計(jì)算(HPC)只用了幾個(gè)小時(shí)就可以完成。”
英國(guó)約克大學(xué)也在研究中采用了基于云計(jì)算的高性能計(jì)算(HPC)方法。英國(guó)皇家學(xué)會(huì)行業(yè)研究員、約克大學(xué)生物系教授James Chong指出，高性能計(jì)算(HPC)可以應(yīng)用在生物學(xué)、物理、化學(xué)和計(jì)算機(jī)科學(xué)等科學(xué)系以及語(yǔ)言學(xué)和其他幾個(gè)學(xué)科的研究工作。
Chong所在的研究部門目前正在使用谷歌云平臺(tái)分析DNA序列數(shù)據(jù)。他解釋說(shuō)：“我的團(tuán)隊(duì)對(duì)微生物群感興趣，這些微生物群涉及將廢物(在本例中為污水和污泥)轉(zhuǎn)化為沼氣的混合微生物。我們使用高性能計(jì)算(HPC)將短小的DNA序列一起組合為一個(gè)基因組，然后分離出不同微生物的基因組，以便我們能夠了解這些生物如何響應(yīng)其生長(zhǎng)條件的變化。”
就像北卡羅來(lái)納大學(xué)教堂山分校的研究人員一樣，Chong對(duì)高性能計(jì)算(HPC)云計(jì)算服務(wù)可以提供的強(qiáng)大功能和靈活性表示贊賞。他說(shuō)：“我們的高性能計(jì)算需要滿足一系列要求，有些用戶希望采用大量的處理器，而其他用戶則需要采用高內(nèi)存。作為生物學(xué)家，我們使用的一些應(yīng)用程序很快就會(huì)綁定到I/O，因此通過(guò)超高速磁盤訪問(wèn)也很有用。”
約克大學(xué)使用的云計(jì)算高性能計(jì)算(HPC)還具有適應(yīng)不斷變化的需求的能力。Chong指出，“我們中的許多人開始使用機(jī)器學(xué)習(xí)技術(shù)，并希望能夠利用不同的體系結(jié)構(gòu)。約克大學(xué)的廣泛用戶意味著我們還需要訪問(wèn)一系列不同的軟件包。”與大多數(shù)云計(jì)算高性能計(jì)算(HPC)一樣，約克大學(xué)使用的服務(wù)允許各種類型的研究人員輕松快速地在軟件工具之間切換，而不會(huì)將時(shí)間浪費(fèi)在獲取、部署或配置問(wèn)題上。
配備超級(jí)計(jì)算機(jī)的高性能計(jì)算(HPC)
盡管云計(jì)算高性能計(jì)算(HPC)服務(wù)具有某些優(yōu)勢(shì)，但對(duì)于關(guān)注安全性和隱私的企業(yè)而言，它并不總是很好或很合乎邏輯的選擇。Turek指出：“數(shù)據(jù)存放位置非常敏感。特別是當(dāng)受到歐洲的GDPR法規(guī)限制時(shí)。”通用數(shù)據(jù)保護(hù)條例(GDPR)是歐盟發(fā)布的隱私法規(guī)。
為了解決隱私問(wèn)題和對(duì)強(qiáng)大計(jì)算能力的需求，邁阿密大學(xué)最近選擇投資于基于本地的超級(jí)計(jì)算機(jī)的高性能計(jì)算(HPC)系統(tǒng)。最關(guān)鍵的是，該大學(xué)認(rèn)為，擁有大量多維數(shù)據(jù)集的研究項(xiàng)目可以在專門設(shè)計(jì)的高性能超級(jí)計(jì)算機(jī)上運(yùn)行得更快。
去年8月，邁阿密大學(xué)推出了基于Power Systems AC922服務(wù)器的新型IBM Triton超級(jí)計(jì)算機(jī)。邁阿密大學(xué)計(jì)算科學(xué)中心主任、數(shù)據(jù)和研究計(jì)算副教務(wù)長(zhǎng)Nicholas Tsinoremas指出，已有2000多名學(xué)生和教員使用該系統(tǒng)從事氣候預(yù)測(cè)、基因組學(xué)、生物信息學(xué)、計(jì)算機(jī)視覺和人工智能等項(xiàng)目。
其部署雖然成功，但在初期卻遇到了一些障礙，幾乎所有采用高性能計(jì)算(HPC)的用戶都能遇到這種情況，無(wú)論其規(guī)模、領(lǐng)域或計(jì)算需求如何。Tsinoremas說(shuō)，“遷移問(wèn)題始終是一個(gè)問(wèn)題，還必須解決用戶培訓(xùn)和再培訓(xùn)問(wèn)題。新系統(tǒng)與傳統(tǒng)存儲(chǔ)系統(tǒng)的集成是另一個(gè)挑戰(zhàn)。”
所有這些問(wèn)題都凸顯了一個(gè)事實(shí)，即高性能計(jì)算(HPC)系統(tǒng)是基于內(nèi)部部署還是基于云計(jì)算，其采用需要大量的計(jì)劃和準(zhǔn)備。Tsinoremas警告說(shuō)，“企業(yè)具有專業(yè)知識(shí)是必要的，并且必須有一個(gè)計(jì)劃。了解工作負(fù)載的性質(zhì)和要求也很重要。換句話說(shuō)，采用者需要了解他們?cè)噲D解決的問(wèn)題以及希望高性能計(jì)算(HPC)如何幫助解決這些問(wèn)題。”
高性能計(jì)算(HPC)工作負(fù)載入門另一個(gè)要點(diǎn)是選擇正確的資源管理工具，該工具使組織能夠訪問(wèn)和優(yōu)化高性能計(jì)算(HPC)環(huán)境。Altair公司高級(jí)產(chǎn)品管理主管Jérémie Bourdoncle說(shuō)，“無(wú)論是購(gòu)買傳統(tǒng)的高性能計(jì)算(HPC)硬件環(huán)境，還是利用云中的高性能計(jì)算(HPC)或同時(shí)使用這兩者，選擇最適合組織的工作類型和吞吐量要求的高性能計(jì)算(HPC)工作負(fù)載管理器都是至關(guān)重要的。”Altair公司是一家模擬軟件和其他與HPC相關(guān)的供應(yīng)商工具和服務(wù)，其工作負(fù)載管理器具有自動(dòng)化作業(yè)調(diào)度以及管理、監(jiān)視和報(bào)告功能。
Kissell建議采用一種注重知識(shí)、簡(jiǎn)單、選擇和謹(jǐn)慎的采納策略。他說(shuō)，“這可能是一段漫長(zhǎng)的旅程，因此需要規(guī)劃行程，但要給自己機(jī)會(huì)進(jìn)行調(diào)整。組織需要選擇一個(gè)簡(jiǎn)單但具有代表性的測(cè)試用例，并且可以清楚地識(shí)別從高性能計(jì)算(HPC)仿真或分析中獲得的知識(shí)和見解。然后選擇針對(duì)自己的問(wèn)題類別設(shè)計(jì)的軟件包的簡(jiǎn)短列表，并進(jìn)行更多的嘗試。”
【責(zé)任編輯：華軒 TEL：（010）68476606】