集微網(wǎng)消息,今(15)日上午,為期5天的NVIDIA GTC中國(guó)線上大會(huì)正式召開,NVIDIA首席科學(xué)家Bill Dally發(fā)表了主題演講。
Bill Dally曾負(fù)責(zé)NVIDIA在AI、光線追蹤和高速互連領(lǐng)域的相關(guān)研究。他指出,“NVIDIA的研究人員致力于打造速度更快的AI芯片,并將其用于具有更高帶寬的系統(tǒng),從而簡(jiǎn)化編程?!?/p>
他以三個(gè)項(xiàng)目為例,講述了自己帶領(lǐng)的200人的研究團(tuán)隊(duì)如何成功實(shí)現(xiàn)“黃氏定律 (Huang’s Law)”。這則以NVIDIA首席執(zhí)行官黃仁勛(Jensen Huang)名字命名的定律,預(yù)測(cè)GPU將推動(dòng)AI性能實(shí)現(xiàn)逐年翻倍。
Dally 表示:“如果我們真想提高計(jì)算機(jī)性能,黃氏定律就是一項(xiàng)重要指標(biāo),且在可預(yù)見的未來(lái)都將一直適用?!?/p>
NVIDIA助力 AI推理性能每年提升一倍以上
超高能效加速器
為實(shí)現(xiàn)這一突破,NVIDIA研究人員專門開發(fā)了一種名為MAGNet的工具,其生成的AI推理加速器在模擬測(cè)試中,能夠達(dá)到每瓦 100 tera ops 的推理能力,比目前的商用芯片高出一個(gè)數(shù)量級(jí)。
MAGNet采用了一系列新技術(shù)來(lái)協(xié)調(diào)并控制通過(guò)設(shè)備的信息流,最大限度地減少數(shù)據(jù)傳輸,而數(shù)據(jù)傳輸正是當(dāng)今芯片中最耗能的環(huán)節(jié)。這一研究原型以模組化實(shí)現(xiàn),因此能夠靈活擴(kuò)展。
另外,研究團(tuán)隊(duì)還開展了一項(xiàng)研究,旨在以更快速的光鏈路取代現(xiàn)有系統(tǒng)內(nèi)的電氣鏈路。
發(fā)揮所有光子的潛能
Bill Dally 擁有120多項(xiàng)專利,在2009年加入NVIDIA之前,曾任斯坦福大學(xué)計(jì)算機(jī)科學(xué)系主任。Dally表示:“我們可以將連接GPU的NVLink速度提高一倍,也許還會(huì)再翻番,但電子信號(hào)最終會(huì)消耗殆盡?!?/p>
該團(tuán)隊(duì)正在與哥倫比亞大學(xué)的研究人員密切合作,探討如何利用電信供應(yīng)商在其核心網(wǎng)絡(luò)中所采用的技術(shù),通過(guò)一條光纖來(lái)傳輸數(shù)十路信號(hào)。
這種名為“密集波分復(fù)用”的技術(shù), 有望在僅一毫米大小的芯片上實(shí)現(xiàn)Tb/s級(jí)數(shù)據(jù)的傳輸,是如今互連密度的十倍以上。
除了更大的吞吐量,光鏈路也有助于打造更為密集型的系統(tǒng)。Dally舉例展示了一個(gè)未來(lái)將搭載160多個(gè)GPU的NVIDIA DGX系統(tǒng)模型。
工程師借助光鏈路,在單一系統(tǒng)中可搭載160多個(gè)GPU
軟件方面,NVIDIA的研究人員開發(fā)了全新編程系統(tǒng)原型Legate。開發(fā)者借助Legate,即可在任何規(guī)模的系統(tǒng)上,運(yùn)行針對(duì)單一GPU編寫的程序——甚至適用于諸如 Selene等搭載數(shù)千個(gè)GPU的巨型超級(jí)計(jì)算機(jī)。
Legate將一種新的編程速記融入了加速軟件庫(kù)和高級(jí)運(yùn)行時(shí)環(huán)境Legion,目前它正在美國(guó)國(guó)家實(shí)驗(yàn)室接受測(cè)試。
除了上述三項(xiàng)研究外,Dally還特別談到了NVIDIA特別針對(duì)醫(yī)療健康、無(wú)人駕駛汽車和機(jī)器人等眾多行業(yè)打造的平臺(tái)。同時(shí),他還致力于鉆研數(shù)據(jù)科學(xué)、AI和圖形處理。
Dally表示:“經(jīng)過(guò)幾代人的努力,NVIDIA的產(chǎn)品將通過(guò)基于物理渲染的路徑追蹤技術(shù),實(shí)時(shí)生成令人驚艷的圖像,并能夠借助AI構(gòu)建整個(gè)場(chǎng)景?!?/p>
另外,他還首次公開展示了NVIDIA的對(duì)話式AI框架Jarvis與GauGAN的完美組合。GauGAN利用生成式對(duì)抗網(wǎng)絡(luò),只需簡(jiǎn)略構(gòu)圖,就能創(chuàng)建美麗的風(fēng)景圖。在演示中,用戶可通過(guò)語(yǔ)音指令,即時(shí)生成像照片一樣栩栩如生的畫作。
在主題演講視頻錄制的間隙,Dally接受了采訪,表示對(duì)研究團(tuán)隊(duì)在多個(gè)領(lǐng)域取得的開創(chuàng)性進(jìn)展深感自豪。
他說(shuō):“當(dāng)前,NVIDIA在光線追蹤領(lǐng)域所取得進(jìn)展,都始于NVIDIA 研究院打造的原型,我們的產(chǎn)品團(tuán)隊(duì)都很興奮。2011年,我委派NVIDIA研究員Bryan Catanzaro與斯坦福大學(xué)教授Andrew Ng共同合作一個(gè)項(xiàng)目,后來(lái)打造出CuDNN軟件,讓深度學(xué)習(xí)領(lǐng)域大量的研究工作成為可能?!?/p>
此外,Dally還牽頭開展了一項(xiàng)合作,構(gòu)建了 NVLink和 NVSwitch最初的原型。NVLink和 NVSwitch如今用于全球最大型的超級(jí)計(jì)算機(jī)中,實(shí)現(xiàn)了其內(nèi)部GPU的互連。
他表示:“產(chǎn)品團(tuán)隊(duì)總能迅速將研究工作轉(zhuǎn)化為實(shí)際成果,這也是NVIDIA如今能夠成為全球公認(rèn)最領(lǐng)先的網(wǎng)絡(luò)公司之一的原因。”
談及對(duì)科技的熱情,Dally說(shuō)自己就像個(gè)沉浸在糖果故事里的孩子。也許某一天,原本還在幫助一組團(tuán)隊(duì)研究AI加速器的他,就會(huì)突然轉(zhuǎn)而幫助另一團(tuán)隊(duì)解決機(jī)器人領(lǐng)域的復(fù)雜問(wèn)題。
他說(shuō):“我現(xiàn)在所做的,是一份全世界,或者起碼是全公司里最有趣的工作,讓我有機(jī)會(huì)能夠助力塑造未來(lái)。”
Dally演講完畢后,NVIDIA的資深專家將齊聚高峰論壇,介紹公司在AI、數(shù)據(jù)科學(xué)和醫(yī)療健康領(lǐng)域的多項(xiàng)突破性技術(shù)在中國(guó)的落地應(yīng)用。
面向AI和數(shù)據(jù)科學(xué)領(lǐng)域初創(chuàng)企業(yè)的孵化項(xiàng)目NVIDIA初創(chuàng)加速計(jì)劃(NVIDIA Inception)將邀請(qǐng)12家領(lǐng)軍中國(guó)初創(chuàng)企業(yè)出席此次大會(huì)。
這12家領(lǐng)軍中國(guó)初創(chuàng)企業(yè)從報(bào)名的100余家企業(yè)中脫穎而出,經(jīng)過(guò)40家投資機(jī)構(gòu)及產(chǎn)業(yè)代表的參評(píng)及網(wǎng)絡(luò)投票,進(jìn)入了最終展示環(huán)節(jié)。
入選最終展示的企業(yè)覆蓋領(lǐng)域廣泛(涵蓋會(huì)話人工智能,智慧醫(yī)療/零售,消費(fèi)者互聯(lián)網(wǎng)/行業(yè)應(yīng)用,深度學(xué)習(xí)應(yīng)用/加速數(shù)據(jù)科學(xué),自主機(jī)器/IOT/工業(yè)制造,自動(dòng)駕駛汽車),并在GTC 中國(guó)線上大會(huì)期間以視頻形式進(jìn)行展出。
他們分別是深思維、深聲科技、慧維智能、云拿科技、大地量子、粒界科技、星云Clustar、閃馬智能、復(fù)亞智能、圖為科技、踏歌智行和宏景智駕。
此次GTC中國(guó)線上大會(huì)吸引了眾多行業(yè)領(lǐng)軍企業(yè)與機(jī)構(gòu)參與其中,包括阿里巴巴、AWS、百度、字節(jié)跳動(dòng)、中國(guó)電信、戴爾科技、滴滴、新華三、浪潮、快手、聯(lián)想、微軟、平安、騰訊、清華大學(xué)和小米。
除大會(huì)主題演講外,還將提供220多場(chǎng)主題演講和分論壇,均可免費(fèi)參加,且絕大多數(shù)將使用中文。
(校對(duì)/Aki)
責(zé)任編輯: