特斯拉創(chuàng)始人馬斯克公開表態(tài)稱未來兩年人工智能行業(yè)將由“缺硅”變?yōu)?ldquo;缺電”。據(jù)媒體報(bào)道，OpenAI的ChatGPT每天消耗超過50萬千瓦時(shí)的電力，用于處理約2億個(gè)用戶請(qǐng)求，相當(dāng)于美國(guó)家庭每天用電量的1.7萬多倍。除了這類生成式AI耗能外，還有同樣涉及到海量數(shù)據(jù)、特別是涉及到大規(guī)模并行計(jì)算的業(yè)務(wù)也正在成為“電能吞金獸”。全球前十名的超級(jí)計(jì)算機(jī)每小時(shí)耗電量高達(dá)2萬度，堪比一座小型城鎮(zhèn)的能源消耗。可見，隨著技術(shù)革新步伐加快，全球算力競(jìng)爭(zhēng)將對(duì)能源消耗提出更為嚴(yán)峻的考驗(yàn)，算力與能源將成為未來世界的核心硬通貨。
以超級(jí)計(jì)算機(jī)為例，其作為解決復(fù)雜問題和大規(guī)模計(jì)算任務(wù)的利器，其能耗問題日益凸顯，成為制約其長(zhǎng)遠(yuǎn)發(fā)展的關(guān)鍵瓶頸。一味追求極致算力而忽視能源效率，不僅削弱了超算的實(shí)際價(jià)值，也使其發(fā)展陷入困境。正如美國(guó)加州大學(xué)計(jì)算機(jī)工程博士劉少山所指出，超級(jí)計(jì)算機(jī)是一個(gè)精密復(fù)雜的系統(tǒng)工程，任何短板都可能導(dǎo)致算力受限。
目前，各國(guó)在競(jìng)逐超算領(lǐng)導(dǎo)地位的同時(shí)，也在積極尋求在節(jié)能前提下提升性能的技術(shù)路徑。
美國(guó)能源部于2013年和2018年先后啟動(dòng)“百億億次超級(jí)計(jì)算機(jī)”項(xiàng)目，明確要求E級(jí)機(jī)的功耗上限為20兆瓦，強(qiáng)調(diào)需要在不增加能源消耗的基礎(chǔ)上提升性能，這表明如果單純依賴擴(kuò)大系統(tǒng)規(guī)模提升性能，那么E級(jí)機(jī)的技術(shù)選擇將面臨嚴(yán)格約束。2022年，麻省理工學(xué)院林肯實(shí)驗(yàn)室超級(jí)計(jì)算中心(LLSC)的研究人員進(jìn)一步指出，超算系統(tǒng)的電源效率有巨大提升空間，如通過簡(jiǎn)單硬件調(diào)整如限制單個(gè)GPU功率，即可將AI模型訓(xùn)練的能源成本降低20%，僅帶來適度的計(jì)算時(shí)間增長(zhǎng)。
面對(duì)如何構(gòu)建“既快又省”的超級(jí)計(jì)算機(jī)這一課題，大名鼎鼎的專用超級(jí)計(jì)算機(jī)安騰提供了一種新的解題思路。
安騰系列超級(jí)計(jì)算機(jī)由D. E. Shaw研究所研發(fā)，在能耗控制方面表現(xiàn)極為出色。
以第二代安騰超級(jí)計(jì)算機(jī)(Anton2)為例，其在一個(gè)單個(gè)機(jī)架內(nèi)提供約2 TFLOPS(每秒萬億次浮點(diǎn)運(yùn)算)的計(jì)算能力，能耗僅為25千瓦，與一輛中型電動(dòng)汽車的充電功率相當(dāng)，這一表現(xiàn)在當(dāng)時(shí)同類設(shè)備中居于高位。
為什么超算安騰可以做到算得快還省電呢?
原因在于，有別于全面采用CPU、GPU等通用芯片架構(gòu)的傳統(tǒng)超算，安騰采用的是以ASIC專用芯片為主的專用超算的架構(gòu)。專用超算在應(yīng)用場(chǎng)景上受到嚴(yán)格的限制，只能處理某個(gè)特定領(lǐng)域的算法，例如安騰就是一臺(tái)完全聚焦在生物計(jì)算領(lǐng)域最常用的分子動(dòng)力學(xué)模擬計(jì)算的專用計(jì)算機(jī)，并且開發(fā)成本極其昂貴，但是以此為代價(jià)，換來的是在該特定領(lǐng)域的極強(qiáng)的加速性能和極低的能耗。
為降低全面計(jì)算資源損耗，超算安騰的軟硬件采取了全面定制設(shè)計(jì)，核心組件為大量專用芯片(ASIC)，并通過獨(dú)特的高速三維環(huán)形網(wǎng)絡(luò)實(shí)現(xiàn)互連。據(jù)稱，在硬件上，整個(gè)超算安騰的ASIC芯片由288個(gè)核心瓦片和24個(gè)邊緣瓦片構(gòu)成，整體提供了5.6 Tbps的片外帶寬。由于較大的Serdes物理PHYs在芯片的兩個(gè)邊緣都與這些瓦片相連，瓦片直接相鄰，從而減少了未使用的芯片面積，簡(jiǎn)化了物理設(shè)計(jì)。
同時(shí)，超算安騰的芯片保留了低電阻率的頂部金屬層(TM0、TM1等)用于電源分配，從而確保其電源分配網(wǎng)絡(luò)是完全連續(xù)的。為了改善瞬時(shí)電流尖峰，安騰將去耦電容、而不是備用單元裝入所有可用空間，以良率來換取電源管理。并且，該芯片使用全局時(shí)鐘網(wǎng)，以最小的偏移實(shí)現(xiàn)高時(shí)鐘速度，這樣的網(wǎng)狀結(jié)構(gòu)節(jié)省了功耗，網(wǎng)絡(luò)只占芯片TDP(熱設(shè)計(jì)功耗)的5%。
此外，超算安騰的芯片可以分區(qū)域、分精度計(jì)算不同任務(wù)，突破了制約分子模擬速度的瓶頸，這樣可以在處理小任務(wù)時(shí)分配較少的節(jié)點(diǎn)用于運(yùn)算，從而避免多節(jié)點(diǎn)時(shí)的能源浪費(fèi)問題。
在通信層面，超算安騰各個(gè)節(jié)點(diǎn)之間通訊采用特殊設(shè)計(jì)的高速三維環(huán)形網(wǎng)絡(luò)相互連接，形成了超高速低延遲網(wǎng)絡(luò)。超算安騰共具有 512 個(gè)計(jì)算節(jié)點(diǎn)，它們?cè)诳臻g上的排布使得相當(dāng)于將被模擬的系統(tǒng)分為 8 × 8 × 8 的盒子，每個(gè)盒子只負(fù)責(zé) 1/512 的原子，每個(gè)節(jié)點(diǎn)和盒子一一對(duì)應(yīng)，并且只需要和鄰近的 6 個(gè)節(jié)點(diǎn)通信。這些庫中通信基于類 MPI 的「共享內(nèi)存式并行」，把需要共享的數(shù)據(jù)放到公共空間各自讀取;而這里每個(gè)節(jié)點(diǎn)之間都有點(diǎn)對(duì)點(diǎn)的專用信道，不存在訪問資源的沖突問題。對(duì)于分子動(dòng)力學(xué)而言，主要的通信內(nèi)容是處在盒子邊界的原子的位置，只有進(jìn)行準(zhǔn)確的通信，我們才能夠準(zhǔn)確計(jì)算這些原子與其他原子之間的作用力。由于低時(shí)延(約 50 ns)、高帶寬的一對(duì)一信道的建設(shè)，大大減少了計(jì)算節(jié)點(diǎn)間通信需要的時(shí)間。這樣，超算安騰可在512個(gè)節(jié)點(diǎn)并行處理下，能夠?qū)_(dá)100萬個(gè)原子的大體系，每天進(jìn)行10-100微秒量級(jí)的分子動(dòng)力學(xué)模擬。相較于其他每天只能模擬幾納秒到幾十納秒不等的通用架構(gòu)超算系統(tǒng)，512節(jié)點(diǎn)的超算安騰完成分子模擬的速度幾乎快了100-10000倍。
2020年3月27日，D. E. Shaw研究所公布了新冠病毒3CL蛋白酶的長(zhǎng)達(dá)100微秒的MD模擬動(dòng)畫及數(shù)據(jù)，3CL蛋白酶被認(rèn)為在病毒增殖和組裝中發(fā)揮了重要作用，并且是新冠藥物開發(fā)的熱門靶點(diǎn)之一。超算安騰完成的3CL蛋白酶MD模擬結(jié)果，為科學(xué)家和制藥學(xué)家透徹理解新冠病毒增殖與組裝的機(jī)理，從而開發(fā)針對(duì)性的3CL蛋白酶抑制劑提供了極其寶貴的研究基礎(chǔ)。隨后的兩年里，D. E. Shaw研究所更是陸續(xù)圍繞新冠病毒公布了超過1000微秒的MD模擬結(jié)果，對(duì)新冠病毒的病理研究和藥物研發(fā)起到了非常重大的作用。
在計(jì)算效率和能耗方面，哪怕是現(xiàn)如今全世界最強(qiáng)的通用超算中心的算效，針對(duì)復(fù)雜程度達(dá)到百萬體系的蛋白質(zhì)給出100微秒的模擬結(jié)果，幾乎需要花費(fèi)數(shù)年時(shí)間才能算完，期間耗費(fèi)的電量將達(dá)到兆瓦級(jí)別，換算成電費(fèi)將達(dá)到數(shù)億元。作為對(duì)比，超算安騰則只需要十幾天就可以算完，并且至多也只需要幾萬元的電費(fèi)，幾乎是前者的千萬分之一，這就是采用的專用超算架構(gòu)、經(jīng)過一系列軟硬件功能特化的超算安騰在自己擅長(zhǎng)的分子動(dòng)力學(xué)領(lǐng)域能夠?qū)崿F(xiàn)的計(jì)算效率和能耗的絕對(duì)優(yōu)勢(shì)。
我們可以看到，超算安騰憑借其對(duì)分子動(dòng)力學(xué)模擬的專注，以及自主研發(fā)的軟硬件設(shè)計(jì)，實(shí)現(xiàn)了相較于通用計(jì)算機(jī)高達(dá)百倍的計(jì)算能效提升，并在此過程中顯著降低了能耗。這一成果無疑為國(guó)內(nèi)企業(yè)在面對(duì)未來計(jì)算需求與能源挑戰(zhàn)時(shí)提供了深刻啟示：在特定的高價(jià)值應(yīng)用場(chǎng)景大力發(fā)展專用超算路線，有望在大幅提高計(jì)算性能的同時(shí)有效降低能耗，實(shí)現(xiàn)綠色、可持續(xù)的科技創(chuàng)新。
評(píng)論