近日，由ChatGPT點燃的大模型這把火，正在全球科技圈子里愈演愈烈。國內(nèi)，隨著多家互聯(lián)網(wǎng)大廠相繼官宣大模型動態(tài)，創(chuàng)業(yè)領(lǐng)袖們紛紛緊急招兵買馬，一場大模型的“戰(zhàn)爭”一觸即發(fā)。

國內(nèi)外相關(guān)領(lǐng)域在此時形成了一種無言的默契——以ChatGPT為代表的AI大模型是一個劃時代的里程碑，將開啟通用人工智能（AGI）時代。

站在歷史的關(guān)鍵節(jié)點，誰能引領(lǐng)下一個人工智能黃金時代？決勝的關(guān)鍵又是什么？4月5日，ChatGPT官網(wǎng)宣布停止Plus付費項目的購買，業(yè)內(nèi)分析就是由其算力不足按下了暫停鍵。算力到底是什么？為什么會對人工智能發(fā)展產(chǎn)生重要影響？今天，我們就來聊一下被譽為人工智能“發(fā)動機(jī)”的算力。

什么是算力？從大腦、算盤、計算器說起

這幾年，“算力”的概念頻繁出現(xiàn)在互聯(lián)網(wǎng)圈，成為科技大佬們常掛在嘴邊的熱詞。但實際上，這并不是一個新概念，算力的本義也并不復(fù)雜，顧名思義，就是指計算的能力。如果用《中國算力白皮書（2022年）》來進(jìn)一步進(jìn)行專業(yè)解釋，就是指數(shù)據(jù)中心的服務(wù)器通過對數(shù)據(jù)進(jìn)行處理后實現(xiàn)結(jié)果輸出的一種能力。

人類的大腦就是天然的計算服務(wù)器。生活中，小到去菜市場買菜、大到破解一道數(shù)學(xué)難題，人類大腦每時每刻都在通過口算、心算的方式來為我們的需求提供算力。但這樣的算力有點低，尤其碰到非常復(fù)雜的計算問題時，就這樣催生出了一代又一代計算工具。

首先當(dāng)然要從人類自己身上找工具，于是手指成為了最簡單方便且一直沿用至今的計數(shù)工具，而這大概也是十進(jìn)制計算得以發(fā)明并且普及的根本原因。

到遠(yuǎn)古時期，人們開始用繩子、石頭等自然物來計數(shù)。中國古籍《周易·系辭下》中就有“上古結(jié)繩而治”的說法；在南美，古印加人也用繩子來記錄。

隨著生產(chǎn)實踐的不斷發(fā)展，人類終于發(fā)明了自己的計算工具。算籌就是中國早期的計算工具，一般由木棍、竹條或獸骨（稱為“籌”）等做成。

算籌采用十進(jìn)制記數(shù)法，有縱式和橫式兩種擺法。個、百、萬位等用縱式，十、千、十萬位等用橫式，空位表示零，這樣從右到左，縱橫相間，就可以表示任意自然數(shù)了。并且，中國古代的算籌，在整數(shù)四則運算、分?jǐn)?shù)四則運算、開平方等問題上均有成熟的法則，在問題解決的每一步上都有規(guī)格化的程序，也因此被一些數(shù)學(xué)史學(xué)者認(rèn)為具有構(gòu)造性和“機(jī)械化”的特點。

不過，與機(jī)械時代工具的改良類似，隨著算籌的軟件，也就是運算法則的發(fā)展越來越快，算籌的硬件，也就是“籌”雖然也一直在改進(jìn)，但終究跟不上算法的進(jìn)展，最終被更為方便的算盤取代了。

這也是計算工具發(fā)展史上的第一次重大改革。算盤的原理與算籌類似，但在操作上更加實用，尤其在熟練掌握珠算口訣和基本技巧之后，運算速度更是驚人。15世紀(jì)左右，由中國人民發(fā)明的算盤傳入了日本、韓國等國家，又經(jīng)商路逐漸傳入西方，至今在一些地區(qū)仍有著廣泛的應(yīng)用。

17世紀(jì)之前，在手工計算時代，我國的算力和算法無疑走在前列，但隨著工業(yè)革命的到來，數(shù)學(xué)及計算工具的發(fā)展中心漸漸轉(zhuǎn)移到了西方，計算工具也從手工計算正式進(jìn)入機(jī)械計算時代。

世界上第一臺機(jī)械式計算工具——加法器，是由法國數(shù)學(xué)家、物理學(xué)家、思想家帕斯卡設(shè)計成功的，計算過程只需撥動機(jī)器上的齒輪就能實現(xiàn)。盡管這臺機(jī)器只能進(jìn)行加減運算，但完全不用再依賴人類大腦，其設(shè)計原理與現(xiàn)今計算機(jī)的原理也是相通的，為后人制造機(jī)械計算器邁出了開拓性一步。

在他的基礎(chǔ)上，德國哲學(xué)家、數(shù)學(xué)家、“百科全書式”學(xué)者萊布尼茨對機(jī)械計算器進(jìn)行重大改進(jìn)，不僅研制了一臺能進(jìn)行四則運算的機(jī)械式計算器，還有一個重大的發(fā)明——二進(jìn)制。雖然當(dāng)時萊布尼茲發(fā)明的計算器并沒有融入二進(jìn)制，但這種進(jìn)位規(guī)則卻被現(xiàn)代計算機(jī)一直采用至今。

算力的飛躍：現(xiàn)代計算機(jī)與摩爾定律

從遠(yuǎn)古時期結(jié)繩計數(shù)到手工計算時代，再到機(jī)械計算時代，計算工具的每一次變革都帶來了算力的極大躍遷，并進(jìn)一步推動人類經(jīng)濟(jì)社會向前發(fā)展。

但過去人們對算力的感知并不明顯，直到電子計算機(jī)的誕生，才讓人們深刻感受到計算的威力——比如問世于2016年的超級計算機(jī)“神威·太湖之光”，1分鐘的計算能力就相當(dāng)于全球72億人同時用計算器不間斷計算32年。在這樣的超強(qiáng)算力支持下，許多以前無法想象的難題頃刻就能得到解決。也正是這樣一代又一代越來越快的電子計算機(jī)的出現(xiàn)，才讓算力的重要性真正為人們所關(guān)注。

1946年，世界上第一臺電子計算機(jī)ENIAC在美國賓夕法尼亞大學(xué)問世，其使用電子管作為開關(guān)，可以進(jìn)行大量的計算操作，速度比之前的機(jī)械計算器快了很多。這臺計算機(jī)雖然能滿足不同計算需求，但不具備存儲的功能。

1950年前后，馮·諾伊曼主導(dǎo)制造完成了第一臺現(xiàn)代計算機(jī)EDVAC。這臺由運算器、存儲器、控制器、輸入設(shè)備和輸出設(shè)備五大部件組成的計算機(jī)系統(tǒng)有兩大開創(chuàng)性突破：一是采用了二進(jìn)制形式表示數(shù)據(jù)和指令，二是提出了“存儲程序”方式。直到今天，電子計算機(jī)的設(shè)計仍然是這種結(jié)構(gòu)。

現(xiàn)代計算機(jī)的算力是怎么衡量的？

簡單來說，當(dāng)人類使用計算機(jī)時，輸入的字符或者信息首先需要被轉(zhuǎn)化為電子計算機(jī)能夠處理的編碼：0或者1的排列組合。而電子晶體管就是作為0或者1進(jìn)行數(shù)值運算的基本單元，此時電子晶體管的通路可以代表數(shù)值1，斷路就代表數(shù)值0，每一個0或1就是一比特（信息量的最小單位）。這也意味著，算力的大小與晶體管數(shù)量呈正相關(guān)，晶體管數(shù)量越多，就能表示越多的信息量。

第一臺電子計算機(jī)ENIAC就擁有18000多個電子管，占地面積達(dá)170m2，體重達(dá)30噸。如此龐然大物當(dāng)然不便推廣，一直到20世紀(jì)50年代，在ENIAC之后推出的新機(jī)如UNIVAC、IBM、Ferranti、Burroughs等都是大型機(jī)，價格昂貴，只有政府和大型企業(yè)等有實力的組織才能夠購買和使用。

很快到來。1958年，工程師杰克·基爾比發(fā)明了一種能將一個電路中需要的晶體管、電阻、電容和電感等元件及布線連在一起的電子器件，也就是人們現(xiàn)在所熟悉的集成電路（同時期，羅伯特·諾伊斯也帶領(lǐng)仙童半導(dǎo)體公司發(fā)展出了近代實用的集成電路），而集成電路的載體就是“芯片”。

可以說，芯片的出現(xiàn)真正推動了現(xiàn)代計算機(jī)的飛速發(fā)展。1965年，時任仙童半導(dǎo)體公司研究開發(fā)實驗室主任的摩爾應(yīng)邀為《電子學(xué)》雜志35周年專刊撰寫評論。在繪制數(shù)據(jù)時，他發(fā)現(xiàn)了一個驚人的趨勢：每個新芯片大體上包含其前任兩倍的容量，每個芯片的產(chǎn)生都是在前一個芯片產(chǎn)生后的18-24個月內(nèi)。按照這一趨勢，芯片的密度還有計算力相對于時間周期都將呈指數(shù)式的上升。這一發(fā)現(xiàn)也就是現(xiàn)在大名鼎鼎的“摩爾定律”。

半個多世紀(jì)以來，電子計算機(jī)的發(fā)展基本都遵循著摩爾定律。20世紀(jì)七八十年代，隨著芯片的性能不斷提升、體積不斷減小，計算機(jī)終于實現(xiàn)了小型化，PC（個人電腦）誕生了。這也標(biāo)志著電子計算機(jī)的算力終于不再僅為少數(shù)有實力的機(jī)構(gòu)服務(wù)，而是開始真正走向千家萬戶，進(jìn)而推動全民信息化時代到來。

人工智能時代的算力挑戰(zhàn)

按照摩爾定律，算力基本每兩年就要翻一番。但這樣恐怖的增長速度也無法滿足人類對算力的需求，尤其是2012年深度學(xué)習(xí)的發(fā)展帶領(lǐng)人工智能崛起以后。

早在2019年，OpenAI就在其更新的AI計算量報告中分析了AI算法消耗算力的情況，并發(fā)現(xiàn)在之前的幾十年中，AI計算量的增長速度基本和摩爾定律保持同步，而2012年成為了AI兩個時期的分水嶺。2012年之后，最先進(jìn)AI模型的計算量每三四個月就翻一番，也就是每年增長近10倍，比摩爾定律2年增長一倍快得多。

在此情況下，如何才能提高算力以滿足智能計算的需求？目前有兩大方面可供突破。

第一種方法，找更多人一起計算，也就是借助高性能計算和分布式計算提高算力，也是現(xiàn)在最為主要的提高算力的方法。

其中，高性能計算的最核心技術(shù)就是并行計算，即同時使用多種計算資源解決計算問題的過程。從架構(gòu)上看，并行計算又分為同構(gòu)并行計算——把計算任務(wù)分配給一系列相同的計算單元，如多核CPU（中央處理器，計算機(jī)系統(tǒng)的運算和控制核心）架構(gòu)；還有異構(gòu)并行計算——把計算任務(wù)分配給不同制程架構(gòu)、不同指令集、不同功能的計算單元，如CPU+GPU（圖形處理器，又稱顯示核心、視覺處理器、顯示芯片）的架構(gòu)。

這里簡單介紹一下CPU與GPU的差別，雖然總體上兩者都包括運算器、控制單元、高速緩存器和動態(tài)隨機(jī)存取存儲器，但這些成分的構(gòu)成比例卻是不同的。CPU中控制單元和存儲單元占的比例較大，計算單元則比例較小且不多，而GPU正好與之相反，這就造成了CPU長于控制和存儲，而GPU則擅長計算，兩者的組合正好形成互補關(guān)系。

2012年深度學(xué)習(xí)崛起之后，人們發(fā)現(xiàn)GPU非常適合用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。因為其絕大部分工作都是將不同的矩陣進(jìn)行相乘或者矩陣和向量進(jìn)行相乘，而GPU在矩陣相乘上就是非常高效，因此GPU開始被廣泛地應(yīng)用于人工智能。

與此同時，GPU的主要生產(chǎn)商如英偉達(dá)等也成為了人工智能時代重點關(guān)注對象。如運行ChatGPT的微軟數(shù)據(jù)中心就用了上萬塊英偉達(dá)H100 GPU，這也是英偉達(dá)去年發(fā)布的最新旗艦AI芯片，接替了原本被稱為AI應(yīng)用“主力軍”芯片的A100。根據(jù)英偉達(dá)的說法，與A100相比，H100的能效提高了3.5倍。并且，在今年3月剛剛召開的GTC 2023大會上，英偉達(dá)宣布圍繞AI又推出了一個全新的H100 NVL GPU芯片，據(jù)說可將算力提速10倍。

然而，從2022年9月開始，無論是A100、H100還是AMD（另一家GPU巨頭生產(chǎn)商）生產(chǎn)的MI250人工智能芯片都被禁止向中國進(jìn)行出售，最新發(fā)布的H100 NVL GPU芯片同樣如此。據(jù)公開信息顯示，英偉達(dá)專供中國且完全符合出口規(guī)定的A800芯片，其傳輸速度只有A100的70%。這也是目前制約國內(nèi)人工智能發(fā)展的關(guān)鍵因素之一。

再來介紹一下第一種提高算力方法中的分布式計算，即將分散在不同物理區(qū)域的計算單位聚集起來共同完成某一計算任務(wù)的方法，其典型代表就是現(xiàn)在經(jīng)常聽說的云計算。在云計算中，CPU、內(nèi)存、硬盤、GPU等計算資源都被整合起來，通過軟件的方式，組成一個虛擬的可無限擴(kuò)展的“算力資源池”。用戶需要算力時，無需自購設(shè)備、自建機(jī)房、自己運維，通過“算力資源池”的調(diào)度就可以實現(xiàn)算力資源的分配，用戶直接按需付費即可。

在云計算時代，數(shù)據(jù)中心就是算力的主要載體。這也是目前國內(nèi)各地開始建設(shè)大數(shù)據(jù)中心、云計算中心、智算中心、超算中心等信息基礎(chǔ)設(shè)施的根本原因。

早在1961年，“人工智能之父”約翰·麥卡錫就曾預(yù)言，“有一天，計算可能會被組織成一個公共事業(yè)，就像電話系統(tǒng)是一個公共事業(yè)一樣”。而現(xiàn)在，這一天正在成為現(xiàn)實。

根據(jù)國家信息中心聯(lián)合相關(guān)部門于今年1月發(fā)布的《智能計算中心創(chuàng)新發(fā)展指南》顯示，目前全國有超過30個城市正在建設(shè)或提出建設(shè)智算中心。通過各級各類計算中心網(wǎng)絡(luò)，算力正像電力一樣被輸送進(jìn)千行百業(yè)，成為社會發(fā)展最基礎(chǔ)的公共資源。

第二種方法，從根本上改進(jìn)設(shè)備，實現(xiàn)計算模式上的突破。

盡管高性能計算及分布式計算是當(dāng)前人們提高算力的主要手段，但其制約因素比較多，而且算力的提升也有限。因此，提高算力的第二大方法成為了許多前沿科學(xué)家的追求，這其中典型代表就是量子計算。

過去幾十年來，芯片上的晶體管數(shù)量基本按照摩爾定律在演進(jìn)，也就是每兩年密度增加一倍。然而，這種趨勢不能一直持續(xù)。早在幾年前，英偉達(dá)創(chuàng)始人、CEO黃仁勛就曾表示：“摩爾定律已死。”事實上，近幾年芯片技術(shù)迭代的速度確實在放緩，這也是由于芯片微電路加工的光刻工藝不斷逼近光學(xué)衍射極限，很難按照摩爾定律持續(xù)演進(jìn)。

那么，還有什么辦法可以突破這一極限？實際上，早在20世紀(jì)80年代，就有學(xué)者提出了量子計算的思想。其“薛定諤的貓”一樣的疊加特性，使得每一個量子比特都可以當(dāng)作2個運算單元，也就是說傳統(tǒng)計算機(jī)需要2的N次方個晶體管來表示的計算量，量子計算機(jī)只需要N個就能完成。而當(dāng)N越大時，量子計算的威力也就越大。這樣一來，如果將晶體管計算機(jī)換成量子計算機(jī)，芯片工藝的難題就迎刃而解了。

不過，這里仍然面臨其他的問題：一是找到適合并且可以通用的保持量子疊加態(tài)的物理載體，二是可廣泛應(yīng)用的計算場景。到目前為止，見諸報道的各種量子計算機(jī)都還只能執(zhí)行少數(shù)幾種特殊的場景，但未來發(fā)展前景非常可期。

盡管算力并不是影響人工智能發(fā)展的唯一因素，但卻是其必要條件之一。號角已然吹響，下一個十年，要想在人工智能這條賽道上勝出，算力只怕是要攻破的第一道關(guān)了。