Cerebras Systems公司的CS-2人工智能訓練計算機包含了世界上最大的單芯片，該公司透露，在計算機上增加新的存儲系統(tǒng)可以提高神經(jīng)網(wǎng)絡的規(guī)模，它可以擴大至現(xiàn)有最大模型的100倍，可支持超過120萬億參數(shù)規(guī)模的訓練。此外，該公司還提出了兩個方案，通過連接多達192個系統(tǒng)和有效處理神經(jīng)網(wǎng)絡中的所謂“稀疏性”來加速訓練。Cerberbas的聯(lián)合創(chuàng)始人兼首席硬件架構(gòu)師Sean Lie在近日的IEEE Hot Chips 33會議上詳細介紹了所涉及的技術(shù)。

　　這些發(fā)展來自四種技術(shù)的組合：Weight Streaming、MemoryX、SwarmX和Selectable Sparsity。前兩種方法將神經(jīng)網(wǎng)絡的規(guī)模擴大了兩個數(shù)量級，CS-2可以訓練兩個數(shù)量級的神經(jīng)網(wǎng)絡，它們改變了計算機的工作方式。

　　CS-2設計用于快速訓練大型神經(jīng)網(wǎng)絡。節(jié)省的大部分時間來自這樣一個事實：芯片足夠大，可以將整個網(wǎng)絡（主要由稱為權(quán)重和激活的參數(shù)集組成）保留在芯片上。其他系統(tǒng)會損失時間和電源，因為它們必須不斷地將網(wǎng)絡的一部分從DRAM加載到芯片上，然后將其存儲起來，為下一部分騰出空間。

　　有了40G的片上SRAM，計算機的處理器WSE2甚至可以容納當今最大的通用神經(jīng)網(wǎng)絡。但這些網(wǎng)絡正在快速增長，僅在過去幾年中就增長了1000倍，現(xiàn)在已接近1萬億個參數(shù)。因此，即使是晶圓大小的芯片也開始填滿。

　　要理解解決方案，首先必須了解一些培訓過程中發(fā)生的情況。訓練包括將神經(jīng)網(wǎng)絡將要學習的數(shù)據(jù)流化，并測量網(wǎng)絡離準確度有多遠。這種差異被用來計算“梯度（gradient）”——如何調(diào)整每個權(quán)重以使網(wǎng)絡更精確。這種梯度在網(wǎng)絡中逐層向后傳播。然后重復整個過程，直到網(wǎng)絡達到所需的精度。在大腦最初的方案中，只有訓練數(shù)據(jù)流到芯片上。權(quán)重和激活保持不變，梯度在芯片內(nèi)傳播。

　　Feldman解釋說：“新的方法是保持所有的激活狀態(tài)，并輸入[重量]參數(shù)。”該公司為CS-2構(gòu)建了一個名為MemoryX的硬件插件，該插件將權(quán)重存儲在DRAM和閃存的混合中，并將其流式傳輸?shù)絎SE2中，在WSE2中，權(quán)重與存儲在處理器芯片上的激活值進行交互。然后梯度信號被發(fā)送到存儲器單元以調(diào)整權(quán)重。該公司表示，通過weight streaming和MemoryX，單個CS-2現(xiàn)在可以訓練一個具有多達120萬億個參數(shù)的神經(jīng)網(wǎng)絡。

　　Feldman表示，他和他的聯(lián)合創(chuàng)始人在2015年成立該公司時就看到了weight streaming的必要性。我們一開始就知道我們需要兩種方法，”他說，“然而，我們可能低估了世界將以多快的速度達到非常大的參數(shù)大小?！盋erebras在2019年初開始為weight streaming增加工程資源。

　　在Hot Chips上公布的另外兩項技術(shù)旨在加快培訓過程。SwarmX是擴展WSE2片上高帶寬網(wǎng)絡的硬件，因此它可以連接多達192臺CS-2的1.63億個AI優(yōu)化核。構(gòu)建計算機集群來訓練大規(guī)模人工智能網(wǎng)絡充滿了困難，因為網(wǎng)絡必須在許多處理器之間分割。Feldman說，結(jié)果往往不能很好地放大。也就是說，集群中計算機數(shù)量翻倍通常不會使訓練速度翻倍。

　　Cerebras的MemoryX一種內(nèi)存擴展技術(shù)，為WSE-2提供高達2.4PB的片外高性能存儲，能保持媲美片上的性能。借助MemoryX，CS-2可以支持高達120萬億參數(shù)的模型。

　　Feldman說：“我們終于解決了最緊迫的問題之一：如何使構(gòu)建集群變得簡單?！?/p>

　　因為一個WSE2可以保存一個網(wǎng)絡中的所有激活，Cerebras可以想出一個方案，使計算機數(shù)量加倍確實可以使訓練速度加倍。首先，代表神經(jīng)網(wǎng)絡的一整套激活被復制到每個CS-2（為了簡單起見，讓我們假設您只有兩臺AI計算機），然后相同的一組權(quán)重流到兩臺計算機。但是訓練數(shù)據(jù)被分成兩半，一半的數(shù)據(jù)發(fā)送到每個CS-2。使用一半的數(shù)據(jù)，計算梯度需要一半的時間。每個CS-2都會產(chǎn)生不同的梯度，但這些可以結(jié)合起來更新MemoryX中的權(quán)重。然后，新的重量流傳輸?shù)紺S-2，與之前一樣，該過程重復進行，直到獲得準確的網(wǎng)絡，在這種情況下，只需一臺計算機所需時間的一半。

　　Feldman表示，Cerebras已經(jīng)在由“數(shù)千萬個人工智能核心”組成的機器集群上完成了這項工作。同時他的人工智能內(nèi)核數(shù)量也達到了85萬個，打破首代WSE 處理器創(chuàng)造的世界紀錄。無論是核心數(shù)還是片上內(nèi)存容量均遠高于迄今性能最強的GPU。此外，Cerebras還實現(xiàn)了192臺CS-2 AI計算機近乎線性的擴展，從而打造出包含高達1.63億個核心的計算集群。

　　Hot Chips報道的最后一項創(chuàng)新被稱為Selectable Sparsity：一種動態(tài)稀疏選擇技術(shù)。這是一種在不影響網(wǎng)絡準確性的情況下減少訓練中涉及的參數(shù)數(shù)量的方法。稀疏性在人工智能中是一個巨大的研究領域，但對于CS-2來說，它涉及的很多方面都是從不乘以零的。

　　Cerebras首席執(zhí)行官兼聯(lián)合創(chuàng)始人Andrew Feldman表示，這推動了行業(yè)的發(fā)展。根據(jù)該公司的說法，這四項創(chuàng)新的結(jié)合可幫助Cerebras計算機保持在神經(jīng)網(wǎng)絡的頂端，為研究和見解開辟廣闊的新途徑。