深度學習硬件才是進步的核心?,F(xiàn)在讓我們忘記2008-2012年深度學習的快速擴展,近年的進步主要取決于硬件:在社交媒體的幫助下,每部手機上的廉價圖像傳感器都可以收集巨大的數據集,但其只處于次級重要程度。GPU允許加速深層神經網絡的訓練。在過去2年里,機器學習硬件蓬勃發(fā)展,尤其是針對深度神經網絡的硬件。
有幾家公司正在這個領域努力,包括英偉達、英特爾、Nervana、Movidius、Bitmain、Cambricon、Cerebras、DeePhi、谷歌、Graphcore、Groq、華為、ARM以及Wave Computing等,他們都在開發(fā)定制的高性能微型芯片,能夠訓練和運行深層神經網絡。關鍵是提供最低功耗和最高的可測量性能,同時計算最近有用的神經網絡操作,而不是每秒鐘的原始理論操作。但是在這個領域很少有人了解硬件是如何真正改變機器學習、神經網絡和AI的,很少有人知道微型芯片的重要性以及如何開發(fā)它們。
訓練或推理:許多公司都在制造能提供神經網絡訓練的微型芯片。這是為了獲得英偉達市場的一部分,它是迄今為止事實上的培訓硬件。但這種訓練只占深層神經網絡應用的很小部分。對于每個訓練步驟,實際應用程序中都有上百萬個部署。例如,你現(xiàn)在可以在云端使用的一個目標檢測神經網絡,它曾經被訓練過一次,并且在很多圖像上都是可以使用的。但是一旦經過訓練,它就可以被數以百萬計的計算機用于數十億的數據。
我們在這里想說的是,訓練硬件的重要性和你所使用的次數相比是微不足道的,而制作用于訓練的芯片組需要額外的硬件和額外的技巧。這將導致相同性能卻消耗更高的功率,因此不是當前部署的最佳狀態(tài)。訓練硬件是很重要的,而對推理硬件進行修改卻很簡單,但它并不像許多人認為的那樣重要。
應用程序:能夠更快、更低功率地提供培訓的硬件在這個領域非常重要,因為它將允許更快地創(chuàng)建和測試新的模型和應用程序。但真正重要的一步是應用所需的硬件,主要是推理硬件。今天有許多應用之所以無法使用,主要是因為硬件而不是軟件。例如,我們的手機可以是基于語音的助手,目前是次優(yōu)的,因為它們不能一直運行。就連我們的家庭助理也離不開電源,除非我們在周圍安裝更多麥克風或設備,否則就不能跟著我們。但也許最大的應用是將手機屏幕從我們的生活中移除,并將其嵌入到我們的視覺系統(tǒng)中。如果沒有超級高效的硬件,所有這些和更多的應用將是不可能的。
贏家和輸家:在硬件方面,贏家將是那些能夠以最低功耗發(fā)揮更高性能、并能將設備迅速投入市場的公司。想象用手機代替SoC,這種情況每年都會發(fā)生。現(xiàn)在想象下將神經網絡加速器嵌入到內存中。這可能會更快地征服市場,并快速滲透,這就是我們所說的贏家。