當(dāng)前神經(jīng)網(wǎng)絡(luò)的局限性：無法預(yù)測，無法解釋理由，以及暫時的不穩(wěn)定性，因此我們需要一種新的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)膠囊(Neural Network Capsules)就是解決當(dāng)前神經(jīng)網(wǎng)絡(luò)局限性的一種方法，但我們認(rèn)為它必須有些額外的特點：
1)視頻幀操作：這很簡單，因為我們需要做的就是讓膠囊路由查看最近時間的多個數(shù)據(jù)點。這相當(dāng)于在最近的重要數(shù)據(jù)點上建立起關(guān)聯(lián)內(nèi)存。請注意，這些不是最近幀的最新表達，而是它們最新的不同表達?？梢酝ㄟ^僅保存與預(yù)定義值不同的表達來獲得不同內(nèi)容的不同表達。這個重要的細(xì)節(jié)只允許保存最近歷史上的相關(guān)信息，而不是一系列無用的相關(guān)數(shù)據(jù)點。
2)預(yù)測神經(jīng)網(wǎng)絡(luò)能力：這已經(jīng)是動態(tài)路由的一部分，它迫使各層預(yù)測下一層表達。這是一種非常強大的自我學(xué)習(xí)技巧，在我們看來，它勝過了我們在社區(qū)中發(fā)展的所有其他非監(jiān)督表現(xiàn)學(xué)習(xí)。膠囊現(xiàn)在需要能夠預(yù)測長期的時空關(guān)系，但目前還沒有實現(xiàn)。
持續(xù)學(xué)習(xí)：這是很重要的，因為神經(jīng)網(wǎng)絡(luò)需要不斷地學(xué)習(xí)新的數(shù)據(jù)點來維持生存。目前的神經(jīng)網(wǎng)絡(luò)不能學(xué)習(xí)新的數(shù)據(jù)，而每次都需要從頭開始重新訓(xùn)練。神經(jīng)網(wǎng)絡(luò)需要能夠自我評估接受重新訓(xùn)練的必要性，以及它們確實知道某些事情的事實。這也需要在現(xiàn)實生活和強化學(xué)習(xí)任務(wù)中表現(xiàn)出來，我們想讓機器在不忘記舊任務(wù)的情況下完成新任務(wù)。
轉(zhuǎn)移學(xué)習(xí)：或者稱我們?nèi)绾巫屵@些算法通過觀看視頻自學(xué)，就像我們學(xué)習(xí)如何烹飪新的東西一樣。這是一種能力，需要我們上面列出的所有因素，而且對于加強學(xué)習(xí)也很重要?，F(xiàn)在你可以通過舉例子的方式來訓(xùn)練你的機器去做你想讓它做的事情，就像我們?nèi)祟愐粯印?/p>
強化學(xué)習(xí)：這是深神經(jīng)網(wǎng)絡(luò)研究的“圣杯”，即教機器如何在真實的世界環(huán)境中學(xué)習(xí)!這需要自學(xué)、持續(xù)學(xué)習(xí)、預(yù)測能力，還有很多我們不知道的東西。在強化學(xué)習(xí)領(lǐng)域有很多東西需要了解，但對作者們來說，這只觸及到問題的表面。
強化學(xué)習(xí)通常被稱為“蛋糕上的櫻桃”，意思是它只是塑料合成大腦上微不足道的訓(xùn)練。但是，我們?nèi)绾尾拍艿玫揭粋€“通用”大腦輕松地解決所有的問題呢?這是個“先有雞還是先有蛋”的問題!今天，要想一個個地解決強化學(xué)習(xí)的問題，我們需要使用標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)：一個深度的神經(jīng)網(wǎng)絡(luò)，它接收大量的數(shù)據(jù)輸入，如視頻或音頻，并將其壓縮成表示;一個序列學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，如RNN，以便了解任務(wù)。
這兩個部分都是問題的明顯解決方案，目前顯然是錯誤的，但這是每個人都在使用的，因為它們是當(dāng)前可用的構(gòu)建塊。這樣的結(jié)果并不令人印象深刻：我們可以從頭開始學(xué)習(xí)玩視頻游戲，并且掌握像國際象棋和圍棋這樣完全可觀察的游戲，但無需多言，與在復(fù)雜的世界中解決問題相比，這些都是微不足道的。想象下，AI可以比人類更好地玩轉(zhuǎn)《Horizon Zero Dawn》，對此我拭目以待!
但這恰是我們想要看到的，即能像我們?nèi)祟愡@樣運作的機器。我們對強化學(xué)習(xí)的建議是，使用可以連續(xù)操作的預(yù)測神經(jīng)網(wǎng)絡(luò)和聯(lián)想存儲器來存儲最近的經(jīng)驗。
不要更多的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)：因為它們在并行化方面表現(xiàn)特別糟糕，甚至在特殊的定制機器上也很慢，因為它們的內(nèi)存帶寬使用率很高，內(nèi)存帶寬存在限制?；谧⒁饬Φ纳窠?jīng)網(wǎng)絡(luò)更高效，可更快速地進行訓(xùn)練和部署，并且在訓(xùn)練和部署方面的可伸縮性更少。在神經(jīng)網(wǎng)絡(luò)中，注意力有可能使許多架構(gòu)發(fā)生真正的改變，但它并沒有得到應(yīng)有的認(rèn)可。聯(lián)想記憶和注意力的結(jié)合是下一波神經(jīng)網(wǎng)絡(luò)發(fā)展的核心。我們認(rèn)識到，基于注意力的神經(jīng)網(wǎng)絡(luò)將逐漸取代基于RNN的語音識別，并在強化學(xué)習(xí)構(gòu)架和通用人工智能中找到它們的方法。
分類神經(jīng)網(wǎng)絡(luò)中信息的定位：實際上這是一個已經(jīng)解決的問題，將被嵌入到未來的神經(jīng)網(wǎng)絡(luò)架構(gòu)中。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗，提供媒體、活動、展會等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號
