微軟和Nvidia合作研究語言模型，發(fā)布了目前最大的單體Transformer語言模型MT-NLG（Turing Natural Language Generation Model），具有5,300億個參數(shù)，作為Turing NLG 17B和Megatron-LM的后繼者，MT-NLG的規(guī)模是目前這類最大模型的3倍，能在完成預測、閱讀理解、常識推理、自然語言推理和詞義消歧等自然語言任務，提供極高的準確性。
近年來自然語言處理領域，得利于Transformer語言模型的大規(guī)模運算、大資料集，和高端的訓練算法，使得語言模型能夠具有大量參數(shù)，進行更豐富、細致的語言理解，因此語言模型也能更有效地作為零樣本或是少樣本學習器，應用在更廣泛的自然語言任務中。
現(xiàn)在訓練大型語言模型，仍具有不小的挑戰(zhàn)性，研究人員解釋，即便是最大的GPU內存，也難以放下這么大量的參數(shù)，而且如果不對算法、軟件和硬件堆棧進行優(yōu)化，過長的運算時間將會使得訓練模型變得不切實際。
微軟和Nvidia密切合作，應用GPU和分布式學習軟件堆棧，實現(xiàn)超高效率模型訓練，并且使用數(shù)千億的令牌，構建高品質自然語言訓練語料庫，共同開發(fā)訓練配置，以優(yōu)化效率和穩(wěn)定性。
模型訓練使用基于NvidiaDGX SuperPOD的Selene超級計算機，以混合精度訓練完成，該超級計算機搭載560臺DGX A100服務器，這些服務器使用HDR InfiniBand以全胖樹拓撲連接，每臺DGX A100擁有8顆A100 80GB Tensor Core GPU，之間以NVLink和NVSwitch相互聯(lián)接。
研究人員解釋，只有這種能夠在數(shù)千個GPU間實現(xiàn)平行性的架構，才能在合理的時間，訓練具有數(shù)千億個參數(shù)的模型。但就現(xiàn)有的平行策略，包括資料、工作管線和張量切片，還是無法用于訓練這種模型。
因此研究人員結合Megatron-LM和PyTorch深度學習優(yōu)化函數(shù)庫DeepSpeed，創(chuàng)建了高效且可擴展的3D平行系統(tǒng)，將資料、工作管線和基于張量切片的平行性結合在一起，來克服訓練大型語言模型所遭遇的困難。
Megatron-LM的張量切片能夠擴展節(jié)點內的模型，并借由DeepSpeed工作管線的平行性，來跨節(jié)點擴展模型。就5,300億個參數(shù)的MT-NLG來說，每個模型副本需橫跨280個A100 GPU，具有8路張量切片和跨節(jié)點的35路工作管線并行性，并且通過DeepSpeed的資料平行性，擴展模型至數(shù)千個GPU。
MT-NLG在多種類型的自然語言任務，都達到了目前最佳的結果，以少樣本預測來說，比較或是尋找兩句子間的關系，通常是對語言模型較具有挑戰(zhàn)性的任務，但是MT-NLG能夠使用更少的令牌訓練，也就是說，更大型的模型訓練速度更快。
除了一般自然語言任務都已經難不倒MT-NLG，MT-NLG還具有基本的數(shù)學運算能力，研究人員提到，雖然離真正具有算術能力還有一段距離，但該模型展現(xiàn)了超過記憶算數(shù)的能力。
另外，研究人員還在HANS資料集測試MT-NLG，借由向模型提供包含簡單句法結構的句子作為問題，并且提示模型給予答案，過去這樣的用例，即便結構相當簡單，但是自然語言推理模型仍會對于這類輸入感到苦手，但是MT-NLG在不需要微調的情況下，就能表現(xiàn)良好。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產業(yè)前沿產品、技術及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經驗，提供媒體、活動、展會等整合營銷服務。
粵公網安備 44030402000264號
