近日起，Google Cloud 面向全球各地推出NVIDIA T4 GPU，為包括高性能計算(HPC)、機器學(xué)習(xí)訓(xùn)練及推理、數(shù)據(jù)分析和圖形處理等在內(nèi)的各類云工作負(fù)載提供加速。今年1月，Google Cloud宣布推出了NVIDIA T4 GPU公測版，幫助客戶以更快的速度和更低的成本運行推理工作負(fù)載。今年四月早些時候，在Google Next '19上，Google Cloud宣布在八個地區(qū)率先推出NVIDIA T4，使Google Cloud成為全球第一家基于NVIDIA T4提供服務(wù)的主要供應(yīng)商。

　　注重速度與成本效益

　　每個T4 GPU都擁有16 GB的GPU內(nèi)存，提供多精度(或數(shù)據(jù)類型)支持(FP32，F(xiàn)P16，INT8和INT4)，具有可為訓(xùn)練提供加速的NVIDIA Tensor核心，以及可用于更快速的光線追蹤的RTX硬件加速平臺。用戶可以使用四個T4 GPU、96個vCPU、624 GB主機內(nèi)存和高達(dá)3 TB的服務(wù)器本地SSD，來搭建最能滿足其需求的自定義VM配置。

　　自發(fā)布之時，在搶占式VM實例上，T4實例的售價僅為每GPU每小時0.29美元。按需實例的售價為每GPU每小時0.95美元起，而且持續(xù)使用還可享受高達(dá)30%的折扣。

　　可用于訓(xùn)練和推理的Tensor 核心

　　憑借NVIDIA Turing架構(gòu)，T4 GPU引入了第二代Tensor核心。Tensor 核心首次亮相于NVIDIA V100 GPU之上(Google Cloud平臺(GCP)也提供基于NVIDIA V100 GPU的服務(wù))，支持混合精度，可以為在機器學(xué)習(xí)工作負(fù)載中普遍采用的矩陣乘法運算提供加速。如果您的訓(xùn)練工作量還未達(dá)到需要使用功能更加強大的V100的程度，那么T4將能夠以更低的價格為您提供Tensor 核心的加速優(yōu)勢。T4非常適合應(yīng)用于大規(guī)模訓(xùn)練工作負(fù)載中，特別是當(dāng)您擴(kuò)展更多資源來加快訓(xùn)練或訓(xùn)練更大的模型的時候。

　　Tensor核心也可以為推理提供加速，或運用機器學(xué)習(xí)模型加速生成預(yù)測，以實現(xiàn)低延遲或高吞吐量。當(dāng)以混合精度啟用Tensor核心時，與僅以FP32運行相比，借助于TensorRT， GCP上的T4 GPU可以將ResNet-50的推理速度提高10倍以上。受益于全球供貨和谷歌的高速網(wǎng)絡(luò)，GCP上的NVIDIA T4能夠以高性價比，為那些需要高效運作的全球性服務(wù)供應(yīng)商提供服務(wù)。例如，Snap Inc. 就在使用NVIDIA T4為其全球用戶群創(chuàng)建更有效的算法的同時，保持了低成本。

　　“Snap的貨幣化算法對我們的廣告客戶和股東有著最顯著的影響。借助于GCP上由NVIDIA T4賦能的GPU，我們提高了我們的廣告效率，與僅使用CPU的方式相比，成本也得到了降低?！?/p>

　　— Nima Khajehnouri, Sr. Director, Monetization, Snap Inc.

　　借助于Google Cloud上的深度學(xué)習(xí)VM鏡像(Deep Learning VM images)，可以在NVIDIA T4 GPU上快速啟動和運行機器學(xué)習(xí)模型的訓(xùn)練和服務(wù)推理工作負(fù)載。這些應(yīng)用包括了您需要的所有軟件：驅(qū)動程序，CUDA-X AI庫，以及主流AI框架，如TensorFlow和PyTorch。此外，Google Cloud會為您進(jìn)行軟件更新，使您不必再為了兼容性和性能優(yōu)化的問題額外費心。您只需創(chuàng)建一個新的Compute Engine實例，選擇您的鏡像，單擊Start，幾分鐘后，您就可以訪問和啟用您的由T4賦能的實例。您也可以在Google Cloud的AI平臺上啟動您的實例，這是一個端到端的開發(fā)環(huán)境，可幫助機器學(xué)習(xí)開發(fā)人員和數(shù)據(jù)科學(xué)家在任何地方構(gòu)建、共享和運行機器學(xué)習(xí)應(yīng)用程序。一旦準(zhǔn)備就緒，只需幾行代碼，您就可以借助于Tensor核心的自動混合精度實現(xiàn)加速。

　　規(guī)模效益

　　NVIDIA T4 GPU還能為HPC批量計算和渲染工作負(fù)載帶來卓越的性能和效率，將大規(guī)模部署的效用價值最大化。一位來自于普林斯頓大學(xué)(Princeton University)的神經(jīng)科學(xué)研究人員對T4的獨特價格和性能有著這樣的說法：

　　“我們很高興能夠與Google Cloud合作，為神經(jīng)科學(xué)帶來了一項里程碑式的成就：重建立方毫米新皮層的連接組。能夠使用數(shù)千個由Kubernetes Engine驅(qū)動的T4 GPU是件令人十分興奮的事情。憑借這些計算資源，我們能夠追蹤長達(dá)5公里的神經(jīng)元布線，并在微小體積范圍內(nèi)識別十億個突觸?！?/p>

　　— Sebastian Seung，普林斯頓大學(xué)

　　GCP上的Quadro虛擬工作站

　　T4 GPU也是運行虛擬工作站的絕佳選擇，能夠為工程師和專業(yè)創(chuàng)意人員提供支持。借助于GCP Marketplace中的NVIDIA Quadro虛擬工作站，用戶可以運行基于NVIDIA RTX平臺的應(yīng)用程序，能在任何地方體驗新一代計算機圖形技術(shù)，包括實時光線追蹤和AI增強型圖形，以及視頻和圖像處理。

　　“通過Google Cloud訪問NVIDIA Quadro虛擬工作站，使得我們的客戶在任何地方都能快速部署并開始使用Autodesk軟件。對于某些工作流程，運用NVIDIA T4和RTX技術(shù)的客戶能在渲染場景、創(chuàng)建逼真的3D模型和仿真的時候看到很大的不同。我們很高興繼續(xù)與NVIDIA和Google合作，為藝術(shù)工作流程帶來更高的效率和速度?！?/p>

　　—Eric Bourque, Senior Software Development Manager, Autodesk