AI正在以前所未有的速度迅速席卷全球市場(chǎng)。據(jù)Gartner預(yù)測(cè)，到2026年，80%的全球企業(yè)將使用生成式AI，50%的全球邊緣部署將包含AI。而IDC數(shù)據(jù)顯示，中國生成式AI投資增長加速，2022到2027年五年的復(fù)合年增長率達(dá)到86.2%，生成式AI正在成為驅(qū)動(dòng)智能發(fā)展的關(guān)鍵技術(shù)。在這當(dāng)中，邊緣側(cè)AI正在為企業(yè)釋放更強(qiáng)大的生產(chǎn)力發(fā)揮越來越重要的作用。
Gartner預(yù)測(cè)，到2025年，50%以上的企業(yè)管理數(shù)據(jù)將在數(shù)據(jù)中心或云之外創(chuàng)建和處理。而且，隨著AI為自動(dòng)化帶來更多機(jī)會(huì)，到2030年，至少一半的邊緣計(jì)算部署將納入AI。
英特爾中國網(wǎng)絡(luò)與邊緣計(jì)算事業(yè)部高級(jí)平臺(tái)方案架構(gòu)師楊濤在“2024國際AIoT生態(tài)發(fā)展大會(huì)”上談到，之所以要把一部分AI能力放在邊緣側(cè)，這與數(shù)據(jù)安全性、網(wǎng)絡(luò)時(shí)延以及可能出現(xiàn)的網(wǎng)絡(luò)帶寬風(fēng)暴密切相關(guān)。并且，與云端和數(shù)據(jù)中心當(dāng)中的大模型使用相比，一般來說邊緣側(cè)模型的參數(shù)會(huì)相對(duì)小一些。
他也提到，當(dāng)下隨著AI應(yīng)用需求的不斷遞增，英特爾以強(qiáng)大的芯片基礎(chǔ)、軟件定義的簡便性以及開放多元的生態(tài)系統(tǒng)，幫助企業(yè)簡化在PC、邊緣和數(shù)據(jù)中心部署AI的復(fù)雜流程，助力他們充分釋放AI潛力。
邊緣AI市場(chǎng)持續(xù)升溫，驅(qū)動(dòng)企業(yè)在邊緣側(cè)部署的實(shí)際原因?
“一是數(shù)據(jù)的安全性，是不是放心把數(shù)據(jù)都放到云端，還是在邊緣端更合理。第二，隨著邊緣數(shù)據(jù)量越來越大，整個(gè)傳輸帶寬是個(gè)問題，雖然國內(nèi)在整個(gè)基礎(chǔ)建設(shè)傳輸帶寬建設(shè)是全球最領(lǐng)先的，但當(dāng)大量數(shù)據(jù)在邊緣產(chǎn)生時(shí)，仍然可能引發(fā)網(wǎng)絡(luò)風(fēng)暴，我們?nèi)孕枰M(jìn)一步優(yōu)化網(wǎng)絡(luò)管理和數(shù)據(jù)傳輸策略。第三，實(shí)時(shí)性，很多東西只能在邊緣做才能解決實(shí)時(shí)性的要求?！?/p>
也正是基于以上原因，使得邊緣AI正在成為越來越多企業(yè)新的選擇。
英特爾除了在數(shù)據(jù)中心訓(xùn)練的產(chǎn)品以外，也在針對(duì)集成顯卡重新做一些大的架構(gòu)改動(dòng)，以此來提高更多的算力。
大量的AI應(yīng)用，芯片廠商該怎么去滿足算力需求?
在傳統(tǒng)的CPU里面，我們會(huì)通過新加一些向量指令來支持這些AI，但是傳統(tǒng)的CPU有它的算力瓶頸，大概最高能到5 Tops算力水平，不過它的靈活性會(huì)非常高，而且計(jì)算速率會(huì)更快。
楊濤透露，英特爾也在考慮另外一種的計(jì)算單元NPU也就是神經(jīng)網(wǎng)絡(luò)處理器加速器，“下一代AI PC旗艦處理器Lunar Lake集成了CPU、GPU、NPU，這些器件總計(jì)帶來了120TOPS的AI算力——CPU通過添加向量指令支持AI，可以帶來5TOPS的算力，內(nèi)置的GPU算力高達(dá)67TOPS，同時(shí)還帶矩陣計(jì)算能力，NPU(神經(jīng)網(wǎng)絡(luò)處理器)帶來更高的效率，帶來了最高48TOPS的算力?！彼硎?。
在邊緣側(cè)除了算力挑戰(zhàn)之外，軟件層面也面臨著如何把算力釋放出來的挑戰(zhàn)。目前數(shù)據(jù)中心的訓(xùn)練都是開拓企業(yè)增值服務(wù)這種框架，但是這種框架一般非常繁瑣，在邊緣側(cè)使用起來這種框架就會(huì)不夠靈活，性能也不是特別理想。
為提高產(chǎn)品開發(fā)的靈活性，英特爾還特別推出了OpenVINO?工具套件，此工具套件專為加速機(jī)器學(xué)習(xí)解決方案開發(fā)而設(shè)計(jì)。英特爾? 發(fā)行版 OpenVINO? 工具套件基于卷積神經(jīng)網(wǎng)絡(luò) (CNN)，可在英特爾? 硬件(包括加速器)之間共享工作負(fù)載，從而最大限度地提升性能。滿足開發(fā)人員、OEM和ISV的需求，幫助他們采取具有高性能、易用性和可移植性的AI推理。
英特爾? 發(fā)行版 OpenVINO? 工具套件包括：
模型優(yōu)化器，用于轉(zhuǎn)換來自 Caffe*、TensorFlow*、Open Neural Network Exchange (ONNX*) 和 Kaldi 等常見框架的模型
推理引擎，為跨英特爾計(jì)算機(jī)視覺加速器(包括 CPU、圖形處理單元、FPGA 和英特爾? 神經(jīng)電腦棒 2(英特爾? NCS2))的異構(gòu)執(zhí)行提供支持
適用于異構(gòu)英特爾? 硬件的通用 API
在演講最后環(huán)節(jié)，楊濤透露，英特爾產(chǎn)品發(fā)展的三個(gè)方向：支持更多模型、優(yōu)化邊緣側(cè)推理、以及跨平臺(tái)部署，通過神經(jīng)網(wǎng)絡(luò)壓縮、量化技術(shù)和動(dòng)態(tài)算力調(diào)度等技術(shù)，致力于提供性能優(yōu)越、功耗優(yōu)化的推理平臺(tái)。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺(tái)，自1994年品牌成立以來，一直專注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場(chǎng)趨勢(shì)的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號(hào)
