隨著端側AI勢如破竹的發(fā)展，在最近召開的2024國際AIoT生態(tài)發(fā)展大會上，安謀科技智能物聯(lián)業(yè)務線業(yè)務發(fā)展與方案總監(jiān)商德明先生為所有芯片、端側AI開發(fā)者們介紹端云之間生態(tài)互動的產生以及所涉及到硬件的更新、軟件和應用的變化。無論是端側還是云側，最終要實現(xiàn)的目標是為了帶來更大的生態(tài)效應，能夠支持更多的客戶使用相同的方案。通過云跟端的整體配合，云端混合的方式能夠真正落地，產生最大的效益。

　　端側到底為什么發(fā)展起來?

　　1、節(jié)約成本

　　不管是什么樣的任務、請求，每一次的傳輸，都會經過大模型的計算，電力成本就會非常高，但是如果在端側區(qū)域去進行一部分推理，幫助用戶，成本就會少很多。以及云端能源的耗費，如果我們仍然將重心放在云端上，將來可能全世界開發(fā)的能源都要被云端所消耗。

　　2、信息安全

　　端側的AI嵌入意味著在端側就能進行信息的識別、處理，在私密性和安全性方面天生有優(yōu)勢。不僅是關乎個人的數(shù)據(jù)，更是涉及到很多敏感的，需要安全級別高的數(shù)據(jù)，包括金融、財務等方面，這些非常重要的數(shù)據(jù)，放在端側能更好地保證數(shù)據(jù)的安全性，避免了統(tǒng)一存儲云端的不安。

　　3、及時反饋

　　有些性能要依賴網(wǎng)絡來解決問題，就會面臨延時的問題，網(wǎng)絡某種程度上影響了云端運行效率。即時性要求不高的行動或許還能接受，但是有很多關鍵性的應用，需要及時反饋行動，比如機器人去救火，或者是快速及時的汽車行駛，這些場景對實時性的要求非常高，云側AI所帶來的弊端就顯現(xiàn)出來了。

　　端側AI會帶來什么樣的變化?

　　1、芯片

　　無論AI如何發(fā)展，研發(fā)、制作芯片的成本依然非常高。因為芯片一旦進入到設備，比如進入到車里或者服務器里面，它所關聯(lián)的價值就更高，芯片會有一個非常重大的責任，需要負責端側在安全、整個功能上的推進。所以芯片的穩(wěn)定性、魯棒性和先進性非常重要，更新迭代的速度也很快。

　　然而除了這些常規(guī)的性能要求，目前端側AI所運用到的芯片還需要從不同場景中抓取搜集數(shù)據(jù)。通過海量芯片在市場上的應用，芯片可以把應用場景以及相關的數(shù)據(jù)都抓取出來，還可以從全世界所有用戶的使用行為中發(fā)現(xiàn)問題，為芯片的更新迭代提供參考，或者是從一些特殊的場景去集中收集、匯聚信息，更加完整地去測試各種端側所處的場景，從而保證技術在不同的場景、不同用戶之間可以保持一定的穩(wěn)定性。

      通過這種民意的分析，對客戶訴求的把握，從全球范圍內吸取用戶給予的提示和反饋，來不斷的提升產品的質量，對于整個行業(yè)也是非常大的價值。再通過大模型的更新，調動所有相應的應用迭代，使得用戶能夠得到一個更好的服務，讓設備成為一個智能化、個性化的助手。

　　2、傳感器

　　傳統(tǒng)端側的傳感只是起到采集、傳輸?shù)淖饔?，像一個沉睡中的大腦，但是隨著 AI的價值和發(fā)展，不僅僅是對傳感、對數(shù)據(jù)的采集、傳輸，大腦要醒來，對整個數(shù)據(jù)分析，以及分析過后反饋、采取行動。

　　傳感是多模態(tài)的，例如自動駕駛、機器人等，在視覺上有8k、4k的攝像頭若干個，還有雷達、激光、聲音等相關的傳感，多模態(tài)輸入使它的復雜度提高。同時，面對海量的數(shù)據(jù)，如何使你的架構更加合理，能夠更加快速、實時地處理這些數(shù)據(jù)，精確提供企業(yè)需要的足夠的判斷基礎。然后通過AI大模型的生成、AI的判斷，能夠及時地做出反饋，使得一些相應的動作能夠發(fā)生。所有端側設備都面臨這樣的需求，解決架構上的問題。

　　計算架構要優(yōu)化就要求算力的提升。之前的發(fā)展模式中，計算機或者芯片基本上都是代理，或者以一個CPU的架構思維、判斷去做公式的計算，因此一個CPU也就是幾個線程、幾十個線程的能力去發(fā)展。但是隨著 GPU的出現(xiàn)，上百萬的并行的計算有條件發(fā)生，甚至于不僅僅是同一個指令、多個數(shù)據(jù)并行，現(xiàn)在可以同時很多的指令在一個周期里面多個數(shù)據(jù)進行計算。

　　3、半導體

　　本身半導體的發(fā)展，讓我們可以在很小的面積集成更多的單元，所以我們整個芯片硬件的要求、宗旨，就是能夠在最小的面積里面放更多的電路，使得軟件能在每一個指定周期實現(xiàn)電路的最高利用率?？焖俚氐a品，然后以最高的效率使芯片上所有的電路都起作用，發(fā)揮它計算和數(shù)據(jù)處理的能力。

　　端側AI的具體應用場景以及企業(yè)努力的方向

　　隨著深層次AI的不斷加強，模型的能力也越來越強。模型的輕量化發(fā)展能夠產生更少的參數(shù)，不斷加持AIoT設備，同時也很可能會有新的產品形態(tài)出現(xiàn)，這些都值得密切的關注。

　　端側設備、智能家居等已經在推進端側AI的部署。AR、VR、元宇宙的概念大概四五年前就已經出現(xiàn)，蘋果等廠家在開發(fā)推進過程中，致力于凝練低功耗的同時更好地呈現(xiàn)顯示效果，這就需要它不斷提高AI算力的支撐。

　　比如監(jiān)控領域，對于行業(yè)來說，夜視是一個很大的挑戰(zhàn)。同時由于它定位的要求，還需要AI賦能虹膜識別、人臉識別等相關領域。以前傳統(tǒng)的監(jiān)控攝像頭，如果有10%的設備支持AI人臉識別，就已經算是不錯的。但是AI發(fā)展到今時今日，監(jiān)控攝像頭具備AI的功能是必選項。所以我們可以預測在未來的三五年，這些端側設備能夠有更好的語義理解，支持大模型作為我們貼身的助手。目前AI手機、AI PC的出現(xiàn)，都是在壓縮、小型化大模型的路上努力，最終達到能夠在端側設備進行部署，具備技術能力、功能。

　　對于企業(yè)而言，端側要部署到云側需要從以下幾點努力：

　　1、架構上的互動

　　如果云側的指令級，跟端側指令級是一致的，在同一個架構下去開發(fā)應用，那么云端的軟件站和整個的服務方案可以無縫遷移到端側的部分。云側跟端側之間本身在在軟件應用開發(fā)上是有一致性和兼容性的，這就可以帶來大量的成本和人力的節(jié)約。

　　2、軟件定義硬件

　　開發(fā)模型之后可以通過穩(wěn)定的技術在端側部署，軟件定義硬件的能力就出現(xiàn)了。不管是什么樣的硬件平臺，軟件模型尤其大模型更新，就可以適配不同的場景。比如智慧農業(yè)，大模型應該可以做到今天監(jiān)測這些水果，明天去觀察稻谷麥香，或者又去到一個存儲倉庫、其他各個需要不同能力的環(huán)節(jié)去應用。通過模型的更新，一次性地投入硬件，然后產生各種各樣的應用效果。

　　3、獲取數(shù)據(jù)

　　要讓端側設備變得更加智慧的話，需要不斷收集互聯(lián)網(wǎng)數(shù)據(jù)。每個應用場景下都會產生大量的數(shù)據(jù)，互聯(lián)網(wǎng)端側設備需要去感知物理世界，獲取、整理，再從中提取到最有效的數(shù)據(jù)。如果每次都傳輸原始數(shù)據(jù)，涉及到的數(shù)據(jù)量就會非常龐大，通過端側的提煉抓取，再去反饋給云端，在云端進行訓練，就可以使模型的組合更加智慧或全面，進一步再反饋給端側。

　　端側AI除了發(fā)展到如今的簡單應用，大模型通用性的職能以外，還要在軟件和生態(tài)上相互配合，和整個具體的場景相關聯(lián)，為行業(yè)提供一個指導方案，從而在端側或者垂直領域能夠發(fā)揮更重大的作用。