螞蟻百靈大模型全面升級(jí)多模態(tài)能力

2024-07-09 10:31 閱讀 2034 來(lái)源：羊城派評(píng)論區(qū)

從單一的文本語(yǔ)義理解，到多模態(tài)能力，是人工智能技術(shù)的關(guān)鍵迭代，而多模態(tài)技術(shù)催生的‘看聽(tīng)說(shuō)寫(xiě)畫(huà)’的應(yīng)用場(chǎng)景，將讓AI的表現(xiàn)更真實(shí)，更接近人類(lèi)，從而也能更好地服務(wù)人類(lèi)。螞蟻會(huì)持續(xù)投入原生多模態(tài)技術(shù)的研發(fā)。

　　近日，在2024世界人工智能大會(huì)“可信大模型助力產(chǎn)業(yè)創(chuàng)新發(fā)展”論壇上，螞蟻集團(tuán)公布了其自研的百靈大模型最新研發(fā)進(jìn)展：百靈大模型已具備能“看”會(huì)“聽(tīng)”、能“說(shuō)”會(huì)“畫(huà)”的原生多模態(tài)能力，可以直接理解并訓(xùn)練音頻、視頻、圖、文等多模態(tài)數(shù)據(jù)。原生多模態(tài)被認(rèn)為是通往AGI的必經(jīng)之路，在國(guó)內(nèi)，目前只有為數(shù)不多的大模型廠商實(shí)現(xiàn)了這一能力。

　　記者從大會(huì)現(xiàn)場(chǎng)的演示看到，多模態(tài)技術(shù)可以讓大模型更像人一樣感知和互動(dòng)，支撐智能體體驗(yàn)升級(jí)，百靈的多模態(tài)能力已應(yīng)用于“支付寶智能助理”上，未來(lái)還將支持支付寶上更多智能體升級(jí)。

　　據(jù)了解，百靈大模型多模態(tài)能力，在中文圖文理解MMBench-CN評(píng)測(cè)集上達(dá)到GPT-4o水平，在信通院多模態(tài)安全能力評(píng)測(cè)達(dá)到優(yōu)秀級(jí)(最高)，具備支持規(guī)?；瘧?yīng)用的能力，能支持AIGC、圖文對(duì)話、視頻理解、數(shù)字人等一系列下游任務(wù)。

　　多模態(tài)大模型技術(shù)能夠使AI更好地理解人類(lèi)世界的復(fù)雜信息，也讓AI落地應(yīng)用時(shí)更符合人類(lèi)的交互習(xí)慣，在智能客服、自動(dòng)駕駛、醫(yī)療診斷等多個(gè)領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。

　　螞蟻集團(tuán)有著豐富的應(yīng)用場(chǎng)景，百靈大模型的多模態(tài)能力，也已被應(yīng)用在生活服務(wù)、搜索推薦、互動(dòng)娛樂(lè)等場(chǎng)景。在生活服務(wù)上，螞蟻集團(tuán)使用多模態(tài)模型實(shí)現(xiàn)了ACT技術(shù)，讓智能體具備一定規(guī)劃執(zhí)行能力，比如根據(jù)用戶語(yǔ)音指定直接在星巴克小程序下單一杯咖啡，目前這一功能已在支付寶智能助理上線。

　　在醫(yī)療領(lǐng)域，多模態(tài)能力為用戶實(shí)現(xiàn)復(fù)雜任務(wù)的操作，可以對(duì)超過(guò)100多種復(fù)雜的醫(yī)學(xué)檢驗(yàn)檢測(cè)報(bào)告進(jìn)行識(shí)別和解讀，還可以檢測(cè)毛發(fā)健康和脫發(fā)情況，為治療提供輔助。

　　發(fā)布現(xiàn)場(chǎng)，螞蟻集團(tuán)副總裁徐鵬展示了新升級(jí)的多模態(tài)技術(shù)可實(shí)現(xiàn)的更多應(yīng)用場(chǎng)景：通過(guò)視頻對(duì)話的自然形式，AI助理能為用戶識(shí)別穿著打扮，給出約會(huì)的搭配建議;根據(jù)用戶不同的意圖，從一堆食材中搭配出不同的菜譜組合;根據(jù)用戶描述的身體癥狀，從一批藥物中，挑選出可能合適的藥，并讀出服用指導(dǎo)，供用戶參考等。

　　基于百靈大模型多模態(tài)能力，螞蟻集團(tuán)已在探索規(guī)模應(yīng)用落地產(chǎn)業(yè)的實(shí)踐。論壇上同時(shí)發(fā)布的“支付寶多模態(tài)醫(yī)療大模型”，便是這一探索的實(shí)踐。據(jù)了解，支付寶多模態(tài)醫(yī)療大模型添加了包含報(bào)告、影像、藥品等多模態(tài)信息在內(nèi)的百億級(jí)中英文圖文、千億級(jí)醫(yī)療文本語(yǔ)料以及千萬(wàn)級(jí)高質(zhì)量醫(yī)療知識(shí)圖譜，具備專(zhuān)業(yè)醫(yī)學(xué)知識(shí)，在中文醫(yī)療 LLM 評(píng)測(cè)榜單promptCBLUE上，取得A榜第一、B榜第二的成績(jī)。

　　基于百靈大模型多模態(tài)能力，由螞蟻集團(tuán)與武漢大學(xué)聯(lián)合研發(fā)的遙感模型SkySense，也在論壇上公布了開(kāi)源計(jì)劃。SkySense是目前參數(shù)規(guī)模最大、覆蓋任務(wù)最全、識(shí)別精度最高的多模態(tài)遙感基礎(chǔ)模型。

　　“從單一的文本語(yǔ)義理解，到多模態(tài)能力，是人工智能技術(shù)的關(guān)鍵迭代，而多模態(tài)技術(shù)催生的‘看聽(tīng)說(shuō)寫(xiě)畫(huà)’的應(yīng)用場(chǎng)景，將讓AI的表現(xiàn)更真實(shí)，更接近人類(lèi)，從而也能更好地服務(wù)人類(lèi)。螞蟻會(huì)持續(xù)投入原生多模態(tài)技術(shù)的研發(fā)。”徐鵬說(shuō)。

免責(zé)聲明：本站所使用的字體和圖片文字等素材部分來(lái)源于互聯(lián)網(wǎng)共享平臺(tái)。如使用任何字體和圖片文字有冒犯其版權(quán)所有方的，皆為無(wú)意。如您是字體廠商、圖片文字廠商等版權(quán)方，且不允許本站使用您的字體和圖片文字等素材，請(qǐng)聯(lián)系我們，本站核實(shí)后將立即刪除！任何版權(quán)方從未通知聯(lián)系本站管理者停止使用，并索要賠償或上訴法院的，均視為新型網(wǎng)絡(luò)碰瓷及敲詐勒索，將不予任何的法律和經(jīng)濟(jì)賠償！敬請(qǐng)諒解！