隨著全球人口老齡化的加劇，以阿爾茨海默病為代表的認知癥被認為是二十一世紀最大的健康危機之一。近期，微軟亞洲研究院與上海市精神衛(wèi)生中心展開聯(lián)合研究，借助微軟 Azure OpenAI 服務中的多模態(tài)大模型以及智能代理(AI agent)技術，開發(fā)了個性化認知訓練框架“憶我”(ReMe)，擴展了自動化認知訓練的訓練范圍，為數(shù)字化認知訓練提供了新方法，有望幫助延緩認知下降。這項創(chuàng)新工具將助力推進認知訓練研究，為各類認知障礙，包括輕度認知障礙的早期預防和非藥物干預提供新的方法。

　　多模態(tài)大模型帶來更全面的認知訓練方法

　　認知癥，也稱認知障礙，是一類影響思維、記憶、注意力、理解、判斷力和語言等認知功能的疾病，包括阿爾茨海默病、帕金森病、路易體癡呆、腦血管性認知障礙等。認知癥的發(fā)展是一個漸進且不可逆的過程，雖然目前臨床上還沒有完全能夠治愈該疾病的藥物，但及早診斷和提前干預有助于延緩認知功能的衰退，而認知訓練已被證實是緩解病程進展的有效手段。

　　伴隨多模態(tài)大模型的不斷發(fā)展，其新能力也在不斷涌現(xiàn)，如提供即時的多模態(tài)分析、實現(xiàn)基于世界知識的開放式問答、提供充滿情感的語音交互、整合處理多種感知數(shù)據(jù)等。微軟亞洲研究院的研究員們由此提出了一個設想：多模態(tài)大模型或許能在認知訓練方面發(fā)揮重要作用。

　　帶著這一想法和諸多疑問，微軟亞洲研究院與上海市精神衛(wèi)生中心展開了深入探討與合作。上海市精神衛(wèi)生中心(俗稱“600號”)系上海交通大學醫(yī)學院附屬醫(yī)院，有著雄厚的技術實力和豐富的臨床經驗。開發(fā)個性化認知訓練框架“憶我”主要與老年精神科團隊合作，該科室作為上海交通大學阿爾茨海默病診治中心，是全國最早從事阿爾茨海默研究的科室，2022年被評為國家核心高級認知障礙診療中心(全國唯一獲批精神?？漆t(yī)院)，并獲得“全國優(yōu)秀記憶門診”、“記憶門診培訓基地”稱號。圍繞阿爾茨海默病發(fā)病機制這一課題，該科室展開了卓有成效的工作，形成了一定的研究特色。團隊對于認知障礙的診治，倡導“從不太早，永不言遲”，并創(chuàng)新地提出“老年認知障礙防治上海防治模式”，希望為健康老齡提供切實有用的幫助。

　　通過與中心專家的交流，研究員們了解到，當前臨床上的認知訓練主要依靠照護者或治療師自行開展，或使用軟件驅動的數(shù)字療法開展。前者依賴大量人力，成本高昂，給照護者帶來了沉重的負擔;后者則往往類似于標準化考試，缺乏靈活性，患者僅能解答預設的謎題，與提高認知所需的記憶訓練相去甚遠。此外，現(xiàn)有的數(shù)字療法在軟件應用的便捷性、互動性和直觀性方面也存在一定不足，影響了患者的依從性(病人按照醫(yī)生規(guī)定進行治療的行為)。就認知障礙患者而言，持之以恒的訓練對于緩解癥狀至關重要。

　　上海市精神衛(wèi)生中心老年科副主任醫(yī)師岳玲指出：“認知障礙影響的記憶類型多樣，包括工作記憶、情景記憶和語義記憶等，但現(xiàn)有訓練任務的設計較為單一，限制了訓練內容的廣度，很多老人也曾反映游戲內容‘枯燥’、‘沒意思’。在多模態(tài)大模型出現(xiàn)之前，軟件驅動的認知訓練主要集中于工作記憶訓練，而對于與患者日常生活密切相關的情景記憶和語義記憶訓練則鮮有涉及。特別是對于阿爾茨海默病患者，最早受損的往往是與自我相關的記憶。多模態(tài)大模型的智能化和個性化特點，為認知訓練提供了新的可能性，使其更貼近日常生活?！?/p>

　　漲知識：

　　工作記憶：指進行臨時信息處理的能力，如心算或復述新聞內容。當這部分記憶受損時，患者可能在對話中忘記早先提及的信息。

　　情景記憶：涉及自我的記憶，例如記得早餐吃了什么，到過某地或與某人的對話內容等。

　　語義記憶：也稱為知識記憶，涵蓋廣泛的事實性知識，例如知道法國的首都是巴黎。

　　基于微軟Azure OpenAI服務，讓認知訓練既通用又個性化

　　綜合上海市精神衛(wèi)生中心專家的建議與患者的需求，微軟亞洲研究院的研究員們從易用性、界面友好性、功能專業(yè)性和入門難易度等多個維度出發(fā)，開發(fā)了個性化認知訓練框架“憶我”(ReMe)。該工具以微軟 Azure OpenAI 服務為基礎模型，具備即時交互響應功能，支持文字、圖像、語音等多種模態(tài)的輸入輸出，以對話機器人的形式為用戶提供全新的認知訓練體驗。

　　“憶我”應用界面

　　“將多模態(tài)大模型的通用能力與專業(yè)知識相結合，應用到認知訓練領域，打造一個專業(yè)的領域智能體，是我們面臨的一個挑戰(zhàn)?！蔽④泚喼扪芯吭焊呒壯芯繂T王子龍表示，“此前，我們已經開展了一系列研究，探索如何通過思維鏈(Chain of Thoughts)、檢索增強生成(Retrieval Augmented Generation, RAG)等技術，使多模態(tài)大模型能夠更好地整合專有領域知識，從而優(yōu)化智能代理的行為邏輯和性能。這些研究確保了智能代理能夠使用更新和更全面的領域知識，保持其在特定領域中發(fā)揮最前沿的能力，更好地進行交互和訓練任務?！?/p>

　　從使用流程和功能來看，個性化認知訓練框架“憶我”首先通過手機或可穿戴設備上傳個人記憶內容，隨后采用更貼近生活的方式，進行個體化的情景記憶或世界知識的開放性記憶訓練。研究員們還提供了一個訓練框架，讓該領域的醫(yī)生等研究者可以利用內置的認知游戲模板快速創(chuàng)建個性化的訓練游戲。除此之外，該工具還包括交互式的評估，以便追蹤患者的認知水平，并根據(jù)需要調整訓練任務。

　　不僅如此，微軟亞洲研究院與上海市精神衛(wèi)生中心還在不斷向該訓練框架擴展更多訓練功能和任務，除了開放性的和個體化的訓練任務外，通過語音對話的自然交互體驗，也兼容并實現(xiàn)已被驗證有效的成熟認知訓練任務。例如鍛煉思維靈活性的顏色識別、鍛煉工作記憶的數(shù)學運算等。同時，微軟亞洲研究院也在嘗試基于傳感器技術，通過可穿戴設備以機會感知(opportunistic sensing)的方式記錄日常生活中的重要節(jié)點和事件，促進更便捷的個性化個人記憶訓練。

　　推進臨床證據(jù)獲得，釋放人工智能在醫(yī)療領域的更大價值

　　“在此次合作中，微軟亞洲研究院所展現(xiàn)出的開放合作精神、專業(yè)技術實力和快速創(chuàng)新能力，給我們留下了深刻的印象。這些特質對于推動技術在醫(yī)療健康領域的應用至關重要。接下來，上海市精神衛(wèi)生中心計劃以此框架為基礎，設計認知訓練的新方法，開展一系列嚴謹?shù)呐R床實驗，驗證這種個性化認知訓練框架的有效性，以獲得更多的臨床證據(jù)?！痹懒後t(yī)生表示。

　　隨著證據(jù)的逐步積累，微軟亞洲研究院將持續(xù)對個性化認知訓練框架“憶我”進行改進和迭代，期望該工具能夠逐漸擴展應用范圍，最終能夠在社區(qū)和家庭環(huán)境中幫助提升認知障礙患者的健康水平，減輕看護人員和家屬的負擔。

　　除了認知訓練，基于多模態(tài)大模型的代理干預技術未來有望應用于更廣泛的領域，例如情緒調節(jié)、習慣改善以及孤獨癥等輔助干預。微軟亞洲研究院副院長邱鋰力博士表示，微軟亞洲研究院將繼續(xù)通過研究與創(chuàng)新，推動人工智能技術在臨床決策、疾病預測、藥物發(fā)現(xiàn)等醫(yī)療健康領域的應用，進而幫助醫(yī)療機構提高醫(yī)療服務的質量和效率，為患者帶來更精準、更個性化的治療方案。

　　注：本文所述的微軟亞洲研究院在醫(yī)療健康領域的研究均為科研探索性質，且均在專業(yè)醫(yī)療和醫(yī)學研究機構的合作指導下進行，旨在推動科學進步并為人類未來的醫(yī)療健康應用提供理論和技術支持。所有研究均嚴格遵守微軟負責任的 AI 流程的指導，并遵循公平、包容、可靠性與安全性、透明、隱私與保障、負責的原則。文中所提及的技術和方法目前均處于研究和開發(fā)階段，尚未形成商業(yè)產品或服務，也不構成任何醫(yī)療建議或治療方案。我們鼓勵讀者在面對健康問題時咨詢合格的醫(yī)療專業(yè)人士。