7月18日凌晨，OpenAI在官網發(fā)布了最新技術研究——Prover-Verifier-Games。

　　隨著ChatGPT在法律、金融、營銷等領域的廣泛使用，確保模型的安全、準確輸出同時被很好理解變得非常重要。但由于神經網絡的復雜和多變性，我們根本無法驗證其生成內容的準確性，這也就會出現輸出“黑盒”的情況。

　　為了解決這個難題，OpenAI提出了全新訓練框架Prover-Verifier Games(簡稱“PVG”)，例如，用GPT-3這樣的小模型來驗證、監(jiān)督，GPT-4大模型的輸出，從而提升輸出準確率以及可控性。

　　PVG技術概念早在2021年8月的一篇論文中就被提出來，OpenAI也正是受此靈感啟發(fā)。這是一種基于博弈論的訓練方法，通過模擬證明者和驗證者之間的互動，提高模型的輸出質量。

　　在這個機制中，Prover(證明者)的任務就是生成內容，而Verifier(驗證者)的任務就是判斷這些內容是否正確。

　　這樣做的目的是讓驗證者學會如何從大量的內容中識別出正確的答案。在驗證的過程中，證明者和驗證者的角色是相互依賴的。證明者需要生成能夠說服驗證者的內容，而驗證者則需要具備足夠的判斷力來識別出正確的內容。

　　在訓練PVG時，每輪訓練都包括驗證者和證明者的優(yōu)化。在每一輪中，驗證者首先使用監(jiān)督學習來預測內容的正確性，幫助驗證者學會如何從大量的內容中識別出正確的答案。使證明者通過強化學習來優(yōu)化其生成的內容。

　　例如，當用戶提出問題“肖娜的父親的年齡是肖娜的5倍。肖娜目前的年齡是阿莉亞的3倍。如果阿莉亞3歲，肖娜的父親有多大?”GPT-4的輸出為45歲。而驗證者模型GPT-3需要確定阿莉亞的年齡，然后根據阿莉亞的年齡計算出肖娜的年齡，最后再根據肖娜的年齡計算出肖娜父親的年齡，整個過程需要多輪驗證。

　　此外，在訓練過程中，OpenAI還引入了一種名為“可檢查性訓練”(checkability training)的方法。

　　通過交替訓練驗證器和證明者模型，從而驗證使用監(jiān)督學習來預測從之前輪次的證明者中采樣的解決方案的正確性。證明者則使用強化學習，根據當前輪次驗證器的接受度和解決方案的正確性來進行持續(xù)優(yōu)化。

　　研究人員表示，隨著訓練輪次的增加，驗證者的健全性逐漸提升，表現為對狡猾論證者生成的錯誤解決方案的抵抗力增強。同時，有益論證者生成的解決方案也變得更清晰，更易于被人類理解。

　　分不清9.9與9.11誰大?大模型數學能力堪憂

　　大部分大模型都在給出答案的同時呈現了推理過程。智譜清言給出的推理過程顯示，在比較13.11%和13.8%時，13.11%是更大的數值。這是因為當比較兩個百分數時，我們首先比較整數部分，如果它們相同，則比較小數部分。在這里，兩個數的整數部分都是13，但13.11的小數部分(11)大于13.8的小數部分(8)，因此13.11%大于13.8%。

　　從推理過程判斷，可能由于小數點后數位不同，大模型在比較過程中產生了幻覺。經過兩輪提問后，智譜清言給出了正確回答。

　　當把問題換成“9.9與9.11誰大”，零一萬物的萬知大模型等同樣在一開始給出錯誤答案，當記者進一步追問“9.11減9.9等于多少”，甚至有大模型給出“0.21”的答案。

　　萬知的推理過程稍顯混亂：在比較9.9和9.11時，由于整數部分都是9，所以比較小數點后的第一位數字。9.9的小數點后第一位是9，而9.11的小數點后第一位是1。由于9小于10，所以在比較小數點后第二位數字時，9.9的小數點后第二位是0(隱含的)，而9.11的小數點后第二位是1。因此，9.9的小數點后第二位數字(隱含的0)小于9.11的小數點后第二位數字(1)，所以9.9小于9.11。

　　為何會出現有大模型認為13.11大于13.8的情況?ChatGPT給出的回答顯示，出現這種情況的原因可能是由于計算或比較方式的錯誤。可能的誤差原因包括：數值理解錯誤，有時系統(tǒng)可能會誤解數字的小數點位置;字符串比較，如果直接按字符串比較，可能會出現錯誤。因為字符串比較是按字符順序逐一比較的，而不是按數值比較;代碼實現錯誤，在編程中，可能存在比較邏輯或轉換錯誤。

　　文心一言給出的解答則是，訓練數據偏差、輸入處理與理解、模型幻覺、推理能力不足等原因。訓練數據偏差層面，即大模型在訓練過程中，可能接觸到了大量包含數字的數據，但這些數據并不總是以比較大小為目的。例如，數字可能出現在版本號、股票代碼、基金表現、匯率等上下文中，這些場景下的數字大小并不總是具有直接的比較意義。如果訓練數據中存在關于數字比較的偏差或不足，模型可能無法學習到正確的比較規(guī)則。

　　另一方面，可能由于大模型在處理輸入文本時，將數字視為字符序列，而不是具有數值意義的實體。因此，在比較數字大小時，模型可能沒有正確地將其轉換為數值進行比較。另外，模型在處理小數時可能存在困難，特別是當小數位數不同時。模型可能沒有正確地理解小數部分的比較規(guī)則。