新智元報道

編輯：LRS

【新智元導讀】自適應語言模型框架SEAL，布自讓大模型通過生成自己的適應生成微調數據和更新指令來適應新任務。SEAL在少樣本學習和知識整合任務上表現優異，語言遠超顯著提升了模型的模型適應性和性能，為大模型的新任自主學習和優化提供了新的思路。

經過海量文本預訓練后的布自大模型，已經能夠很好地理解語言，適應生成并根據要求來生成文本。語言遠超

不過，模型在部署大模型應用于特定任務、新任整合新信息或學習新的布自推理技能時，仍然需要人工標注數據對模型權重進行微調。適應生成

大模型是語言遠超否可以通過「自己生成訓練數據和學習方法」來實現對新任務的自適應？

麻省理工學院的研究人員提出了一個全新的自適應語言模型（Self-Adapting LLMs，簡稱SEAL）的模型框架，可以讓大模型通過生成自己的新任微調數據和更新指令來實現自適應。

論文鏈接：https://arxiv.org/pdf/2506.10943

項目主頁：https://jyopari.github.io/posts/seal

與以往依賴獨立適應模塊或輔助網絡的方法不同，SEAL直接利用模型自身的生成能力來參數化和控制其自我適應過程。

當模型接收到新的輸入時，會生成一個「自編輯」（self-edit）——即自然語言指令，用于指定數據和優化超參數，以更新模型的權重。

通過有監督微調（SFT），自編輯能夠實現持久的權重更新，從而實現長期的適應性。

為了訓練模型生成有效的自編輯，研究人員采用強化學習循環，以「更新后模型在下游任務中的表現」作為獎勵信號。

在嘗試「將新的事實性知識整合到LLM」的實驗上，研究人員使用SEAL模型生成的合成數據進行微調。

相比與直接在原始文本上微調不同，經過強化學習訓練后，使用SEAL生成的合成數據進行微調，將SQuAD無上下文版本的問題回答準確率從33.5%提高到47.0%，甚至超過了GPT-4.1生成的合成數據。

研究人員還在ARC-AGI基準測試的簡化子集上對SEAL進行了少樣本學習評估，模型需要利用一組工具自主選擇合成數據增強和優化超參數（例如學習率、訓練周期、對特定token類型的損失計算）。

實驗表明，使用SEAL自動選擇和配置這些工具，比標準的上下文學習（ICL）和沒有強化學習訓練的自編輯表現更好。

自適應大模型

自適應大模型（SEAL）可以幫助語言模型更好地適應特定任務。

假設語言模型的參數為θ，C是與任務相關的上下文信息，τ是用于評估模型適應性的下游任務，SEAL會針對每個任務實例（C, τ）進行操作。

在知識整合任務中，C是需要整合到模型內部知識中的段落，τ是關于該段落的問題和答案；

在少樣本學習任務中，C是新任務的少量示例，τ是查詢輸入和真實輸出。

給定上下文C后，模型會生成一個自編輯（SE），通過有監督微調的方式來更新自己的參數。

研究人員使用強化學習來優化自編輯生成的過程：模型生成SE作為動作，根據生成SE后模型在τ上的表現獲得獎勵，并根據獎勵更新策略，以最大化預期獎勵。

獎勵與模型參數θ有關，所以強化學習的狀態為上下文C和參數θ

由于模型參數會不斷更新，之前版本模型收集的（狀態，動作，獎勵）三元組可能不再適用于當前模型。

因此，研究人員采用「在線策略」方法，即從當前模型中采樣自編輯，并基于當前模型計算獎勵。

相比其他策略方法，ReSTEM采用的「拒絕采樣+有監督微調」，可以讓訓練過程更穩定。

ReSTEM的過程為：首先從當前模型策略中采樣一些候選輸出（即自編輯），然后只對那些獲得正獎勵的樣本進行監督微調，以此來強化模型的策略。

實驗結果

少樣本學習

研究人員使用了一個沒有經過針對ARC（抽象和推理語料，Abstract and Reasoning Corpus）預訓練的小型開源模型Llama-3.2-1B-Instruct進行實驗。

由于大多數ARC任務對于未經過ARC預訓練的模型來說難度較大，研究人員從ARC訓練集中篩選出11個任務，從評估集中篩選出8個任務，確保這些任務在最優TTT（測試時訓練，test-time training）配置下可以被基礎的Llama-3.2-1B-Instruct模型解決。

在訓練過程中，研究人員使用ReSTEM方法，通過為每個訓練任務采樣15個自編輯來訓練模型。

每個自編輯分別應用于生成15個更新后的模型，然后在對應的測試樣本上進行評估，只保留那些「經過適應后能夠為測試輸入生成正確輸出」的模型。

評估指標為成功率：為每個保留的評估任務生成5個自編輯并評估模型，然后統計能夠產生正確輸出的自編輯的百分比，可以反映出所學自編輯生成策略的質量。

對比基線方法包括上下文學習（ICL）、TTT+自編輯（無強化學習）和Oracle TTT（性能上限）。

與基線方法相比，SEAL顯著提高了適應成功率（72.5%），而未經強化學習訓練的基礎模型的自編輯成功率僅為20%，不進行任何適應的成功率為0%

知識整合（Knowledge Incorporation）

研究人員使用Qwen2.5-7B模型，從SQuAD（斯坦福問答數據集）的段落中整合新的事實內容。

對比基線包括基礎模型（直接在問答任務上評估，Base Model）、僅在段落上微調模型（Train on Passage）、在段落和自動生成的推論上訓練模型（Train on Passage + Synthetic）、在段落和通過OpenAI API從GPT-4.1收集的模型生成推論上訓練。

在單段落設置下，僅在段落上微調的模型相比基礎模型幾乎沒有提升（33.5% vs. 32.7%），表明僅使用原始數據是不夠的。

使用GPT-4.1生成的推論可以將準確率提升到46.3%，比僅使用段落的基線提高了12.8個百分點。

使用Qwen2.5-7B模型生成的合成數據可以達到39.7%，提高了6.2個百分點。

經過強化學習后，SEAL進一步將準確率提升到47.0%，盡管模型規模較小，但表現優于使用GPT-4.1生成的合成數據。

在持續預訓練（CPT）設置下，模型從200個段落中整合信息，并在所有974個相關問題上進行評估。研究人員為每個段落采樣5個自編輯生成內容，并將這些合成數據用于持續預訓練。

結果顯示，SEAL在多段落設置下也優于所有基線方法，準確率達到43.8%。

雖然絕對性能低于單段落設置，但相對提升效果保持一致，這表明SEAL發現的編輯策略不僅適用于單個段落的合成數據生成，還能推廣到更廣泛的場景。

僅需兩次迭代，SEAL就超過了使用GPT-4.1數據的效果，后續迭代的提升效果逐漸減弱，表明策略迅速收斂到一種能夠「將段落提煉為易于學習的基本事實」的編輯風格。

從例子中，可以看到強化學習可以促使生成更詳細的自編輯內容，而這些更詳細的編輯又反過來提升了整體性能。

參考資料：

https://arxiv.org/abs/2506.10943

特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.