還記得安德烈·卡帕西（Andrej Karpathy）在上個月帶火的中美上下文工程嗎？他曾盛贊上下文工程“是一門精心設(shè)計、科學(xué)填充上下文窗口的澳位精密藝術(shù)。”

（來源：X）

時隔不到一個月，科學(xué)上下文工程更是家定揭示被一眾科學(xué)家正式定義為一門學(xué)科。日前，新學(xué)科型存性來自中美澳累計 6 家高校科研機構(gòu)的時代 15 名研究人員，通過分析 1400 多篇研究論文，大模對首次將上下文工程作為一門正式學(xué)科加以全面探討，根本并指出它能夠系統(tǒng)性地設(shè)計、中美優(yōu)化和管理大模型的澳位信息有效載荷。

（來源：https://arxiv.org/pdf/2507.13334）

論文作者們分別來自中國科學(xué)院計算技術(shù)研究所、科學(xué)美國加利福尼亞大學(xué)默塞德分校、家定揭示澳大利亞昆士蘭大學(xué)、新學(xué)科型存性北京大學(xué)、時代清華大學(xué)和中國科學(xué)院大學(xué)。大模對論文中，研究人員將上下文工程確立為開發(fā)復(fù)雜 AI 系統(tǒng)的關(guān)鍵基礎(chǔ)，并指出這類復(fù)雜 AI 系統(tǒng)的特征在于能夠有效整合外部知識、維持持久記憶，以及能與復(fù)雜環(huán)境進行動態(tài)交互。

本次研究的主要貢獻在于提出了一個統(tǒng)一的分類框架，該框架將上下文工程技術(shù)分為基礎(chǔ)組件和系統(tǒng)實現(xiàn)方法兩大塊。通過這一系統(tǒng)性的研究，他們得出了以下關(guān)鍵見解。

• 第一，盡管大模型在理解復(fù)雜語境上有著出色表現(xiàn)，但是在生成同樣復(fù)雜的輸出時卻存在局限性，而這兩者之間存在根本性的不對稱，這種理解與生成之間的差距是大模型領(lǐng)域面臨的最關(guān)鍵挑戰(zhàn)之一。
• 第二，本次研究表明多種技術(shù)正在以日益復(fù)雜的方式進行協(xié)同融合，這種集成模式所產(chǎn)生的綜合能力已經(jīng)超越各獨立組件的簡單疊加。研究人員所觀察到一個明顯趨勢是：模塊化和組合性不斷增強，使得架構(gòu)能夠靈活適應(yīng)各種應(yīng)用，同時還能保持系統(tǒng)的一致性。

總的來說，通過系統(tǒng)地分析 1400 多篇論文，本次綜述論文不僅為該領(lǐng)域確立了技術(shù)路線圖，還揭示了一個關(guān)鍵的研究空白：即模型能力之間存在根本性的不對稱。盡管當前模型通過先進的上下文工程得到了增強，在理解復(fù)雜上下文方面也有著出色表現(xiàn)，但在生成同樣復(fù)雜的長篇輸出時卻存在明顯的局限性，而填補這一空白是未來領(lǐng)域內(nèi)的首要任務(wù)。

（來源：https://arxiv.org/pdf/2507.13334）

將上下文工程進行概念化

很多人都知道，大模型的性能和效能從根本上取決于它們所接收的上下文。這種上下文——從簡單的指令提示到復(fù)雜的外部知識庫，是引導(dǎo)其行為、擴充其知識和釋放其能力的主要機制。隨著大模型從基本的“指令遵循系統(tǒng)”演變?yōu)閺?fù)雜應(yīng)用的“核心推理引擎”，設(shè)計和管理其信息載荷的方法也相應(yīng)地演變?yōu)樯舷挛墓こ踢@樣一門正式學(xué)科。

當前，上下文工程領(lǐng)域正以爆炸性的速度擴展，催生了眾多專業(yè)且分散的研究方向。如前所述，研究人員將這一領(lǐng)域進行了概念化，進而指出上下文工程由以下兩個部分組成：基礎(chǔ)組件和系統(tǒng)實現(xiàn)方法。

基礎(chǔ)組件通過三個關(guān)鍵階段構(gòu)成了上下文工程的系統(tǒng)性流程：

1.第一個階段是上下文檢索與生成，包括基于提示的生成和外部知識獲取；

2.第二個階段是上下文處理，這涉及到長序列處理、自我完善機制和結(jié)構(gòu)化信息整合；

3.第三個階段是上下文管理，這涉及到內(nèi)存層次結(jié)構(gòu)、壓縮技術(shù)和優(yōu)化策略。

這些基礎(chǔ)組件催生了更復(fù)雜的面向應(yīng)用的實現(xiàn)方式，進一步地這些實現(xiàn)方式能夠?qū)⒋竽Ｐ团c外部現(xiàn)實聯(lián)系起來。

系統(tǒng)實現(xiàn)方法主要包括：

1.第一種是高級檢索增強生成，該技術(shù)目前已經(jīng)發(fā)展為模塊化、智能體驅(qū)動的架構(gòu)，能被用于動態(tài)知識注入；

2.第二種是模擬人類認知能力以便實現(xiàn)持久信息保留的顯性內(nèi)存系統(tǒng)；

3.第三種工具集成推理，它能將模型從被動的文本生成器轉(zhuǎn)變?yōu)槟軌騽討B(tài)利用工具和操縱環(huán)境的主動世界交互者。這種實現(xiàn)方式使模型能夠通過函數(shù)調(diào)用機制、集成推理框架和復(fù)雜的環(huán)境交互能力，突破其固有的局限性。

4.第四種是基于智能體系統(tǒng)的完整生態(tài)系統(tǒng)，這種技術(shù)代表著目前上下文工程的巔峰技術(shù)，它能讓智能體利用函數(shù)調(diào)用和工具集成推理來與世界進行交互，并能夠通過依賴于復(fù)雜的智能體通信協(xié)議和上下文編排，進而在多智能體配置中實現(xiàn)復(fù)雜目標。

（來源：https://arxiv.org/pdf/2507.13334）

上下文工程的基礎(chǔ)組件、系統(tǒng)實現(xiàn)和評估

研究人員指出，當前大模型領(lǐng)域的碎片化發(fā)展掩蓋了技術(shù)之間的根本聯(lián)系，也給業(yè)內(nèi)人士帶來了研究障礙和使用障礙。因此，該領(lǐng)域迫切需要一個統(tǒng)一的框架來系統(tǒng)性地整合這些技術(shù)，進而闡明其基本原理，以及揭示它們之間的相互依賴關(guān)系。

隨著大模型從簡單的指令遵循系統(tǒng)演變?yōu)閺?fù)雜、多應(yīng)用的核心推理引擎，與之交互的方法也必須隨之發(fā)展。

研究人員認為，提示工程固然很重要，但是已經(jīng)無法全面涵蓋現(xiàn)代 AI 系統(tǒng)所需的信息載荷的設(shè)計、管理和優(yōu)化。關(guān)于此，在本文開頭的 X 貼文截圖中卡帕西也表達了類似觀點。原因在于，這些 AI 系統(tǒng)并非基于單一、靜態(tài)的文本字符串進行操作，它們利用的是動態(tài)、結(jié)構(gòu)化且多方面的信息流。為了彌補這一關(guān)鍵空白，本次綜述論文首次針對大模型的上下文工程進行了全面且系統(tǒng)的回顧，同時引入并規(guī)范了上下文工程這一學(xué)科。

如前所述，上下文工程建立在三個基本組件之上，這些組件能夠共同應(yīng)對大模型中信息管理的核心挑戰(zhàn)：

• 上下文檢索與生成，它通過提示工程、外部知識檢索和動態(tài)上下文組裝來獲取適當?shù)纳舷挛男畔ⅲ?/li>
• 上下文處理，它通過長序列處理、自我優(yōu)化機制和結(jié)構(gòu)化數(shù)據(jù)整合，來針對獲取的信息進行轉(zhuǎn)換和優(yōu)化；
• 上下文管理，它通過解決基本約束、實施復(fù)雜的內(nèi)存層次結(jié)構(gòu)以及開發(fā)壓縮技術(shù)，來處理上下文信息的有效組織和利用。

這些基礎(chǔ)組件為所有上下文工程的實施奠定了理論和實踐基礎(chǔ)，并能形成一個全面的框架。其中，每個組件都能處理上下文工程流程的不同方面，同時各組件之間保持協(xié)同關(guān)系，從而實現(xiàn)全面的上下文優(yōu)化和有效的上下文工程策略。

基于上下文工程的基礎(chǔ)組件，研究人員探討了復(fù)雜的系統(tǒng)實現(xiàn)方式，這些實現(xiàn)方式可以將上述組件整合到實用的智能架構(gòu)中，同時這些實現(xiàn)代表了從理論框架到可部署系統(tǒng)的演進。

如前所述，研究人員提出了四類系統(tǒng)實現(xiàn)方式：

• 第一類實現(xiàn)方式是檢索增強生成系統(tǒng)，它通過模塊化架構(gòu)和圖增強方法實現(xiàn)外部知識的整合。
• 第二類實現(xiàn)方式是內(nèi)存系統(tǒng)，它通過復(fù)雜的內(nèi)存架構(gòu)展示了持續(xù)的上下文管理，從而能夠支持長期學(xué)習(xí)。
• 第三類實現(xiàn)方式是工具集成推理，它通過函數(shù)調(diào)用和環(huán)境交互，將語言模型轉(zhuǎn)化為能夠與世界交互的實體。
• 第四類實現(xiàn)方式是多智能體系統(tǒng)，它通過通信協(xié)議和編排機制呈現(xiàn)出協(xié)調(diào)一致的方法。

以上四類實現(xiàn)方式中的每一個都基于基礎(chǔ)組件構(gòu)建，同時解決了上下文利用中的特定挑戰(zhàn)，展示了理論原則轉(zhuǎn)化為實際系統(tǒng)的背后原理。

（來源：https://arxiv.org/pdf/2507.13334）

“AI 模型的性能本質(zhì)上取決于上下文信息”

研究人員指出，當前上下文工程正處于一個關(guān)鍵的轉(zhuǎn)折點，當前這種基礎(chǔ)進展與新興應(yīng)用需求相融合的階段，既創(chuàng)造了前所未有的創(chuàng)新機遇，也暴露出了一些必須在多個維度開展持續(xù)研究才能解決的根本性挑戰(zhàn)。

隨著該領(lǐng)域逐漸從孤立的組件開發(fā)向集成系統(tǒng)架構(gòu)過渡，一些研究難題的復(fù)雜性也會呈現(xiàn)指數(shù)級的增長，因此需要采用跨學(xué)科的方法，將理論計算機科學(xué)、實用系統(tǒng)工程和特定領(lǐng)域?qū)I(yè)知識結(jié)合起來。

基于此，研究人員通過本次論文為 AI 從業(yè)者提供了一個統(tǒng)一的框架。與此同時，研究人員通過本次研究所發(fā)現(xiàn)的大模型評估挑戰(zhàn)，凸顯了該領(lǐng)域?qū)τ谌嬖u估框架的需求，這類全面評估框架需要能夠捕捉上下文工程系統(tǒng)所展現(xiàn)出的復(fù)雜、動態(tài)的行為。因此，傳統(tǒng)評估方法對于多組件集成、具有自適應(yīng)行為且長期持續(xù)運行的大模型來說已經(jīng)顯得力不從心。但在這之中也蘊含著一些重大機遇，比如未來人們可以開發(fā)用于高效長上下文處理的下一代架構(gòu)、構(gòu)建智能上下文組裝系統(tǒng)，以及打造多智能體的協(xié)調(diào)機制等。

總的來說，本次綜述論文不僅呈現(xiàn)了該領(lǐng)域的一些現(xiàn)狀，也為未來研究提供了路線圖，并將上下文工程確立為一門獨立學(xué)科，它的獨立性體現(xiàn)在它擁有獨屬于自身的原則、方法和挑戰(zhàn)，能夠推動并支持具有上下文感知能力的AI 模型實現(xiàn)“負責(zé)任”的發(fā)展。

而隨著大模型的不斷發(fā)展，“AI 模型的性能本質(zhì)上取決于上下文信息”的這一關(guān)于上下文工程的核心洞見，仍將在 AI 模型的發(fā)展中占據(jù)關(guān)鍵地位。未來，隨著 AI 模型逐漸朝著復(fù)雜的多組件系統(tǒng)發(fā)展，上下文工程有望在 AI 發(fā)展中扮演日益核心的角色。而上下文工程的跨學(xué)科性質(zhì)，即其涵蓋計算機科學(xué)、認知科學(xué)、語言學(xué)以及特定領(lǐng)域?qū)I(yè)知識的特點，也要求人們必須采取跨領(lǐng)域合作的方法來將 AI 之路走寬走遠。

參考資料：

https://arxiv.org/pdf/2507.13334

https://x.com/karpathy

特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.