蘋果公司近日正式發布了《Apple Intelligence Foundation Language Models Tech Report 2025》技術報告，蘋果這是發布繼去年首次公開其 AI 基礎模型技術細節后的重要更新。而且，基礎揭開e技就在不久前 Meta 剛剛以數千萬美元薪酬挖走了蘋果基礎模型團隊負責人龐若鳴（Ruoming Pang），模型貌這份技術報告很可能是報告龐若鳴在蘋果生涯的最后一份重要成果。

龐若鳴本人也在社交媒體上對這份報告進行了介紹，術全并正式將團隊的蘋果重任交接給了 Zhifeng Chen。

圖丨相關推文（來源：X）

報告詳細介紹了一套雙軌并行的發布模型策略。第一款是基礎揭開e技一個約 30 億參數的端上模型，專為在 iPhone、模型貌iPad 和 Mac 等蘋果設備上高效運行而設計。報告該模型經過深度優化，術全以充分利用蘋果自研芯片的蘋果性能。另一款則是發布在蘋果私有云計算上運行的可擴展服務器模型，用于處理更復雜的基礎揭開e技用戶請求。這種“端云協同”的架構旨在平衡性能、效率和隱私，簡單的任務在本地設備上完成，復雜任務則交由具備同等級別隱私保護的云端服務器處理。

圖丨蘋果基礎模型的框架概覽（來源：Apple）

為了提升端上模型的運行效率，蘋果的工程師們引入了一項名為“鍵值緩存共享”（KV Cache Sharing）的創新架構。具體而言，他們將模型劃分為兩個區塊，其中一個區塊（占模型層數的 37.5%）直接共享另一區塊（占 62.5%）生成的鍵值緩存，從而將緩存所需的內存減少了 37.5%，并顯著縮短了生成第一個詞元 token 的響應時間。

對于服務器端模型，蘋果則開發了一種名為“并行軌道混合專家”（Parallel-Track Mixture-of-Experts, PT-MoE）的全新 Transformer 架構。該架構將一個大型模型分解為多個更小的、被稱為“軌道”（Track）的并行處理單元。每個軌道獨立處理信息，僅在特定節點進行同步，從而大幅減少了傳統大型模型中常見的通信瓶頸，提高了訓練和推理的效率。此外，通過在每個軌道內部署混合專家（MoE）層，該模型能夠更高效地擴展，以低延遲處理復雜任務，同時不犧牲模型質量。

圖丨PT-MoE 架構示意圖（來源：Apple）

在賦予模型理解圖像的多模態能力方面，報告也披露了其視覺編碼器的技術細節。服務器和端上模型分別采用了 ViT-g 和更高效的 ViTDet-L 作為視覺主干網絡。值得一提的是，端上模型還采用了一種新穎的“寄存器-窗口”（Register-Window）機制，使其能夠同時有效捕捉圖像的全局上下文信息和局部精細細節。

在訓練數據方面，蘋果保持了其一貫強調隱私保護的風格，在報告中明確了其數據來源和隱私原則。訓練數據主要來自三方面：從出版商處授權的數據、由蘋果網頁爬蟲 Applebot 抓取的公開網絡信息，以及高質量的合成數據。蘋果特別強調，在訓練過程中絕不使用用戶的私人個人數據或用戶交互信息。

同時，公司遵循 robots.txt 協議，允許網站發布者選擇不讓其內容被用于模型訓練，從源頭上保障了內容所有者的權利和用戶隱私。報告顯示，蘋果處理了超過 100 億對高質量的圖文對和 50 億對合成圖像標題數據，并通過先進的流水線進行過濾和提純，以確保訓練數據的質量。

圖丨蘋果的分布式異步強化學習基礎設施（來源：Apple）

為了讓這些模型能在實際設備上高效運行，蘋果采用了積極的優化策略。端上模型通過“量化感知訓練”（Quantization-Aware Training, QAT）技術，將模型權重壓縮至每權重 2 比特。服務器模型則利用了一種名為“自適應可擴展紋理壓縮”（Adaptive Scalable Texture Compression, ASTC）的技術，該技術利用了蘋果 GPU 中已有的硬件解壓模塊，能夠以幾乎零計算成本的方式對模型權重進行解壓，最終將模型壓縮至每權重約 3.56 比特。對于壓縮過程中可能出現的性能損失，蘋果則通過訓練低秩適配器（Low-Rank Adaptation, LoRA）來進行補償和恢復。

性能評估的結果顯示，在 MMLU 等標準測試中，蘋果的端上模型表現優于或持平于 Qwen-2.5-3B、Gemma-3-4B 等同規模的開源模型。

（來源：Apple）

服務器模型則在與 LLaMA 4 Scout 的對比中表現出色，但與 Qwen-3-235B 和 GPT-4o 等更大規模的模型相比仍有差距。在與人類評分員進行的并排比較中，蘋果的模型在多個語言區域和任務中的表現都較為突出。

圖丨蘋果基礎模型在文本上的人類評估（來源：Apple）

最后，蘋果還為開發者推出了全新的“基礎模型框架”（Foundation Models framework），允許開發者直接調用設備上的 30 億參數模型。該框架與 Swift 語言深度集成，通過名為“引導式生成”的功能，開發者可以僅用幾行代碼就讓模型直接生成結構化的 Swift 數據類型，極大地簡化了在應用中集成 AI 功能的過程。蘋果強調，整個框架的設計都貫徹了其負責任 AI 的原則，內置了多重安全護欄，旨在幫助開發者構建既智能又注重隱私保護的下一代應用。

參考資料：

1. https://machinelearning.apple.com/research/apple-foundation-models-tech-report-2025

特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.