【TechWeb】7月9日消息，手英時代全球應(yīng)用交付和API安全解決方案提供商F5宣布F5 BIG-IP Next for Kubernetes推出全新功能，偉達該解決方案深度整合NVIDIA BlueField-3 DPU以及NVIDIA DOCA軟件框架，全面并已通過歐洲客戶Sesterce的增強租戶實際部署驗證。

作為對F5應(yīng)用交付與安全平臺（F5 Application Delivery and 多能力Security Platform）的進一步擴展，BIG-IP Next for Kubernetes現(xiàn)可原生運行于NVIDIA BlueField-3 DPU，安全為大規(guī)模AI基礎(chǔ)設(shè)施提供高性能流量管理與安全防護，手英時代從而顯著提升AI應(yīng)用的偉達運行效率、控制能力與性能表現(xiàn)。全面

借助該聯(lián)合解決方案，增強租戶企業(yè)可將簡單的多能力AI相關(guān)任務(wù)路由至成本更低、更輕量級的安全LLM以支持生成式AI，同時將更復(fù)雜的手英時代查詢留給性能更強大的高階模型處理。該可定制化的偉達智能路由機制還支持按領(lǐng)域調(diào)用特定 LLM，從而提升輸出質(zhì)量并顯著改善客戶體驗。全面F5的先進流量管理技術(shù)可確保查詢精準(zhǔn)分發(fā)至最適合的模型節(jié)點，從而降低延遲并加快首個詞元生成時間。

今年早些時候，NVIDIA推出Dynamo框架，旨在為生成式AI與推理模型在大規(guī)模分布式環(huán)境中的部署提供支撐。通過統(tǒng)一調(diào)度、流量路由和內(nèi)存管理等核心任務(wù)，NVIDIA Dynamo有效簡化了分布式環(huán)境中AI推理的復(fù)雜性，確保其在動態(tài)工作負(fù)載下的穩(wěn)定運行。F5與NVIDIA的聯(lián)合解決方案的核心優(yōu)勢之一，是將部分計算操作從CPU卸載至BlueField DPU，從而顯著提升整體效率。借助F5技術(shù)，Dynamo KV Cache Manager可基于容量智能路由請求，并通過鍵值（KV）緩存機制，顯著加速生成式AI應(yīng)用的響應(yīng)速度。該機制通過復(fù)用歷史運算信息，避免重復(fù)計算，顯著降低資源開銷。就基礎(chǔ)架構(gòu)而言，企業(yè)通過KV緩存存儲與復(fù)用機制，相比直接占用GPU昂貴的內(nèi)存資源，能以更低成本實現(xiàn)性能優(yōu)化。

另外，通過在MCP服務(wù)器前端部署F5與NVIDIA聯(lián)合解決方案，F(xiàn)5可充當(dāng)反向代理，從而增強MCP解決方案及其所支持LLM的安全能力。同時，F(xiàn)5 iRules提供的全數(shù)據(jù)可編程能力，能夠快速并靈活地響應(yīng)AI協(xié)議的快速演進需求，并進一步抵御新興網(wǎng)絡(luò)安全風(fēng)險。

新浪科技公眾號

“掌”握科技鮮聞 （微信搜索techsina或掃描左側(cè)二維碼關(guān)注）

相關(guān)新聞