當大模型的演進速度開始變慢，也就意味著眾多與之相關(guān)聯(lián)的新技術(shù)棧到了產(chǎn)品化的階段，而不是小修小補式的試驗。
行業(yè)內(nèi)外都關(guān)注到了大模型的計算需求，但是存儲需求沒有得到應有的重視，目前傳統(tǒng)陣列在GPU集群前已經(jīng)淪為性能瓶頸和擴展性瓶頸，行業(yè)共同的認知是，這一次存儲行業(yè)面臨的是不是漸進式升級，而是架構(gòu)級的徹底重構(gòu)。
從大模型訓練對帶寬與并發(fā)的極限壓榨，到推理階段多模態(tài)數(shù)據(jù)的孤島困局，從企業(yè)不愿示人的核心數(shù)據(jù)安全焦慮，到舊架構(gòu)在GPU+全閃存時代下的“硬件不適配癥”，傳統(tǒng)存儲的短板正在被AI放大。
在海外市場，AI存儲賽道也有獨角獸估值狂飆，以“統(tǒng)一存儲層+AI原生接口”的打法已得到市場認可，中國存儲廠商ExponTech也發(fā)布了自研的WADP平臺主打一套架構(gòu)統(tǒng)管生產(chǎn)與AI數(shù)據(jù)流。
ExponTech創(chuàng)始人曹羽中表示，在傳統(tǒng)信息化時代，雖然出現(xiàn)了諸多存儲新技術(shù)，但這些技術(shù)都未從根本上改變市場格局，傳統(tǒng)存儲列依舊是主導方案，企業(yè)的投資也仍然集中在這個領(lǐng)域。不過隨著 AI 時代的到來，存儲領(lǐng)域?qū)瓉碇卮笞兏?，類似計算領(lǐng)域從 CPU 中心向 GPU 中心的轉(zhuǎn)型。
具體來說，存儲需求會呈現(xiàn)出以下四大核心變化。第一，由大模型訓練驅(qū)動的超高性能需求，大模型訓練對存儲系統(tǒng)提出了極致要求，它需要存儲系統(tǒng)提供超高帶寬與高并發(fā)能力，以此來支撐多卡并行訓練。只有存儲性能充分釋放，才能夠確保 GPU 卡利用率達到最大化。
第二，推理時代的效率優(yōu)化。未來全球具備大模型訓練能力的企業(yè)會極為有限，絕大多數(shù)企業(yè)會通過應用大模型來實現(xiàn)業(yè)務(wù)革新，也就是進入推理階段。這個階段的核心在于優(yōu)化推理效率，其本質(zhì)是解決計算資源與存儲資源的協(xié)同問題。
一方面是多模態(tài)數(shù)據(jù)的統(tǒng)一管理，當前企業(yè)的數(shù)據(jù)大多呈碎片化狀態(tài)，是因為傳統(tǒng)存儲設(shè)計遵循“業(yè)務(wù)系統(tǒng)導向”原則。而在 AI 時代，需要構(gòu)建統(tǒng)一存儲底座，實現(xiàn)全量數(shù)據(jù)的融合管理與高效調(diào)用，避免進行跨孤島數(shù)據(jù)遷移。
另一方面是記憶持久化與以存代算。傳統(tǒng)的推理采用暴力計算模式，每次處理提示詞時都需要重新計算，這會導致算力浪費，通過存儲系統(tǒng)緩存中間結(jié)果可以減少重復運算。此外，還需要增強 AI 模型的記憶能力，當前無狀態(tài)設(shè)計僅能保留短暫會話記憶，而利用存儲技術(shù)可以增強模型長期記憶功能，并且讓模型結(jié)合企業(yè)數(shù)據(jù)來解決業(yè)務(wù)問題。
第三，數(shù)據(jù)可控與安全。沒有企業(yè)愿意把核心數(shù)據(jù)喂給公共大模型，而且受限于數(shù)據(jù)隱私要求，這些數(shù)據(jù)也難以直接遷移至公有云。所以，構(gòu)建數(shù)據(jù)中心級統(tǒng)一數(shù)據(jù)層并實施細粒度權(quán)限管控就成為了必然的選擇。
第四，傳統(tǒng)架構(gòu)的局限性。傳統(tǒng)存儲陣列存在根本性的缺陷，一是孤島式設(shè)計，它針對不同業(yè)務(wù)特征定制獨立的存儲系統(tǒng)及接口；二是存儲軟件架構(gòu)老化對新一代硬件適配不足，它難以有效支持 GPU + 全閃存 + RDMA 網(wǎng)絡(luò)等新硬件環(huán)境；三是漸進式優(yōu)化局限，有廠商通過在傳統(tǒng)存儲上新增加功能和接口來應對AI場景需求，這屬于打補丁式的局部優(yōu)化，而不是系統(tǒng)性解決方案。
曹羽中表示，理想的 AI 時代存儲系統(tǒng)應該具備以下特點：
如前文所述，AI在存儲層面的需求商業(yè)化前景已經(jīng)被印證——美國一家AI Infra企業(yè)，成立僅9年估值超過300億美金，ARR收入約10億美金，F(xiàn)ortune 100客戶已覆蓋25%。其優(yōu)勢是統(tǒng)一且面向AI時代的存儲設(shè)計，已經(jīng)建立了成熟的解決方案。
扁平化架構(gòu)采用單一統(tǒng)一存儲層，通過多接口適配不同業(yè)務(wù)需求，避免了分層存儲和多套不同類型的存儲的復雜管理；一站式解決方案，無需跨系統(tǒng)遷移數(shù)據(jù)；AI 場景專用接口，支持文件/對象/塊存儲外的 KV、向量等新型接口；數(shù)據(jù)閉環(huán)，在統(tǒng)一平臺內(nèi)完成從訓練到推理的全流程。
海外大模型和AI Infra在前，中國大模型和AI Infra緊隨其后，技術(shù)發(fā)展脈絡(luò)天然具有相似性。近日，ExponTech也正式發(fā)布了新一代統(tǒng)一AI數(shù)據(jù)平臺WADP（WiDE AI Data Platform）。WADP旨在解決企業(yè)AI應用的核心痛點——高效融合存儲與管理海量多源數(shù)據(jù)，實現(xiàn)AI算力與數(shù)據(jù)存力的無縫協(xié)同。
ExponTech WADP基于全自研的分布式存儲引擎與分布式KV元數(shù)據(jù)引擎構(gòu)建，運行于標準服務(wù)器硬件，也可以廣泛適配各類通用硬件。它首次將企業(yè)核心生產(chǎn)系統(tǒng)（如關(guān)鍵數(shù)據(jù)庫）與AI數(shù)據(jù)管道（訓練、推理、向量檢索等）統(tǒng)一承載于同一平臺，實現(xiàn)對傳統(tǒng)存儲陣列、文件系統(tǒng)及大數(shù)據(jù)存儲的現(xiàn)代化融合替代，為企業(yè)構(gòu)建面向未來的AI數(shù)據(jù)基礎(chǔ)設(shè)施。
目前，基于統(tǒng)一存儲架構(gòu)的AI數(shù)據(jù)基礎(chǔ)設(shè)施這一趨勢已在美國市場得到了廣泛驗證，華瑞指數(shù)云WADP的技術(shù)路徑和產(chǎn)品實現(xiàn)和國際市場AI 基礎(chǔ)設(shè)施的技術(shù)趨勢不謀而合。
據(jù)悉，ExponTech堅持核心代碼全棧自研，不依賴國外開源技術(shù)，其新一代分布式存儲引擎與元數(shù)據(jù)引擎成功突破萬億級文件管理、千萬級IOPS與微秒級延遲等技術(shù)高峰，其WADP存儲軟件2023年在面向企業(yè)核心業(yè)務(wù)場景，被譽為“存儲奧林匹克競賽”的SPC-1評測中打破世界紀錄，實現(xiàn)分布式存儲軟件打破高端存儲陣列在企業(yè)核心業(yè)務(wù)場景壟斷地位的創(chuàng)舉；在2025年，WADP在面向AI場景的MLPerf Storage v2.0評測中取得優(yōu)異成果，充分驗證了使用同一套分布式存儲軟件構(gòu)建Universal Storage的技術(shù)可行性，為應對AI時代海量數(shù)據(jù)挑戰(zhàn)奠定了基礎(chǔ)。（本文首發(fā)于鈦媒體APP，作者 | 張帥，編輯 | 蓋虹達）
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論