【
智慧城市網 企業關注】大模型時代,數據決定人工智能的高度,更多的訓練數據是大模型迭代升級的前提,更高的數據質量也決定著大模型訓練的效果。當前,大模型技術全面推動底層基礎設施的發展,算力需求不斷攀升,海量數據的存儲和處理需求不斷增長,對人工智能存儲的性能、擴展性、數據韌性、數據范式等都提出更高要求。
為充分發揮新型AI存儲對大模型賦能作用,更好支撐大模型發展,推動大模型應用落地,中國信息通信研究院(簡稱“中國信通院”)人工智能研究所特編制《新型人工智能存儲研究報告(2025年)》。2025年4月9日,在中國人工智能產業發展聯盟第十四次全會上,中國信通院人工智能研究所發布此報告,中國信通院人工智能研究所平臺與工程化部主任曹峰對報告進行了解讀。
報告重點對新型人工智能存儲的概念范圍、面臨挑戰、關鍵技術和最佳實踐進行了梳理和分析。概念范圍上,梳理了新型人工智能存儲的基本概念,分析了全球人工智能存儲戰略和人工智能存儲現狀。面臨挑戰上,點明了新型人工智能存儲是發力大模型的基礎,但同時在海量數據歸集、訓練數據訪問效率、推理實時性等方面存在諸多挑戰。關鍵技術上,闡明了新型人工智能存儲需要從存儲介質、架構、系統、管理、編織和安全等方面發力。最佳實踐上,介紹了銀行、運營商、AI企業等在新型人工智能存儲的實踐案例。最后,報告針對當前人工智能存儲發展的挑戰,提出了未來我國新型人工智能存儲發展建議。
報告核心觀點
1. 新型AI存儲是指專為人工智能應用和服務設計的數據存儲系統,具備超高性能、超大容量、極致安全、數據編織等特征,可以有效支撐海量數據的分析和學習,是AI基礎架構不可或缺的組成部分。
2. 新型人工智能存儲具備極致性能、數據安全、大模型數據范式、高擴展性、數據編織和綠色節能6大關鍵特征。極致性能密度加快數據供給,提升AI全流程效率;支持向量、KV Cache等數據范式,加速推理應用;AI存儲高可靠性提升基礎設施持續服務時間,防勒索和加密保障數據安全;高擴展的AI數據湖降低數據工程和應用對接難度;數據編織實現全局數據可視可管,通過數據版本和血緣管理,保障數據質量不被破壞;綠色AI存儲,降低每TB數據能耗和占用空間。
新型AI存儲特征
3. 長記憶存儲范式為推理提質增效。長記憶存儲通過多級KV Cache機制,降低大模型推理的內存占用和計算開銷。它以分級方式實現“終身記憶”能力,支持長序列推理和動態上下文建模。例如,在醫療領域,長記憶存儲可緩存病理圖像的歷史計算結果,減少大部分冗余計算,提升推理速度數倍,同時支持多模態數據協同,增強模型對復雜場景的適應性。
4. 數據編織加強數據跨域高效處理。數據編織通過構建統一數據視圖,打破數據孤島,實現跨域數據整合與高效流動。其技術包括數據版本管理、數據血緣管理和統一命名空間,確保數據質量不下降,并通過兼容多種存儲協議實現AI全流程業務的無縫對接。例如,在AI企業實踐中,全局文件系統支持數據零拷貝和端到端加速,跨域調度效率提升數倍,顯著降低數據治理成本,滿足大模型對場景化數據治理的需求。
5. 超節點存儲架構持續支撐擴展法則。超節點存儲架構通過全對等、全直通設計,實現存儲與計算之間高并行數據直通。例如,通過高通量數據總線互聯,統一內存語義訪問數據,實現計算、存儲資源解耦靈活調度,資源利用率最大化;通過近存計算將數據預處理功能下沉至存儲層,減少數據搬運開銷,支撐十萬卡級算力集群擴展,滿足大模型對高擴展性和高并行數據流轉的需求。
6. 高性能并行文件系統以存強算。高性能并行文件系統通過高性能、高可靠、高擴展和加速卡直通存儲技術特性,提升大模型訓練推理效率。其四大能力包括:百PB/s級帶寬和億級IOPS能力支持超萬卡集群無瓶頸擴展;EB級擴展能力適應海量數據;存儲系統高可用性達到六個九,實現軟硬件故障的自動切換;加速卡直通技術實現數據從存儲到GPU的“一跳直達”。
版權與免責聲明:
凡本網注明“來源:智慧城市網”的所有作品,均為浙江興旺寶明通網絡有限公司-智慧城市網合法擁有版權或有權使用的作品,未經本網授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的,應在授權范圍內使用,并注明“來源:智慧城市網”。違反上述聲明者,本網將追究其相關法律責任。
本網轉載并注明自其它來源(非智慧城市網)的作品,目的在于傳遞更多信息,并不代表本網贊同其觀點或和對其真實性負責,不承擔此類作品侵權行為的直接責任及連帶責任。其他媒體、網站或個人從本網轉載時,必須保留本網注明的作品第一來源,并自負版權等法律責任。
如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。