深信服統一(yī)存儲EDS 520 版本,是一(yī)款專爲AI大(dà)模型打造的統一(yī)存儲平台,可以實現數據采集、标記、訓練、推理和歸檔的全流程承載。
一(yī)套存儲滿足AI大(dà)模型開發全流程的數據需求
基于NFS+技術優化的存儲系統,通過RDMA技術、多路徑并行訪問以及多級緩存機制,在4K小(xiǎo)文件混合讀寫IOPS和1M大(dà)文件混合讀寫吞吐方面,分(fēn)别達到行業領先水平的1.7 倍和5.7倍,3節點吞吐達到120GB/s,RDMA多路徑帶寬性能比TCP單路徑提升将近50倍,将訓練階段GPU平均利用率從傳統存儲的30%提升至70%。
這樣的設計不僅提高了大(dà)模型處理數據的效率,結合更高的讀寫速度和OPS,讓大(dà)模型在讀取或輸出視頻數據時能達到更快速度;而且增強了系統的靈活性和擴展性,使大(dà)模型應用可以應對各種類型和規模數據的處理需求,讓大(dà)模型訓練可以更高效地管理和存儲數據。
此外(wài),在高性價比上,深信服EDS存儲實現了單TB可用容量成本降低50%,幫助用戶降低了AI模型訓練的總體成本。實現硬件成本降低的同時,還基于深舟數據管理平台對數據的高效壓縮和管理能力,64GB可以承載億級以上規模小(xiǎo)文件的高速讀寫。