DeepSeek開源周最后一彈:超快的數(shù)據(jù)存儲和訪問方式3FS
2月28日消息,今日,DeepSeek開源周第五天,也是最后一天,亮出的是3FS,一種高性能并行文件系統(tǒng)。
本文引用地址:http://www.ex-cimer.com/article/202502/467432.htm3FS(Fire-Flyer File System)專為充分利用現(xiàn)代固態(tài)硬盤(SSD)和遠程直接內(nèi)存訪問(RDMA)網(wǎng)絡的帶寬而設計,能夠加速對數(shù)據(jù)存儲和訪問。
據(jù)介紹,在180節(jié)點的集群中,3FS能夠提供高達6.6 TiB/s的聚合讀取吞吐量。此外,在25節(jié)點的集群上,3FS通過GraySort基準測試,達到了3.66 TiB/min的吞吐量。
3FS不僅在數(shù)據(jù)吞吐量上表現(xiàn)突出,還在單客戶端節(jié)點的KVCache查詢中,達到了每秒40+ GiB的峰值吞吐量。其去中心化架構和強一致性語義,確保了在各種分布式應用場景中,數(shù)據(jù)的高效訪問和一致性維護。
特別是在V3/R1版本中,3FS支持訓練數(shù)據(jù)預處理、數(shù)據(jù)集加載、檢查點保存與重載、嵌入向量搜索和KVCache查詢等關鍵功能。
評論