<meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>

          新聞中心

          EEPW首頁 > 智能計算 > 業(yè)界動態(tài) > DeepSeek開源周最后一彈:超快的數(shù)據(jù)存儲和訪問方式3FS

          DeepSeek開源周最后一彈:超快的數(shù)據(jù)存儲和訪問方式3FS

          作者: 時間:2025-02-28 來源:網(wǎng)易科技 收藏

          2月28日消息,今日,周第五天,也是最后一天,亮出的是,一種高性能并行文件系統(tǒng)。

          本文引用地址:http://www.ex-cimer.com/article/202502/467432.htm

          無標題.jpg

          (Fire-Flyer File System)專為充分利用現(xiàn)代固態(tài)硬盤(SSD)和遠程直接內(nèi)存訪問(RDMA)網(wǎng)絡的帶寬而設計,能夠加速對和訪問。

          據(jù)介紹,在180節(jié)點的集群中,能夠提供高達6.6 TiB/s的聚合讀取吞吐量。此外,在25節(jié)點的集群上,3FS通過GraySort基準測試,達到了3.66 TiB/min的吞吐量。

          3FS不僅在數(shù)據(jù)吞吐量上表現(xiàn)突出,還在單客戶端節(jié)點的KVCache查詢中,達到了每秒40+ GiB的峰值吞吐量。其去中心化架構和強一致性語義,確保了在各種分布式應用場景中,數(shù)據(jù)的高效訪問和一致性維護。

          特別是在V3/R1版本中,3FS支持訓練數(shù)據(jù)預處理、數(shù)據(jù)集加載、檢查點保存與重載、嵌入向量搜索和KVCache查詢等關鍵功能。



          評論


          相關推薦

          技術專區(qū)

          關閉
          看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();