DeepSeek代码开源第五弹：并行文件系统3FS代码库，吞吐量6.6TiB/s

2月28日消息，DeepSeek开源周第五天，DeepSeek宣布开源了Fire-Flyer文件系统（3FS）。

Github地址：https://github.com/deepseek-ai/3FS

据介绍，3FS是一个高性能并行文件系统，能应对AI训练和推理工作负载的挑战，它利用现代SSD和RDMA网络提供共享存储层，能简化分布式应用程序的开发。

在由180个存储节点组成的大型测试集群上，3FS最终的总读取吞吐量达到约6.6个TIB/S； KVCache 查询每个客户端节点达到40+GiB/s的峰值吞吐量。

DeepSeek列举了3FS的主要功能和优势包括：

性能和可用性

* 分解式架构结合了数千个SSD的吞吐量和数百个存储节点的网络带宽，使应用程序能够以不受位置影响的方式访问存储资源。

* 强一致性实现带有分配查询（CRAQ）的链式复制以实现强一致性，从而使应用程序代码简单且易于推理。

* 文件接口开发由事务键值存储（例如FoundationDB）支持的无状态元数据服务。文件接口众所周知且随处可用。无需学习新的存储API。

多样化的工作负载

* 数据准备将数据分析管道的输出组织成分层目录结构，并有效地管理大量中间输出。

* 数据加载器通过跨计算节点随机访问训练样本，消除了预取或混洗数据集的需要。

* 检查点支持大规模训练的高吞吐量并行检查点。

* 用于推理的KVCache提供了一种基于DRAM的缓存的经济高效的替代方案，可提供高吞吐量和更大的容量。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。