AI数据平台,中国或有更优解

在生成式AI重塑世界的进程中,数据存储的一场深层次变革已全面启动。

AI大模型参数超越万亿级,AI推理全面走向工业化,Manus、Dify等Agent全面爆发之际,高质量的数据集、全新的接口协议和高效快速的数据综合处理带来一系列全新存储挑战。此刻,算力对于AI应用与发展依然重要,但没有与之匹配的存力进行高效协同,再强大的算力也无用武之地。

因此,统一的AI数据平台迅速崛起,成为存力发展的重要趋势和数据存储产业的焦点。AI数据平台将块存储、文件、对象、表格、向量乃至事件流整合到统一的存储之中,既兼容传统的通用应用场景,又高效支撑起新型AI应用场景,更彻底消除数据孤岛,让数据价值得以全面释放。

毫无疑问,与算力一样,存力也即国力。在中国市场全面受制于先进AI芯片的不争事实面前,AI数据平台极具市场价值,它不仅为存算协同、以存代算带来更优解,也有望成为中国数据存储产业在AI时代走向辉煌的起点。

AI 数据平台崛起

AI大模型的爆发,让VAST DATA这家公司频繁进入大众的视野。作为一家成立仅九年的公司,VAST DATA如今估值达到300亿美元,超过绝大多数传统存储公司。

VAST DATA之所以能在产业格局早已固化的数据存储领域脱颖而出,关键在于其面向AI时代构建数据平台的理念引发关注。众所周知,随着AI大模型的快速迭代与进化,数据存储的核心需求发生根本性变化,存储基座全面走向重构,AI 数据平台的价值全面显现。

其一、从 CPU 转向 GPU的计算范式变化,推动GPU+NVMe 全闪+RDMA 网络成为新的技术堆栈标准。而GPU集群规模的持续增加,也导致吞吐量、并行复杂性和延迟敏感度大幅提升,AI训练、推理等工作负载追求高并发、低延迟、高吞吐的极致性能。

例如,随着大模型参数规模的不断增加,模型训练多节点梯度同步GB/s级的并发,导致整个AI集群的并发复杂性持续提升;同时,AI推理对于延迟极为敏感,推理更是延迟>1ms即触发降级,这些都对数据存储的极致性能提出极大挑战,也让传统存储举步维艰。

其二、AI进入到全新发展阶段,多模态成为AI大模型重要趋势,加上Agent应用的大量涌现,不仅释放出大量的推理需求,更直接推动Agent生态初步形成,这直接诞生出多模态数据统一管理、中间结果缓存复用、长效记忆能力构建等全新的存储需求。

以推理为例,国内先进算力稀缺的现实状况不容忽视。因此,存储层面的以存带算意义重大。存储需要肩负起记忆持久化,基于KV Cache来避免AI推理算力的重复运算,推动存算协同的高效运行。

其三、除兴起的AI应用场景之外,企业依然有着像数据库、虚拟化、通用文件等大量传统应用场景,二者之间在IOPS、延迟、接口等存储需求迥异,存储基座需要减少数据存储层的复杂性,兼容过去和支持未来,并进一步强化数据安全和彻底消除数据孤岛。

显然,面对数据存储核心需求的根本性变化,软硬件架构设计陈旧的传统存储已无所适从,AI数据平台则加速接过传统存储的接力棒,成为众多企业在AI时代构建存储基座的首先。

“存储的角色不再是传统的数据持久化,而是支撑万亿参数大模型高效训推和 Agent行动闭环的智能枢纽。”华瑞指数云CTO 曹羽中指出。

与VAST DATA类似,华瑞指数云(ExponTech)也是一家致力于AI数据平台创新的存储公司。事实上,在传统存储软硬件架构缺陷持续放大的背景下,AI数据平台已然成为中国发展先进存力最重要的创新方向之一。

那么,以华瑞指数云为代表的中国存储公司能否为AI时代的存储基座带来更优解?

中国或有更优解

旧的范式走向终结,新的力量也即破土而出。

相比于传统存储,AI数据平台就像一个重新设计的六边形战士,真正在产品层面掀起变革浪潮,满足用户“既要、又要、也要和还要”的全面需求。

以华瑞指数云的AI原生智能数据平台--WADP为例,其为Agent时代和多模态AI设计了多协议的融合,是全球唯一能同时覆盖企业关键业务与AI工作负载的分布式存储软件,可以帮助企业构建统一、智能、无限扩展的存储基座,以一套存储平台满足全场景数据存储需求。

具体来看,WADP首先是一款AI Native Universal Storage,采用模块化可组合式架构设计理念,在WiDE分布式数据引擎和天枢元数据引擎基础上,开发出WDS、WFS、WOS和WQS等一系列组合产品。这种架构设计的好处就是WADP产品组合中任何一款产品均能够单独为企业所使用,又能够通过组合式架构以一套存储平台满足全场景需求。

众所周知,传统存储最大诟病就是不同场景的部署与使用往往需要不同的存储方案,数据、协议、系统之间不互通和协同性差,导致基础设施扩展性差、数据孤岛林立和数据价值无法高效释放。而WADP则采用多协议融合的设计理念,同一份数据基于丰富的协议接口,无需来回移动拷贝数据,实现无缝互通。

其次,性能与效率仍然是当下AI基础设施的核心挑战。WADP这位“六边形战士”在性能和效率上同样不打折扣,关键业务与AI工作负载等场景下均表现出色,实现“全面”和“专精”二者兼得。

以面向企业关键业务场景为例,WADP在全球存储性能委员会SPC-1 评测以SDS+普通服务器的方式勇夺全球第一,一举打破高端存储多年的垄断,在性能、延迟和性价比上全面领先,彻底颠覆SDS性能羸弱的刻板形象。曹羽中透露,其WADP在现实中已经完成多个高端存储迁移项目,帮助企业承接OLTP等核心业务工作负载。

又如,在面向AI的训练与推理场景中,WADP在今年的MLPerf Storage v2.0测试结果表现优异,Resnet50模型训练测试中单客户端支持的GPU卡数和带宽排世界第一;Llama3模型测试仅使用其他评测方案1/5的SSD,在Checkpoint写入带宽排世界第三,硬件利用效率极为高效。

“MLperf测试现阶段更加鼓励存储厂商用各种创新方案去验证如何满足AI场景的需求。华瑞指数云WADP展示了软件方案搭配极简硬件(DPU+JBOF盘框)同样能做到超级IO处理效率、超高的容量密度和性能密度,且总体拥有成本远低于其他方案。”曹羽中介绍道。

第三,与大部分传统存储不同,WADP设计之初就是为AI-Ready而准备,满足训练推理、KVCache、RAG场景优化、Agent等AI场景的全栈存储需求;同时,WADP研发也着眼于未来在数据类型、接口协议等未来的演进,推动AI算力与存力的无缝协同,让企业数据通过存储基座源源不断为AI提供“燃料”。

以KVCache为例,对于国内众多用户而言,AI芯片、HBM等在AI场景中至关重要,但价格昂贵且受限;随着DeepSeek等开源大模型的大幅进步,推理时代的全面到来,如何在有限的硬件条件下提升推理速度、降低推理成本就成为当前所有用户都需要面对的一道难题。

对此,WADP的WQS SSD KVCache Pool功能以原生KV接口实现与HBM或者RAM对接,支持远端和本地SSD形成KVCache Pool,为HBM提供无限扩展的全局共享外部存储空间,实现超高吞吐、极低时延的推理体验,同时广泛兼容国内外主流推理框架,真正实现以存代算,大幅度降低推理场景的算力成本。

曹羽中强调:“现在存储业界都在卷IOPS、时延、带宽等性能指标,这是一个误区。性能固然是AI应用以及企业核心应用的刚性需求,不过达到一定指标之后,存储的核心价值一是更多在于对于通用和AI场景的高效支持;二则是摆脱传统存储协议和IO架构的束缚,面向AI场景设计新的接口方式和新的IO路径,更高效的与算力以及Agent协同,这两点也是WADP一直在坚持的方向。”

产业拐点,让未来更有数

不可否认,随着VAST DATA、Hammerspace、WEKA等一批美国存储初创公司全面崛起,全球数据存储产业正因为AI而进入到一个重要拐点。

对于中国数据存储产业而言,在经历了传统存储阵列时代的艰难追赶之后,随着AI数据平台崛起,真正迎来全新的产业契机。这一次,中国存储公司与海外存储先锋站在同一起跑线,有望在未来广阔的市场舞台上全面施展。

其一,中国市场已具备良好的AI数据平台土壤。IDC数据显示,2024年国内市场的传统阵列占比开始下降到50%以下,分布式存储、SDS等被越来越多用户所接受和使用。在传统存储阵列市场逐步下滑和式微之际,华瑞指数云等多家国内存储公司持续的深耕,让基于分布式存储软件的AI数据平台成为中国存储产业最重要的赛道之一。

其二,AI数据平台尚处于发展的早期,路径依赖和依托国外开源的“拿来主义”绝非长远之计。华瑞指数云用WADP证明,全自研固然艰难,但绝非遥不可及。此外,AI数据平台在AI DATA、接口协议等方面依然有着极大探索与创新空间,坚持自研必然会获得市场、用户更加广泛的认可。

综合观察,一直以来,数据存储都以技术难、研发投入大、市场门槛高著称。当算力在AI时代狂飙时,AI数据平台崛起,存力作为基座与支柱的价值愈发被认同,数据存储产业也开始走向蜕变。面向未来,随着华瑞指数云这样的探路者陆续涌现,中国存储产业走向辉煌指日可待。

免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与极客网无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2025-08-22
AI数据平台,中国或有更优解
AI数据平台,中国或有更优解

长按扫码 阅读全文