移动云郭建楠:面向“东数西算”打造新一代算网存储能力

4月27日消息(九九)“东数西算”工程凸显了数据作为一种生产要素的价值,并将其分类治理——对于服务后台加工、存储灾备、离线分析、存储备份等对网络时延要求不高的“冷数据”,优先向贵州、内蒙古、甘肃、宁夏节点转移;对于网络时延要求高的“热数据”,选择在东部城市进行布置。

在日前举行的“算网融合,创新发展——移动云技术品鉴会”上,中国移动云能力中心IaaS产品部总经理助理郭建楠指出,在“东数西算”场景下,存储系统面临如下新挑战:本地/近场下的热点数据如何高性能存取?海量数据如何存储及灵活迁移?如何屏蔽存储系统层操作细节,对客户呈现便捷业务应用?

算力网络下的新存储能力:“扛得住”“存得下”“用得好”

郭建楠进一步指出,面对上述问题,存储系统要解决高性能、高扩展、易使用的问题,能够“扛得住”、“存得下”、“用得好”。满足企业关键业务云化对存储的性能要求,提供高带宽、高IOPS、低时延保障;满足高速增长的数据存储需求,提供易扩展、高吞吐、海量文件高效索引保障;屏蔽复杂的存储系统层次操作细节,提供易部署、易操作、简洁易用的产品形态。

移动云将围绕算力网络,持续增强存储性能,提升产品竞争力,基于对象存储跨域纠删能力推进存储全系产品演进。

一是打造超高性能的存储系统,满足高端存储需求。完成基于中国移动云能力中心自主研发的“大云天权统一存储引擎”的百万IOPS云盘产品研发,实现单逻辑卷百万IOPS超高性能及百微秒级超低时延保障。

二是面向海量数据存储需要,提供EB级存储容量扩展性。完成基于天权统一存储引擎的第四代对象存储产品研发,多级负载均衡策略提供Tbps级系统吞吐、多子集群设计提供EB级存储规模、分级元数据管理 提供高效文件索引,满足海量数据存储需求。

三是实现冷热数据自动分层、支持数据跨域自由流动。基于对象存储用户桶空间,存储集群内实现标频-低频-归档类型的数据自由迁移,且可通过“跨域复制”能力实现数据在集群间的东西向高效流动。

四是打造跨域访问文件系统,实现“数随算走、随心接入”。自研文件存储(CFN版本),基于对象存储的跨域纠删能力实现数据的全域可访问,基于跨域KV数据库实现元数据的全域可访问,有效支撑实时流媒体文件编辑等跨域数据共享场景。

应时而生的新存储解决方案:打破“存储墙”,连通“数据孤岛”

郭建楠介绍,移动云云存储产品围绕“大云天权统一存储引擎”展开,在其之上构建了分布式块存储、对象存储、文件存储产品。“天权”存储系列产品已在移动公有云进行长期推广及商用,部署规模超3万台服务器,容量规模超过2500 PB,为移动云80余万家客户提供稳定、安全的 存储服务。

面向算力网络下的新存储挑战,移动云提出应时而生的新存储解决方案:

块存储产品:从IO调度策略、IO路径加速、数据落盘方式三个维度深度优化存储引擎,通过多路顺序预读、智能IO调度策略降低时延,通过SPDK全用户态无锁队列、RDMA网络卸载技术解决上下文切换及锁抢占问题,面向IO全链路深度优化,打造百微秒级时延超高性能。“基于天权存储引擎,打造百万IOPS、百微秒时延、4GB/s吞吐的新一代云硬盘产品,可有效支撑大型数据库、实时日志分析等IO密集型以及AI训练、基因测序等高吞吐型业务场景,满足现场及近场计算诉求。”郭建楠说。

对象存储产品:通过存储多协议协同,实现“存算一体,数随算走”,实现数据冷热智能分层,实现数据自由跨域流动,打破“存储墙”,连通“数据孤岛”,支持数据向算力迁移,打造“数据随心可取”的存储服务体系。

文件存储产品:在基于对象存储的跨域纠删能力基础上,自研移动云文件存储(CFN版本),基于EOS跨域纠删(数据)及跨域KV数据库(元数据)有效支撑实 时流媒体文件编辑等跨地域数据共享场景,实现多点接入、简单配置、随心访问。

当前,相关工作已取得初步进展。数据、元数据分离进行存储,形成集中化元数据架构,将文件协议处理、文件元数据存储与数据存储解耦,提升文件系统元数据性能的同时,增强了文件存储容量扩展性。进行跨域数据库研发,基于“灵活性+高可用性+可扩展性+ACID+通用基础框架”设计原则分而治之,实现组件模块化,功能正交、减少耦合,实现在跨域场景下的故障归一,快速检测、快速恢复。通过S3等标准对象存储接口接入移动云EOS,在统一元数据管理下, 借助移动云EOS数据跨域纠删存储能力,实现文件存储数据分片跨域分布。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )