深度研究:分布式数据中心或是未来数据中心发展方向

2021-11-24 17:27盘古开源

分布式数据中心(Distributed Data Center),简称DDC,是利用网络把成千上万台存储服务器连接、组合而成的一台虚拟超级存储服务器,用以完成单台存储服务器无法完成的超大规模问题求解。分布式数据中心除了虚拟超级存储服务器外,还由多个数据中心组网形成多中心服务网络。

互联网6.jpg

云计算加速分布式发展

云计算的发展与普及,改变了数据中心的IT基础架构,使得分布式数据中心成为流行。过去几年,“互联网﹢”作为热词,不断在我们的日常生活中出现,改变商业模式的同时也逐渐改变了我们的生活习惯与思维方式,大数据的价值愈发凸显,围绕其诞生的企业,如云计算、大数据分析企业等层出不穷,数据成为企业最宝贵的资产。而数据中心正是承载数据的核心容器。

传统数据中心通过硬件、软件等设备以及网络通信资源等对数据进行存储、分析,并有效助力企业业务覆盖。但随着业务的日益发展,在大规模、高密度数据承载的需求下,传统集中式数据中心因其设备与网络机构因素,在存储、处理、安全、网络时延等方面逐渐显得力不从心。而云计算的出现则解决了此类问题,使得集中式架构得以向分布式架构发展。分布式数据中心极大地突破了规模的限制,通过云连接与云组网,将多个数据中心联合在一起,实现数据共享、多中心运营、业务高覆盖,并极大程度上降低了运维成本,同时实现灾备建设,降低业务中断的风险。

技术层次可分两层

分布式架构数据中心在技术层次上可分为单数据中心分布式架构与多数据中心分布式架构这两层。前者主要由分布式计算、存储、安全网络等多种分布式技术集成,后者主要指通过云计算实现多数据中心的一体化,例如分布式云数据中心。

单数据中心分布式架构

分布式计算架构指的是以分布式计算技术为基础,用于解决大规模问题的软件架构。分布式软件架构伸缩性较好,尤其在处理大数据相关问题时,分布式架构能显著提高处理速度。常见的分布式软件架构有HadoopSpark等。

分布式存储架构具备高扩展性,能有效解决海量数据存储与处理问题。分布式存储架构由客户端、元数据服务器和数据服务器三部分组成。客户端负责发送请求,元数据服务器响应请求并处理,数据服务器存储处理后的数据,三部分协同完成存储功能,且能有效解决传统存储的弹性扩展问题。

分布式安全网络通过部署安全管理软件或系统,对整个数据中心的安全进行防护。其通常由集中管理平台和分布式安全管理软件组成。集中管理平台安装在指定的硬件服务器上,负责对安全策略进行集中管理,并对安全策略的迁移功能提供支持。同时接收虚拟化安全设备的日志以及统计信息,并对整个数据中心的安全态势进行分析。安全软件则更贴近虚拟机,利用引流或重定向机制,获取所有虚拟机的流量,实现分布式的安全防护。

多数据中心分布式架构

分布式云数据中心通过云计算技术、广域网二层网络互联(大二层)技术等,将多个数据中心组建成一个融合计算、存储、网络等的分布式“虚拟资源池”,该资源池可将各地数据中心统一整合,通过多数据中心融合实现去地域化和自动化,提升企业效率。相比传统数据中心的“同城主备/双活数据中心”或“两地三中心”,分布式云数据中心的部署方案实现了所有业务数据的统一调配与管理,灾备迁移与业务处理效率将得到有效提升。

四大挑战不容忽视

目前,分布式数据中心在建设过程中面临一些挑战,主要包括网络、存储、计算和安全四个方面。

在网络方面,多个分布式数据中心间的通信是首要问题。建设时需考虑多区域间如何实现灵活组网与入云连接。目前主流的技术方案是基于大二层网络技术,构建多数据中心间组网,形成统一的逻辑网络。但目前各个网络设备供应商间的大二层网络和协议并未统一,故在设备的兼容性上可能存在一定问题。

在存储方面,如何实现数据协同是一大难题。随着业务高覆盖,各地数据中心协同的重要性日益提高。分布在各地的数据中心通常由运营商网络带宽、传输专线等实现协同,但囿于距离与规模,各地数据中心间网络宽带无法保证数据实时同步,目前各地数据中心协同只能采用异步传输,这对数据的一致性与完整性、业务的连续性造成一定影响。

在计算方面,对计算资源的管理是重大挑战。例如分布式数据中心的数据迁移和灾备建设,如何在应用或业务突发性中断时,快速实现数据迁移与重启,这要求数据中心日常进行计算资源管理时,不仅要做好常规故障排查,还要做好数据资源的迁移规划和安排工作。

在安全方面,如何保证数据中心安全性是严峻考验。传统数据中心普遍采取星形组网方式,即所有分支机构点对点直连总部数据中心,此时尽管分支缺乏灵活性,但位于总部的安全网关足够保证传统数据中心数据存储、处理安全。而当基于云计算的分布式数据中心引入后,总部与分支通过云网进行融合,此时安全问题便成为重大挑战。据此,安全厂商得到了迅猛发展,以防火墙和安全网关为代表的安全解决方案层出不穷,但目前仍未形成完整统一的安全产品解决方案。

随着业务的发展与数据量的增长,在存储、计算、安全等方面占据优势的分布式架构数据中心或将成为数据中心未来发展的趋势。与此同时,分布式数据中心带来的建设挑战也为数据中心可持续发展指明方向。未来的数据中心架构发展必将精彩纷呈。


END

青岛盘古开源电子科技发展有限公司是国内领先的提供大数据存储服务和解决方案的互联网综合运营商。公司总部位于青岛,数据存储服务覆盖全国。自创立以来,公司一直以分布式存储技术为核心,致力于打造云计算、人工智能、物联网等领域的数据存储基石。公司拥有领先的技术研发团队和专业的运维团队,面向5G、人工智能、AR/VR、芯片等新兴科技产业提供高速、安全、稳定的高品质互联网基础设施及云计算大数据技术综合服务。

盘古开源.png