设为首页 - 加入收藏 ASP站长网(Aspzz.Cn)- 科技、建站、经验、云计算、5G、大数据,站长网!
热搜: 创业者 数据 手机
当前位置: 首页 > 运营中心 > 产品 > 正文

趋势解读 | 分布式架构是数据中心的未来吗?(3)

发布时间:2019-10-30 06:08 所属栏目:30 来源:亿欧
导读:
导读:随着数据中心业务数据的不断增加,大数据的海量数据挖掘与日志分析正逐渐成为一个主要应用场景。在面对极具弹性的存储需求和性能要求下,传统数据中心单机或者独立的SAN存储设备基本无法满足大数据处理的需要。如同

随着数据中心业务数据的不断增加,大数据的海量数据挖掘与日志分析正逐渐成为一个主要应用场景。在面对极具弹性的存储需求和性能要求下,传统数据中心单机或者独立的SAN存储设备基本无法满足大数据处理的需要。如同数据库系统一样,独立的存储设备在性能和数据存储容量等方面都面临着一定的瓶颈。

传统数据中心通常为集中式存储架构,单台SAN或IPSAN存储设备通常配置2-8个控制器,通过存储扩展柜进行容量扩展。如果增加性能,需要增加控制器和缓存,甚至需要更换存储设备型号为高端存储。按照集中式的存储架构,单台存储的性能和扩展能力是有限的,一般达不到线性扩展。随着存储容量的增加,存储的性能会先增加然后达到一定瓶颈后逐渐降低。因为一开始大量的磁盘增加会提升存储整体读写性能,但是当磁盘性能达到控制器的性能后会严重影响控制器对数据的处理和运行,性能会逐渐下降。

面对海量PB级数据,如果使用传统独立SAN存储设备,要么扩展能力达不到,要么扩展能力可以达到海量PB级别,但是容量和性能不会线性增长,而且以后存储扩容和运维成本也非常高。

面对数据中心越来越多的大数据业务增长需求,首先要能存得下大量数据。传统的存储系统容量是有限的,又无法跨越多个存储设备,即使利用虚拟化技术做存储资源整合,那么单位存储成本也会非常高,而且数据处理性能有限。

以Hadoop为例,这是一款比较成熟而且应用比较多的大数据处理的分布式开源软件。其最底部是HDFS分布式存储。HDFS的设计本质就是为了大量的数据能够分布式存储而存在的。HDFS可以将数据存放在很多不同的机器上。而用户不必关心具体的数据在哪,HDFS会管理这些数据。HDFS是一个高度容错的分布式存储系统。可以分布式部署,以流式访问模式访问应用程序的数据,可以大大提高整个系统的数据吞吐量,非常合适用于具有超大数据集的应用中,而且随着整个分布式存储系统的扩展,容量和性能会成正比进行线性增长,非常适合大数据类的业务处理和应用。

基于分布式架构的数据库和存储都是未来数据中心必不可少的发展方向之一,没有分布式架构,数据中心就没有能力管理大数据。

3.3 分布式安全网络

基于云计算技术数据中心为应用部署带来了灵活性和资源弹性配置,提高了硬件资源利用率,缩短了部署时间,但是同时也引入了新的安全问题。

传统数据中心网络安全是基于安全域、安全边界的防护机制,是一套纵向安全策略,只关注业务流量的访问控制,将流量安全控制作为唯一的规划考虑因素。

而虚拟化技术的大量使用使得网络边界模糊化,主要依赖横向安全策略,能够满足安全流量动态迁移到其它物理服务器。传统基于已经难以满足虚拟化环境下的应用模式,虚拟化的服务提供模式,使得对使用者身份、权限和行为的鉴别、控制与审计变得更加困难。这会导致许多基于传统数据中心的安全防护手段失效。

在云计算数据中心,多台虚拟机都在一个服务器设备内运行,虚拟机之间通过虚拟化交换机进行连接,通信流量并没有通过外部交换设备,导致传统安全设备对这部分的流量失去监控。目前大多数虚拟化软件厂商没有在虚拟机通信的东西向流量提供高效的检测和隔离方式,如果某台虚拟机出现安全问题,可能会对相关连的资源池产生严重的安全威胁。另外,虚拟机会随时迁移到其他服务器设备上,造成安全域边界的动态化,传统数据中心固定边界的防护手段也会失效。当虚拟机迁移到新服务器设备上,如果新服务器设备没有对应的安全保护策略,就可能对迁移后的虚拟机造成安全威胁。

为解决云计算数据中心存在的安全问题,需要采用分布式的方式部署安全管理软件或系统。通常分布式网络安全产品由集中管理平台+分布式安全管理软件组成。集中管理平台负责安全策略的集中管理,并对安全策略的迁移功能提供支持。同时接收虚拟化安全设备的日志以及统计信息,并分析整个数据中心的安全态势。

安全软件是以分布式的形式部署虚拟机和虚拟化平台上,可以克服传统物理安全设备的局限,更贴近虚拟机的位置,利用引流或者重定向机制,获取所有虚拟机的流量,实现分布式的安全防护。

3.4 分布式云数据中心

传统数据中心为了做到业务高可用,保证业务连续数据,防止数据丢失,通过采用“同城主备/双活数据中心”或者“两地三中心”的架构。但是不管采用哪一种架构方案,都会产生一定的IT资源浪费问题。“主备数据中心”,解决了业务连续性问题,但是平时只启用一个数据中心资源,另外一个做备份。“双活数据中心”,解决了业务高可用问题,但是两个数据中心需要部署和运行同样业务,同样会浪费一个数据中心的资源。“两地三中心”,同时最大程度的兼顾业务和数据安全,但是IT资源浪费最严重。

在分布式云数据中心概念里,多个数据中心不再是主/备或者双活的关系,而是通过云计算技术、广域网二层网络互连(大二层)技术和数据复制技术,将多个数据中心组建成一个分布式的跨中心和地域的“虚拟资源池”。所有业务和数据都可以按需被分配到不同的数据中心,实现比“双活”或者“两地三中心”更优的业务部署方案。

基于分布式架构的云数据中心以往可能受技术限制,难以实现。但是随着各种技术的不断发展,难度已经大大降低,完全可以实现。主要考虑三个问题:业务访问网络,大二层网络和数据同步复制。业务访问网络可以通过全局负载均衡GLSB和智能DNS实现不同区域的本地访问,使用大二层互联网络技术可以解决虚拟机迁移问题。数据同步复制可使用微服务+容器+分布式存储复制技术解决。通过微服务解耦业务,无状态应用使用容器通过大二层网络进行迁移,有状态应用可以跟随虚拟机进行迁移,冷数据尽量集中存储,共享访问,避免过多的数据迁移。

目前已经有可以落地的方案帮助企业实现分布式架构的云数据中心。同时还可以实现数据中心资源利用率的最大化,降低运维和管理成本,更好的保证业务的连续性。

3.5 两种架构的主要区别

集中和分布式架构数据中心的区别

通过上述对集中式和分布式架构在资源处理能力、业务支撑能力、安全管理能力、可用性和一致性、运维和管理等多个方面的分析可以看出:

(编辑:ASP站长网)

网友评论
推荐文章
    热点阅读