大话蓝光存储(4)光存储系统生态(2)

2.???数据管理层需要感知到光盘库系统的实时性,尤其是调取数据时.数据被迁移到光盘库时一般是通过CIFS/NFS方式写入到光盘库前置服务器的缓冲空间的,所以写入速度和实时性并不是问题.但是在调取数据时,如果数据已经被刻录到光盘,那么调取时间是比较长的,通常在数分钟级别.这需要上游一系列的层次对此感知和处理,比如在用户体验接口方面需要安抚住焦急等待的用户,数据管理层则需要使用异步方式来调取数据.

3.???光盘库系统自身的数据缓存及持久化策略的制定.光盘库内部其实也是有一级缓冲空间的.光盘库内置一个前置服务器,上面有一定数量的硬盘,对外采用CIFS/NFS(NAS)方式,接收上层迁移下来的数据.数据先被写入NAS目录,然后系统在后台,根据一定的策略,将数据刻录到光盘,并在NAS目录中留下一个stub占位符,底层驱动截获针对这些占位符的访问,从而在后台异步从光盘读出数据并填充.数据会在什么条件下从缓冲区迁移到光盘,这就是持久化策略,这个策略需要在光盘库的配置工具中配置,这一级的策略也会影响数据调取的实时性.

4.???光盘库向上层系统所展示的访问方式.冬瓜哥认为NFS/CIFS的方式比较适合于这种冷数据迁移场景.第一是其可以完全松耦合,即便是没有上层数据管理层,单单使用光盘库的话,NFS/CIFS也是非常方便的.有些产品采用块设备的方式提供外界访问,那就根本做不到这种灵活性,因为基于块的数据迁移是无法保证数据边界完整性的,比如某个文件可能部分块被迁移到了光盘库,另一部分依然在热数据存储层.块级访问非常适合于高性能存储场景,光盘库显然不适合这种场景.除此之外,对象访问方式也非常适合于光盘库.所以,NAS、对象应该是光盘库首选的外层访问协议.

冬瓜哥认为,蓝光光盘库系统在硬件上已经没有什么问题了,关键在于软件上如何与上下游的数据管理体系适配起来,蓝光存储厂商需要在数据管理和访问流程方面加大生态建设力度.?

【光存储典型场景分析 – 医疗影像】

对于一个 大型医院而言,平均每年会增加几十个TB的数据,其中有20TB是医学影像数据.也难怪,目前白大褂们的原则似乎是能拍片的尽量拍,而不是能不拍的尽量不拍,产生如此多数据量也不足为奇了.

比如某三甲医院,目前有130TB数据,按现在年增长速率(100%)来算,5年之内将突破1PB .而一个中等规模城市的卫生中心的数据量能够达到10PB级别.

医疗系统数据主要包含两大类：

非结构化数据：

?? PACS影像,B超、病理分析、医学显微等业务所产生的非结构化数据

?? 影像数据大小不一,从数百KB到数百MB；

?? 单个病人一次诊断需要存储或者调阅数百张影像

半结构化数据：

?? 电子病历等数据采用HL7或者其他XML格式

?? 这些格式随时间变化,在不断演变中

?? 很难制定统一的标准,给数据访问和交换带来挑战

这些数据的特点是：

????????影像分辨率高,单个文件尺寸大

????????每一次检查生成的影像数量多

????????每年医院的检查次数多

????????要求影像保留的时间长

影像访问频率在生成后最初一两个月最高(主要用于治疗),在最初的一到两年内有所降低(主要用于分析和研究),之后会很低,但必须能够被访问到(用于查询).具有很明显的冷热梯度和界限,刚好适合蓝光存储发挥作用.比如紫晶ZL系列光存储系统,一个标准机架就可以存储1.2PB容量的数据了,我们换算一下,如果利用4TB的SATA盘,4U60盘位中等密度方案,一个42U机柜总容量为3.2PB,其成本大致估算一下,1台4U48盘的服务器,外加9台4U 60盘位JBOD,差不多要65万人民币,相比蓝光存储系统高太多,还没有算上用电成本.

【光存储典型场景分析 – 档案系统】

以地质资料档案系统为例,地质资料馆经过多年的信息化建设已初具规模,如两化(集群化、产业化)项目积累了大量的信息化数据.现正实施的 “全国矿产资源普查和矿产资源潜力评价”项目也将产生大量数据.

其特点主要是：

l?数据量大

现有原史数据量为100TB,每年以20%以上的速度增长.

l?数据类型多

文档、图片、GIS、卫星数据等等.

l?文件数量多,目录复杂

6TB数据多达1200万个文件,

平均粒度仅45K,

超过200层目录结构.

l?文件跨度大

单个文件的大小从KB到GB全部都有

目前面临的主要挑战为：

l?用户刻录的数据无法在线查找,需要人为查询,速度慢、时间久

l?现在需要5－7人来刻录和管理光盘,人员紧张,人力成本攀升.

l?随着数据量爆炸式的增长(预计年增长率在20%以上),数据保有成本越来越高.

很显然,该场景可以利用光存储系统极大降低成本.

最后,作为国内光存储系统的全自研厂商,附一张紫晶存储的光存储系统优势对比表.

在下一篇中,冬瓜哥将展望一下未来,向大家介绍一下光以及光计算、光存储的前言科技和展望,敬请关注!

作者：冬瓜哥

文章出处：大话存储

（编辑：ASP站长网）