Historian ETL工具—让文件传输更简单高效
|
GE数字集团系统架构师 余思源 Historian 8.1已经在今年五月正式发布，该版本的一个重要更新就是新发布的ETL工具。
ETL是Extract, Transform, Load的缩写，中文翻译是：提取-传输-加载，实际上ETL是一套面向文件的高性能数据传输解决工具。
功能简介 众所周知，Historian已经提供了Server to Server (S2S)采集器，用于在两台Historian服务器之间传递数据。S2S采集器可以高效实时地传递数据，同时还支持本地缓存功能，在网络中断时可保障数据不丢失。
但是S2S采集器也有局限性，若两台Historian服务器之间无网络连接（两台服务器位于不同的城市，或者一台在控制网而另一台在办公网），或者网络连接的成本太高（一台服务器部署在轮船上而另一台在陆上的数据中心）时，S2S采集器则不太适用了。
Historian ETL正是为了应对这些场景而生，它包含一整套面向文件的数据提取，传输和加载工具。
首先，ETL配置哪些标签需要发送，它们在现场和目标Historian上的名称（可以不相同）,是否启用采集器压缩，死区范围，超时时间等信息；然后将现场Historian服务器上选中的数据提取并保存为文本文件，若干文本文件合并压缩再后发送到一台BITS或FTP文件服务器上；目标Historian服务器上开启相应服务来监控文件服务器，一旦发现了新的压缩文件，则将其内容解析后导入目标Historian中。 ETL传输方式类似于“数据二极管”的模式，数据是单方向的传输，现场Historian服务器不知道也无需知道目标Historian服务器是否收到数据，从而避免了一切通过状态反馈信息来试探甚至破坏现场Historian服务器。此外，压缩文件可以暂存在目标服务器上，这也降低了对现场Historian服务器的磁盘和性能的要求。
前期准备 在前期准备时，用户需要创建一个XML文件，指定现场Proficy Historian或PI Server中哪些标签及其属性需要提取，该文件格式如下：
为了方便用户维护该XML文件，系统提供一个Excel模板，用户可方便地在Excel中整理需要提取的标签列表，然后输出到XML文件中。
提取 提取组件可以将数据从三种数据源中导出，它们是Historian时序数据，Historian A&E数据和OSI PI数据。 对于Historian时序数据，还可以提取警报和事件数据，执行数据缩放和绝对值死区压缩。 将导出的文本文件进行压缩，以实现高效传输。 用户需要通过Historian ETL Extract Configuration工具对提取组件进行配置，其界面如下：
配置完成后，点击配置工具中的“Start Service” 按钮即可开始提取工作。
以Historian时序数据为例，提取组件的工作流程如下： 将与标签相关的数据提取到文本文件中，该文件以以下格式命名：YYYYDDMMHHRR_ <现场historian计算机名称> .txt。这些文件存储在以下文件夹中： 提取了指定数量的文本文件（默认为6个）后，将这些文本文件打包压缩为.zip文件，该文件以以下格式命名：YYYYDDMMHHRR_ <现场historian计算机名称> .zip。这些文件存储在以下文件夹中： 文件被压缩后，删除
传输 在目标Historian服务器上安装文件共享传输协议（例如FTP，BITS等），将数据从现场Historian服务器传输到目标Historian服务器。 若选择使用BITS，需要在Windows Features中安装BITS相关服务，如下图所示。
BITS站点配置完成后，用户可执行 OSM_LBW_Transfer.cmd程序来启动文件传输，相关配置信息请参见OSM_LBW_Transfer.vbs文件。
若选择使用FTP，需要在Windows Server Roles中安装FTP相关服务，如下图所示。
FTP站点配置完成后，用户可执行
加载 加载是提取的逆向操作，它负责监视文件目录，解压缩文件并处理它们，将数据加载到Proficy Historian中。 用户需要通过Historian ETL Load Configuration工具对加载组件进行配置，其界面如下：
配置完成后，点击配置工具中的“Start Service” 按钮即可开始加载工作。
加载组件的工作流程如下： 提取 将数据导入到目标Historian服务器。 删除 删除
总结 ETL工具是Server to Server采集器的有效补充，它可以为众多的应用场景提供服务，如下文所示： 通过无线电或低带宽蜂窝连接进行数据传输 没有连接的数据传输（使用移动媒介进行读写） 用于定期连接应用程序的数据传输（例如，船舶可以在到达港口时传输数据） 通过单向安全连接（例如数据二极管）进行数据传输 从OSI PI Server到Proficy Historian的数据迁移 提取Historian数据以导入到其它应用程序中 从其它应用程序导入数据到Historian中 ETL包含数据提取，传输和加载三个组件，它们可以单独使用，也可以组合成一套完整的面向文件的数据传输解决方案。
如果大家对ETL工具和新发布的Historian 8.1感兴趣，欢迎随时与GE Digital联系。
（编辑：ASP站长网） |
丹麦量子激光器公司NK