星震同源 >> 首页 >> 解决方案 >> 海量数据长期安全存储
站内搜索:
海量数据长期安全存储 热线咨询:(010) 82609737   82624877
前 言
  面对海量数据的大爆发,过去主要用于备份结构化数据的传统磁存储模式的局限性已日益突显。据专家分析,未来几年内,全球70%的数据中心都需要进行改造,原有的机房已很难满足下一代高密度服务器及存储设备的占地、电力和制冷需求。此外,仅用磁存储介质进行数据存储备份所带来的安全隐忧更为严峻!数据的海量增长使得信息机构的"心脏"~数据中心面临巨大挑战!如果权衡考虑不当,将可能导致存储安全问题乃至数据灾难,同时会背上反复投入的沉重负担。
  近年来随着档案数字化工作的不断开展,如何合理解决大量原文数据的长期安全存储问题时刻困扰着我们!
  于是,一种基于蓝光光盘存储技术的磁光结合存储模式应运而生,有效地解决了这一难题。

一、海量数据现状和隐忧

1、数据的爆炸性增长


  2011年全球信息总量超过1.8ZB(1ZB ≈ 1000000000TB),预计5年内归档数据总量将实现800%的增长,未来10年的全球数据存储量将增长50倍以上。

2、数据保存的能耗惊人
  •  目前全球互联网用电功率达数千亿瓦 。
  •  一条谷歌搜索耗电相当于一个节能灯开一小时 。
  •  一个大型数据中心的功率超过了一个中型城镇 。
  •  全球互联网数据中心的用电功率达300亿瓦特,相当于30个核电站的供电功率 。
  •  数据中心耗电量的6%~12%是被用于网站计算的,其余均无谓消耗 。
3、损毁数据的多种威胁
  病毒、系统错误、操作失误、人为破坏、载体老化、意外事故、自然灾害……

4、海量数据的存储现状
  在专业存储中,在线存储设备采用的是磁盘阵列,离线存储设备采用的是磁带库,系统架构图如下:

5、磁盘阵列 + 磁带备份 数据保险箱
  • 在过去的20多年中,磁盘和磁带技术始终高速发展。特别是磁盘, 容量不断增大,价格不断下降,这使得人们可以用较低的单位存储成本搭建具有一定容错功能的磁盘阵列。在专业领域存储中以磁盘阵列为主体,磁带做备份的存储方案被广泛应用。然而对于大量数据的长期存储,这种体系结构是不安全的。
  • Google公司在大数据量应用环境下所做的统计研究表明,磁盘阵列中的硬盘损坏率是相当高的:如6块硬盘同时工作2年的存活率为54%,3年存活率为30%;12块硬盘5年的存活率只有1%!IBM苏黎世实验室的研究指出,在使用企业级SCSI硬盘和RAID 5存储100TB数据的情况下,前5年丢失数据的概率是24%!受磁盘寿命的影响,若想实现数据长期的存储,必须要定期更换磁盘,并且随着数据的不停增长,还需要不断的新购置磁盘,这将是一个无底洞,需要不停地增加数据存储的成本。
  • 磁带是传统的数据存储媒质,具有存储容量大的特点,可是对存放环境要求较高,寿命相对较短,极易发生霉变和磁粉脱落,随着对数据管理即时性和安全性要求的提高,磁带已经不能完全适应对海量信息数据的存储和管理。
  • 磁盘和磁带同属磁性存储介质,有三方面缺陷:一是易受电磁因素的影响,一旦遭受磁暴打击(无论是人为还是自然因素),将直接引发数据灾难;二是磁盘和磁带都需要阶段性进行数据迁移,迁移风险和成本较高;三是由于它们属于机械驱动,所以还存在驱动器更新、兼容性等问题。这些都使得磁盘或磁带的存储备份模式能耗大、运维复杂、总体拥有成本高。
6、磁介质、光介质存储性能对比表
磁盘 磁带 光盘
查找速度 中等
强磁影响
运行能耗 较低
存储容量
最佳应用 在线 离线或备份 近线或离线归档
信息安全 可被修改或删除 可被修改或删除 不可修改删除
信息保存时间 一般5年 3-5年 50年以上
总体拥有成本

7、常用介质长期存储的代价

  磁盘阵列必须连续运行且耗电巨大,同时需要专业人员维护;另外为保证数据安全,重要数据需不断在磁盘系统间迁移,这种做法对于利用频率高的热数据是绝对必要的,但对很少被用到的冷数据是巨大的浪费。

二、数据长期安全存储策略

    国际上公认的存储策略为:对于要长期安全存储的数据,至少要有3份拷贝,它们被存在2种以上不同的物理介质上,其中1份必须是可移动的,离线的,不可更改且不可删除的永久拷贝。

1、数据的自然规律

  • 90%的新增数据是固定内容,也被称为"休眠数据"、"固定数据"、"静态数据"或"冷数据"。这类数据的特点是被访问的频率很低,并且不会改变。大部分的这类数据都是非常宝贵的,会出于法规的原因被要求保存几年到几十年。大量的休眠数据占据了持续高速运转的磁盘阵列(RAID)空间,维持这种状态的代价是十分高昂的。档案行业"休眠数据"所占比例更高。
  • 95%的数据都是非结构化数据,这些数据每年按60%的比率在快速增长。但是,这些数据平均只有1%-5%是结构化的数据。90%的非结构化数据永远不会再被用到,这种迅猛增长且很少使用的休眠数据消耗着复杂而昂贵的一级存储资源。

2、数据长期安全存储模式
   "传统存储模式"通常使用磁盘存储备份100%数据,相当于"只泡一小壶茶,却要持续不断地烧着一锅炉热水" 。为了顺应数据的自然规律,推荐"磁光结合模式",该模式结合磁盘和光盘的各自优点,将利用率很高的热数据存储在磁盘上,而将访问率极低的冷数据存储在光盘上。这是一种简单、安全、低成本、避免重复投资、节能减排的存储模式,相当于"需用多少热水就烧多少,大量的水则储存在蓄水池里"。


三、蓝光技术发展现状和趋势

  光盘是从70年代初发展起来的一种数据记录媒体,从CD到DVD,再到如今的BD(蓝光),近年来不断取得重大突破。随着技术的发展和革新,光盘的容量、耐用性及读写速度也有了显著地提升,毋庸置疑,蓝光光盘存储技术将成为新一代海量数据归档存储的核心。

1、蓝光光盘特点
  激光的波长越短、频率越高、能量越大。CD光盘采用780纳米波长的激光读写;DVD光盘采用650纳米波长红光激光读写;而BD光盘则是采用波长405纳米蓝色激光读写,因而能够存储更多的数据信息。蓝光光盘刻蚀点更小,密度更大,并且可进行多层刻蚀,目前容量可达100G以上。


2、蓝光光盘现状
  目前,蓝光光盘主要包括:BD SL(25GB)、 BD DL(50GB)、BD TL (100GB)、 BD QL(128GB) ,具体分类如下图所示:

级别 保存时间 应用
A 100年以上 归档级
B1 50年以上 归档级
B2 30年以上 商务级
C 5年以上 消费级

3、蓝光光盘发展路线


  到2017年,单盘容量可达500GB,读写速度可达360MB/s。随着蓝光光盘应用的普及,一次性购入性价比将优于硬盘和磁带,对于绿色节能减排和数据长期安全存储都将产生革命性的影响。

4、企业级BD光盘的高可靠性
  为了提升BD光盘的寿命,专业厂商设计生产了企业级BD光盘,用来备份重要的档案数据,它具有如下优点:

  • 盘面数据记录层采用更耐用的无机材料,如同将数据铭刻在"岩石"上。
  • 独到的金属烧蚀分层技术创造了最稳定的记录介质,具有抗指痕、划伤、灰尘和读头碰撞能力。
  • 寿命可达50年以上(遵循德国TUV标准)。
  • 保证记录标记的不可逆,数据不能被修改。
  • 目前单盘容量可达100G以上,更易于管理。
  • 常温环境即可保存,无需特殊的保存环境。

企业级BD光盘的抗灾实验

测试项目 试验环境 结果
抗海水 沉入海水中7天 完好
抗腐蚀性气体 腐蚀气体环境,75%相对湿度,96小时。(硫化氢12.5ppm,二氧化硫25ppm) 完好
抗光 使用日光灯模拟器(Xe灯,550瓦/平方米,照射3周) 完好
抗温度、湿度 176华氏度,80%相对湿度,250小时,40华氏度,750小时 完好
抗化学物品 用1%的次氯酸盐溶液,77%的乙醇溶液擦20遍 完好


四、星震海量数据蓝光存储系统
  本系统是以企业级蓝光光盘作为存储载体,针对海量电子档案数据实现自动归档、自动校验、自动备份、自动迁移和智能调阅的设备,由光盘库、离线库和智能管理软件三部分组成,主要设备图示如下:

1、光盘库
  该设备源于德国蔡斯(ZEISS)公司精密的制造技术,主要由片匣、机械手和企业级光驱三个部分组成。通过企业级光驱对光盘数据进行管理,精度高,耐用性好,运维简单,能耗低,随时使用随时加载,最大限度节约电能。

  片匣是光盘管理的基本单位,是连接近线和离线存储的桥梁,特点如下:
  • 每个片匣可容纳35片光盘
  • 双重锁定、避光、防尘,有效保护光盘
  • 双重RFID保证片匣唯一的ID,可以从正面和侧面自动读取片匣信息
  机械手自动将光盘移动到片匣、光驱等位置,操作简单,无需人工接触,最大限度保护光盘和提高工作效率。特点如下:
  • 光盘盘孔抓盘,精准高效。
  • 机械手步进最小距离<0.1mm,平均无故障运行次数>250万次。
  • 支持抽片位置自动校准。
  • 光盘平均装载时间<15秒;
   企业级光驱精度高、耐用性好,特点如下:  
  • 特殊精选的高质量激光头系统。
  • 针对企业级光盘优化。
  • 防尘结构设计。
  • 严格的质量控制。
  • 坚固的高机械可靠性设计。
  • 可适用于各种严酷的专业应用环境。
  • 初始写入误码率仅为普通光驱的十分之一。
  • 光盘屉开闭寿命是普通光驱的十倍。
  • 具有符合JIIMA标准和JIS Z6017的刻录质量检测功能 (仅适用于BDR-PR1M)。
  • 限制刻录未经OPARG认证的消费类BD光盘。
  (注:OPARG为光盘归档联盟的简称)
  特殊说明:企业级光驱还具有光盘检测功能。光盘寿命的核心指标是误码率,随着光盘保存年限和读取频率的增加,有可能导致误码率不断升高。当误码率达到一定数值的时候,为保证数据安全必须对数据进行迁移。企业级光驱的光盘检测功能对归档光盘的误码率进行自动检测,从而定期监控归档光盘的寿命。

2、离线库
    智能离线库属于离线存储设备,用于管理标准的光盘片匣,可实现离线光盘的全方位查询管理。与光盘库配合使用,灵活搭建成"近线+离线"的海量存储系统。
   将那些不经常被访问又需要长久保存的数据,转存到离线存储设备中,能够大大缓解用户近线存储的需求,不仅可以减少总体存储成本和提高系统性能,而且方便进行数据的异地备份。
  近线到离线的操作十分简单,只需要将相应的片匣放到离线库中,离线库就可以自动完成片匣信息的登录和管理。

3、智能管理系统

  为了更好实现光盘库和离线库的智能管理,结合档案数据的应用要求,专门设计一套软件系统,主要功能如下:
  • 光盘刻录
    能够实现自动切分档案数据并自动分盘,支持不跨卷、不跨件及重构目录结构的专业化归档要求。刻录时自动监测工作过程,可自动修复并重启任务,防止意外因素导致刻录数据损坏。光盘刻录成功后系统自动进行数据校验,保证光盘可读性和刻录数据的完整性、一致性。
  • 光盘调阅   
    根据光盘名称、档号或关键词等对光盘存储信息进行内容检索,检索模式包括:模糊检索、条件检索和二次检索,并将检索数据自动迁移至本地,实现光盘调阅。
  • 光盘加密   
    支持光盘高强度加密刻录,查档完成后可将所需数据刻录成加密光盘,防止在档案提交或档案移交过程中,由于光盘丢失所造成的数据泄密,确保档案信息安全。
  • 光盘检测
    结合带检测功能的专业级刻录光驱,可实现CD、DVD、BD光盘的定期质量检测功能,并给出三级预警,以此判断光盘寿命和光盘存储信息是否安全。
  • 数据迁移
    根据光盘检测结果,将达到三级预警的光盘所存储的数据迁移至本地服务器和磁盘阵列,实现数据的自动迁移。
  • 质量检验
    检查数据著录项完整性、著录内容规范性、相同字段一致性,检查图像源目录下的图像文件是否符合指定要求。
  • XML封装
    根据中华人名共和国档案行业标准DA/T48-2009《基于XML电子文件封装规范》的要求,将电子文件原文数据及元数据进行XML封装,以维护电子文件原文数据和元数据的可靠联系,便于电子文件交换、长期保存和利用。
  • 电子书封装
    将以图片格式作为保存方式的电子档案数据制作成电子书,便于查询和阅读,支持自动翻页和动态翻页。
  • 光盘浏览
    光盘刻录时支持自动制作光盘浏览工具,制作完成后光盘可自动播放。
五、中央档案馆应用案例
1、设计目标
  数据永久性安全存储通常执行"3-2-1"策略,即需要有3份拷贝,存储在2种以上不同的介质上,其中1份是离线可移动的拷贝。中央档案馆在现有的磁盘阵列存储系统之上,再建设一套蓝光光盘离线备份系统,从而实现数字化成果数据"3-2-1"安全存储策略,通过全面的备份管理,确保数据的安全可靠。

2、设备选型
  光盘离线备份系统包括光盘库和离线库两部分,库与库之间实现兼容,统一管理。光盘库需支持企业级刻录机和企业级蓝光光盘(Enterprise Grande for Archive),同时支持多个刻录机协同工作。存储容量易于扩充,并具有操作简单、节能环保等特点。离线库应支持对离线光盘的全方位查询管理,光盘匣配有RFID检测功能,可快速找到被调用的光盘。光盘库与离线库配合,完成近线(离线)数据存储。备份系统需配备专业的光盘存储系统软件,支持刻录任务自动切分、校验、无人值守刻录,可灵活设置任务切分模式和设定光盘预留空间,支持多光驱自动协同刻录等功能。蓝光光盘必须配置适应于档案数据长期安全存储的企业级蓝光光盘。根据以上要求选定设备如下:
  • 蓝光光盘库:NETZON HMS 3560BD
  • 智能离线库:NETZON HMS 8OFF-12
  • 企业级蓝光光盘:Verbatim BD-R 50G
  • 备份系统:星震光盘存储系统
3、系统架构