电子档案蓝光存储应用探究

引言

2002年2月19日,以索尼、飞利浦、松下为核心,联合先锋、日立、三星、LG、夏普和汤姆逊公司共同发布了0.9版的Blu-rayDisc(简称BD)技术标准,标志着新一代的光学存储媒体介质——蓝光光盘的诞生。

蓝光光盘(BD)抛弃了DVD所采用的波长为635nm~650nm的红色激光,改用波长为405nm的蓝色激光写入和读取数据,并因此而得名。BD相比普通DVD,具有更大的存储容量(目前已超过100GB),更稳定的数据记录层以及更长的使用寿命。由于与CD及DVD具有相同的规格,这种新格式还能实现向下兼容。

近几年,光盘库产品及光盘存储软件日臻成熟,使得基于BD的存储应用和日常管理非常易于实现。而且,相比其他存储介质,BD无论从能耗、寿命、保存环境及数据迁移等诸多方面都显现出极低的总体拥有成本(TCO);此外,它还是真正意义上“异质”的物理介质,具有更值得信赖的安全性和可靠性。可以预见,BD在电子档案存储应用领域将拥有广阔的前景!

1 蓝光技术发展现状

1.1 浅谈BD的主要技术原理

1.1.1 记录符、激光和保护层

光盘记录符包含了数据内容。相比CD和DVD,BD记录符更小,一般最小长度仅为150nm;同时,BD记录轨道间距也更小,通常仅为320nm(见图1)。

图1三代光盘的记录符长度和间距变化

BD使用波长为405nm的蓝紫激光读写数据,同时它的物镜数值孔径增加到了0.85。这两项指标的变化直接减小了聚焦后的光点尺寸,可以缩小记录符的长度和轨道间距,从而在同样直径的盘片上记录更多的数据,以实现所需的大容量。同时,数值孔径增大会减小光学系统的容差,使其对盘片的倾斜更敏感,因此,在BD的盘片结构中设计有一层0.1mm厚的保护层,目的就是为了减少盘片在转动过程中由于抖动倾斜而造成的读写失常问题(见图2)。

图2 BD与DVD的激光系统和盘片结构对比

1.1.2 强化涂层保护技术

传统DVD盘面上的指纹会积淀成细微的油脂层,使激光改道,造成读写错误。此外,盘面的轻微刮伤也会损坏光盘。于是,BD在很薄的覆盖层上面又增加了一层强化保护涂层,有效解决了这一问题(见图3)。

图3 BD和DVD盘面上的指纹印对比图

1.1.3 记录层技术

记录层用来记录数据,是光盘中最重要的一层。CD、DVD的记录层大多使用有机染料制成,容易损坏。而BD的记录层则由具有抗光特性的无机材料制成(见图4),使光盘能够有效防止紫外线侵害,即使在多达万次的读写后,仍能保持稳定特性(见图5)。另外,特殊材料的记录层也使得开发多层BD成为可能。

图4 BD记录层

图5 BD在上万次读写后信号精确度仍很清晰

1.1.4 BD的类型

    BD与DVD一样,也有很多变型种类,其中常用的主要有三种:BD-ROM,只读(预写)格式;BD-R,可写格式,写入后无法编辑修改,可续写;BD-RE,可擦写格式。

1.2 BD与DVD技术参数对比

    与DVD相比,BD在容量、耐用性、使用寿命、单位数据存储成本等方面都具备明显优势。

1.3 档案级BD

1.3.1 档案级BD的特性

针对数据长期存储,主流厂商设计制造了档案级BD,具备以下特性:

  •         数据记录层采用无机材料,如同将数据铭刻在“岩石”上。
  •         使用强化涂层,具有抗指痕、划伤、灰尘和读头碰撞能力。
  •         与专业光驱匹配,串扰消除技术获得更可靠的数据记录。
  •         金属烧蚀分层技术创造了最稳定的记录介质(见图6)。
  •         岸/槽记录技术使得记录符密度更高,单盘容量更大。
  •         常温环境即可保存,拥有更强的抗灾能力(见图7)。
  •         保证记录标记不可逆,数据不能被修改删除。
  •         100%通过伺服信号和缺陷控制检测,可追溯。
  •         每批次产品设计寿命均通过加速测试验证。
  •         寿命可达200年以上(见图8)。

图6 档案级BD结构(3层记录层)

 

图7 档案级BD抗灾实验

 

图8 阿伦尼乌斯加速寿命预测

 

1.3.2 档案级BD历史沿革和发展规划

档案级BD设计容量三年内可达500GB以上。大量应用会使采购成本下降,一次性购入性价比将不输于硬盘和磁带,对节能减排和数据长期安全存储都将产生革命性影响。

1.4 专业级蓝光光驱

上好的石材加精湛的刻功,才能留下像泰山石刻一样的传世之作。使用专业级光驱读写档案级BD,可以大大降低错误率(见图9),使光盘上数据保存得更长久。

 

图9 专业级光驱+档案级BD的误码率更低

专业级蓝光光驱有以下特性:

  •         光盘屉开闭寿命是普通光驱的十倍。
  •         初始写入误码率仅为普通光驱的十分之一。
  •         特有的内部气流设计,有效降低光驱工作温度。
  •         新一代防尘、静音设计,效果是普通光驱的3倍。
  •         强化多个部件,耐用性更高,适用于各种严酷环境。
  •         可选择限制刻录未经OPARG¹专业认证的消费类BD。
  •         具有符合JIIMA²制定的JIS Z6017标准的光盘质量检测功能,检测过程连续渐变、数据可控
  •         采用“缺陷管理”技术。在光盘刻录和检测同时,将光盘上瑕疵部分的数据写入光盘的替换区域,确保数据安全(见图10)。

图10 “缺陷管理”技术

2 电子档案蓝光存储必要性

2.1 数据安全存储基本策略

国际上公认的、较为科学的安全存储策略,为国际调查机构Gartner Group存储资深副总裁Carolyn DiCenzo 提出的3-2-1模式:对于要长期存储的数据至少要有3份拷贝,它们被存在2种以上不同的物理介质上,其中1份必须是可移动的、离线的、不可更改且不可删除的永久拷贝。

2.2 电子文件归档标准与规范

关于电子文件归档存储,我国也制定了一些相关标准和行业规范,摘要如下。

2.2.1 《电子文件归档与管理规范》GB/T 18894-2002

7.5.2.1凡在网络中予以逻辑归档的电子文件,均应定期完成物理归档。

7.5.2.2把带有归档标识的电子文件集中,拷贝至耐久性好的载体上,一式3套,一套封存保管,一套供查阅使用,一套异地保存。

7.5.2.3本标准推荐采用的载体,按优先顺序依次为:只读光盘、一次写光盘、磁带、可擦写光盘、硬磁盘等。

9.4保管要求

  1. 归档载体应作防写处理。

2.2.2 《电子文件归档光盘技术要求和应用规范》DA/T 38-2008

3.2档案级光盘是耐久性达到特定要求的可记录光盘,其各项技术指标优于工业标准。档案级光盘的归档寿命大于20年。

3.12归档光盘的数据迁移策略

使用光盘作为电子文件归档载体时,必须建立定期检测制度,监控归档光盘关键技术指标,适时实施归档光盘的数据迁移。

6.1.3选用的刻录机应能识别档案级光盘的最佳写功率和写策略。

6.2.4归档光盘数据刻录完成后应设置成禁止写操作的状态,不能再对光盘数据进行增减。

2.2.3 《企业档案工作规范》DA/T 42—2009

8.4.2电子档案应存储到脱机载体上。

8.4.4存储在脱机载体上的电子档案应一式三套,一套封存保管,一套异地保管,一套提供使用。

2.2.4 《缩微胶片数字化技术规范》DA/T 43—2009

13.2为保证数据安全,备份载体应实现多样化,可采用在线、离线相结合的方式实现多套备份,并注意异地保存。

上述标准规定了电子文件归档载体要具备“脱机(即离线)、耐久性好、可异地保管、不可更改”等特质,并明确将光盘排在推荐采用的归档载体首位。

2.3 不同存储介质性能对比

可见,档案级BD在使用年限、总体拥有成本、防篡改、数据可读性、节能、抗灾等诸多方面明显优于硬盘和磁带。

2.4 电子档案蓝光归档存储策略

2.4.1 数据归档和数据备份的区别

在设计数据存储方案时,容易混淆“归档”和“备份”的含义,做出错误选择,造成不必要的资源浪费,甚至影响数据安全。因此,探究数据存储应用,有必要先澄清“数据归档”和“数据备份”的区别。

数据归档(data archiving)是将不再发生变化且不经常使用,但具备参考价值的重要数据移到一个单独的存储载体来进行长期保存的过程。归档数据是已转化为电子档案的数据,要求不能被修改或删除,必须保持其真实性和完整性。归档数据是静态的,不变的。

数据备份(data backup)是容灾的基础,指为防止系统出现操作失误或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储载体的过程。备份数据大多是仍在使用的数据,要求在授权的前提下允许被编辑。备份数据是动态的,可变的。

所以,在选择存储载体时,数据归档更关注耐久性、抗灾性和防篡改能力;数据备份更关注灾难恢复能力和响应效率。当然,无论是归档还是备份,存储介质的数据可读性都是首要的!

2.4.2 电子文件的逻辑归档和物理归档

所谓逻辑归档,是“指在计算机网络上进行,不改变原存储方式和位置而实现的将电子文件的管理权限向档案部门移交的过程。”逻辑归档是在线归档,是电子文件向电子档案的转化过程,也可以认为是一种临时归档。

所谓物理归档,是将逻辑归档后的电子档案“集中下载到可脱机保存的载体上,向档案部门移交的过程。”物理归档是离线归档,也可以看作是终极归档。

本文所探究的是电子档案的物理归档。

2.4.3 不同介质的归档存储代价

归档存储的选择,不能只考虑初次采购费用,还应该考虑数据存储一定期限的总体拥有成本(TCO)。所谓总体拥有成本(Total Cost of Ownership,TCO),可以被描述为资产购进成本及在其整个生命服务周期中发生的成本之和。TCO不等同于资产的购买成本,它还要包括资产购进后运营和维护的费用。

因此,归档存储的TCO应从软、硬件的初次采购、后期运维、能耗以及数据迁移几方面来分析考量。图11是100TB归档数据保存20年,硬盘、磁带和光盘三种存储介质的TCO对比分析,很显然,使用光盘的归档存储模式总体拥有成本最低。

图11 不同介质归档存储TCO对比

2.4.4 电子档案的终极归宿是档案级BD

电子档案归档载体的选择,可以参考以下因素:

  •         电子档案需要长期保存,要求载体使用年限越长越好。
  •         电子档案不允许被修改、删除,要求可靠的防篡改机制。
  •         电子档案要求离线归档,应选择简单、安全、便于管理的载体。
  •         电子档案的物理归档载体要求更好的耐用性以及抗灾能力。
  •         电子档案归档应首选环保、总体拥有成本更低的存储介质。
  •         电子档案属于休眠数据,不需要很高的随机访问支持能力。
  •         要求因载体发生问题而进行的归档数据迁移有预警并且可控。

综上所述,现阶段,档案级BD是电子档案归档存储最理想的物理载体。

3 电子档案蓝光存储应用探究

档案级BD和专业级光驱都属于光存储基础技术,它们的诞生和发展,是实现电子档案蓝光存储的前提条件。然而,仅靠这两项基础技术并不足以完成海量电子档案的归档存储工作,还需要设计开发一套安全可靠的智能存储管理系统。

3.1 蓝光存储智能管理系统总体设计

蓝光存储智能管理系统,应该按照档案行业的应用特点和专业标准来设计。

首先,需依托先进的档案级BD和专业级光驱技术,进而,为实现自动化管理,应借助光盘库和离线库,并将二者有机地结合起来,以智能化地实现海量电子档案的自动分盘、刻录校验、数据调阅、长期保存、定期检测、数据迁移等诸多应用。整个数据归档过程应最大程度地自动化完成,并能够保证安全、可靠、高效、可审计。

该系统涉及的关键技术和主要应用为:自动化光盘库技术;海量数据的智能切分、自动分盘与自动刻录;BD的定期质量检测等。从技术框架上系统可分为数据层、支撑层、应用层和用户层四个层级,系统架构见图12。

图12系统架构

3.2 蓝光存储关键技术和主要应用

3.2.1 自动化光盘库技术

传统光存储应用是以单张光盘为单位进行管理。大数据时代,靠人工完成成千上万张光盘的刻录和管理,既不可靠,也难以实现!一种以片匣(可装载十几或几十张光盘)为管理单位,自动化机械手为执行部件的批量光盘管理设备——光盘库能够有效解决这一问题。针对海量光盘离线保管,还可以选用光盘离线库辅助管理。

光盘库是一种高可靠性的近线存储设备,源于德国和日本的精密制造技术,主要由机械手、片匣和光驱等几个部分组成。应用于光盘自动刻录及数据的近线存储和归档管理。单台容量可达PB级,是批量光盘归档、备份管理的最佳设备(见图13)。主要特点如下:

图13 PB级光盘库

  • 存储管理以片匣(见图14、图15)为基本单位,人手不会接触光盘;片匣有避光、防尘和锁定设计,确保光盘安全;采用RFID识别技术,是连接近线和离线存储的桥梁。

图14 片匣             

图15 第二代高密度片匣

  • 数据读写是通过机械手(见图16)在片匣和光驱之间自动移动光盘来完成,操作简单,无需人工干预,耐用性强,最大限度保护光盘并提高工作效率。

图16 机械手

  • 支持多部光驱同时并发工作(见图17)。

图17 光驱服务器模组

  •         运维简单、无需高成本维护人工。
  •         能耗低,随时使用随时加载,可以最大限度省电。

光盘离线库(见图18)属于离线存储设备,用于存放标准的光盘片匣,可实现离线光盘全方位数据查询管理。

图18 离线库

3.2.2 海量数据的智能切分、自动分盘与自动刻录

面对用户的海量电子档案归档,如何解决多达几百、成千乃至上万张光盘自动化刻录,保证数据的安全可靠,是一个极大的挑战!要做到这一点,应作如下要求(见图19):

  •         按档案分类、存储结构、文件类型、光盘容量等信息,对电子档案进行自动切分并实现自动分盘。
  •         支持定时刻录及批量任务,实现无人值守连续刻录。
  •         刻录过程中,系统能够自动检测、自动修复并重启任务,防止由于意外断电或刻录错误损坏数据。
  •         刻录成功的光盘自动进行校验,保证光盘可读性和数据完整性、一致性。

图19自动分盘刻录原理

3.2.3 BD光盘质量检测

光盘使用一段时间后,由于自然老化等原因,其信息层易出现退化,影响数据可靠性,需要定期进行质量检测。国家档案局《电子文件归档光盘技术要求和应用规范》DA/T 38-2008专门规范了归档CD/DVD的质量检测,其主要技术指标为BLER(块错误率)、PIE(奇偶校验内码错误)。但对于BD,目前国内还没有相应的检测标准,建议参考日本的JIS Z6017标准,该标准提出了基于随机符号错误率(RSER:Random-Symbol Error Rate)和突发错误(Burst Error)的BD检测指标和方法。借助于附带光盘检测功能的专业级光驱,能够很好地实现BD的质量检测(见图20)。

图20质量检测流程

BD质量检测意义在于,使数据可读性从以往只能在数据的“好”或“坏”之间进行选择,走向了更基础的存储介质可靠性监测,能够在光盘即将出现问题,数据尚可读取时及时挽救电子档案,使得存储载体的安全管理做到了“有预警和数据可控”,大大降低了电子档案长期存储的风险。这一点上,硬盘和磁带是做不到的。

3.3 蓝光归档存储实施策略选择

电子档案蓝光归档的实施,按归档时机可分为增量归档和存量归档;也可按归档前载体类型分为硬盘→BD;磁带→硬盘→BD;CD/DVD→BD;还可以根据存放地点分为本地归档和异地归档。

不同用户电子档案的性质、生成方式、IT环境、管理模式不尽相同,情况复杂,数据归档存储方案的选择上也多种多样,本文不做展开探讨,仅就蓝光归档存储的基本策略提出几点拙见,供观者参考。

首先,考虑到数据安全的即时性,即数据从生成那一刻就面临安全威胁,建议采用实时增量归档的策略,不仅可以最大限度地保证电子档案安全,而且还可以规避存量归档模式所面临的较高一次性投入,提高存储系统的使用效率;其次,若进行异地归档,建议和本地归档一起规划。这样有利于保持归档管理模式,特别是光盘检测模式的一致性,降低成本,杜绝管理死角;此外,也是最重要的一点!在选择光盘库和存储软件时,建议选择开放的技术和产品,以保证电子档案归档光盘的可用性与兼容性。

结束语

随着国家信息化进程的日益深入,互联网应用的不断创新,全社会对“信息安全”及“节能减排”的高度重视,海量数据归档存储在各行业的数字化应用中已成为一个刻不容缓,亟待解决的问题!电子档案的蓝光存储正是顺应了时势。

2014年1月美国圣何塞举办的开放计算峰会上,Facebook(脸谱)公司发布了PB级蓝光光盘存储系统,用于保存每年数以上千PB的庞大社交网络中访问频率较低或者从未访问过的信息增量。会上,脸谱公司CEO Mark Zuckerberg以及工程副总裁Jay Parikh着重强调了节能技术的发展在过去三年中帮助Facebook节约了12亿美元!……

互联网大数据已经行动了,蓝光离您还远吗?

 

参考文献:

1.《电子文件归档与管理规范》GB/T 18894-2002

2.《电子文件归档光盘技术要求和应用规范》DA/T 38-2008

3.《企业档案工作规范》DA/T 42—2009

4.《缩微胶片数字化技术规范》DA/T 43—2009

5.JIIMA長期保存用光ディスクを用いたアーカイブガイドライン

6.JIS Z6017電子化文書長期保存のためのBlu-ray Disc™検査基準及び取扱いに関するガイドライン

7.蓝光光盘技术全析  符通

注释:

OPARG¹:光盘归档联盟,由光驱主流厂商先锋公司和全球最大光盘生厂商三菱公司发起成立的国际组织。

JIIMA²:日本图像和信息管理协会,JIIMA促进文档信息管理超过50年,是日本唯一的官方指定组织。

北京星震同源数字系统股份有限公司

2018-07-21