日期:2014-05-16 浏览次数:20546 次
数据量的爆炸性增长,让我们不得不更加关心存储。这也造成了目前谈论“数据挖掘”、“知识管理”等话题更容易引起共鸣。现在所说的存储,并非是 简单的“存”和“储”的含义,不是把数据放在角落里就万事大吉的。更重要的是,我们要通过这些数据,进一步产生价值,提升企业业务能力,增加效益。这时 候,“存储”就演变成了更多的其他含义。比如“备份”、“数据归档”、“数据保护”、“数据挖掘”等等。那么在这些“存储”的替代名词之中,目前哪个是业 界谈论最多的呢?“数据归档”当属其一。为什么这么说?是有充足理由的。
备份与数据归档 即分散又统一
存储网络工业协会(SNIA)是如何解释数据归档的呢?SNIA在《网络存储双语词典》中的解释是——Archive(数据归档)是指数据集合 的一致性拷贝,通常用以长期持久地保存事务或者应用状态记录。一般情况下,数据归档通常用以审计和分析的目的,而不是用于应用恢复的目的。
上面的解释太术语了,不好理解,那么我们可以用备份和数据归档作一下对比,因为备份是很多人容易理解的名词。备份和数据归档都是数据存储的应用形式,只是应用目的不同。
先来看看备份,其实就是对数据进行复制,是为了确保在出现数据丢失或系统灾难时将复制的数据恢复回来。因此备份关注的是业务信息的变化和更新,是短期的存储行为,并且经常被覆盖。比如银行每天要备份交易记录。
根据备份的解释再来看数据归档就很好理解了。数据归档是针对“海量数据”的应用,是对数据进行有计划的迁移。当数据停止改变或不被频繁使用时,通过数据归档把它们转移到别的地方,让出主存储空间,并且使之处于日常的备份窗口之外,既节约了空间,又提升了备份的效率。
那么根据上面的解释,如果再简化来说,那就是“Ctrl+C”和“Ctrl+X”的区别,备份是复制,数据归档是剪切。当然,这只是为了方便理解的比喻,其实里面的玄机还是很多的。
备份和数据归档虽有区别但又互相联系。只要涉及到数据归档必然会有数据备份的需求,并且两者都是对存储设备进行操作,因此它们完全可以基于同一 技术体系来实现。所以我们看现在的主流存储厂商推出的都是“数据管理软件”,既能备份,又可以数据归档,大有“分而合之”之意。目前,备份和数据归档常常 放在一起考虑,统称BURA (BackUp, Restore, Archive)。两者相似之处都是用复制来保护重要数据不被损坏或丢失。常见的BURA解决方案是D2D2T,就是Backup Disk to Disk, then to Tape。这样满足了对备份速度的要求,也满足了对大容量长保存时间的数据归档要求,平衡了各方面的需求。
厂商推出的软件既然如此,那么企业对数据归档与备份的需求也是分不开的。对企业而言,备份和数据归档具有两种不同但互补的功能:备份用于快速复 制和恢复,以减少故障、人员错误或灾难带来的影响;数据归档则用于对数据进行有效的管理、保留和长期的访问与检索。企业可以将数据归档和备份结合起来用, 以达到优化成本、改进存储基础设施的整体效力,使备份能够在有效的数据归档解决方案下变得更有效率,而数据归档也可以利用备份基础设施满足数据保护需要。
需求飙升 容量左右应用
随着数据量的爆炸性增长,数据归档的需求明显增多。IDC在发布《2007年第三季度全球存储软件市场收入》时,其存储软件分析师 Michael Margossian曾说到:“整个市场受到数据归档和数据保护与恢复软件市场强劲需求的推动。企业对备份软件的需求似乎有所降温,对数据归档软件的需求 逐渐抬头。”
那么对于企业来说,在当前的市场竞争环境中,需要增加数据分析能力以提升竞争力非用“数据归档”不可。比如我们查询每月电话费,目前只能查到6 个月之内的费用。而一年前的话费呢?并非电信部门将此数据删除了,只是没有让其显示给用户。这些更久远的数据是被“数据归档”了,但是又可以供电信部门随 时查看。当电信部门需要分析话费,进而推出新业务时,就会从数据归档数据中调出这些“年代久远”的数据来。国内一家制造领域大型企业CIO的感触也十分 “直白”。他认为,“让数据赚钱,比让数据省钱来的更加有价值。”这也表明了,数据归档比备份来说,更容易帮助企业提升竞争力。
可以说,数据归档是在企业实施备份方案后的进一步对数据的梳理。为什么说是在备份基础之上的升华呢?因为没有备份数据的情况下,谁敢“剪切”。 所以备份是前提,数据归档是提升。而且数据归档也比备份的前提条件要求更多。首先就是容量的要求,一般量级都是在TB级甚至PB级。对于不到TB级存储量 的企业来说,与其采用数据归档,还不如直接加大磁盘容量来的实际。比如佛山伊戈尔这家致力于向全球市场提供电源变压器、电力变压器和变压器铁芯组件的专业 供应商,其IT部门负责人欧建文在接受记者采访时介绍道:“在容量方面,佛山伊戈尔邮件数据库120GB、工程资料文件70GB、一般应用系统SQL数据 库120GB、Oracle数据库及应用有170GB,总共480GB的数据量。由于数据量不大,我们确实对数据归档技术没有需求,只是使用了备份功 能。”
但并不意味着现在没有应用数据归档技术的企业对这项技术就不关心。比如2007年,SNIA完成了一项全面调查,该调查涉及了来自世界各国各种 组织的数百人。令人惊讶的是,80%的人说他们的信息必须保存50年以上,68%的人说他们的数据必须保存100年以上。这样保存数据的话,容量增长可想 而之。所以佛山伊戈尔也看到了这种数据爆炸增长的趋势,在制定未来3年IT建设规划时,“数据归档”已经跃然纸上。欧建文对记者说:“目前数据归档技术已 经排在佛山伊戈尔未来3年内应用的日程上了,未来会首先在ERP、财务信息和邮件方面应用数据归档。”
ILM解决数据归档难题
虽然数据归档的需求正在逐步崛起,但是摆在我们面前的难题其实还有很多。其中最主要的有两个难点:数据长期保留和法规遵从。数据保留的时间远远 超过存储系统(磁盘或磁带)和应用程序的寿命。对于长期数据归档(15 年以上),最大的挑战是逻辑迁移。逻辑迁移保持了应用程序的特定性,自动化主要流程变得更困难。完整“保存”需要保持数据的可读性和可解释性。
在法规遵从方面,随着越来越多的商务运作采用数字方式进行记录和存储,制定用以管理商务和数据的相关法律法规越来越多,未能遵从这些法规而造成 的后果也变得越来越严重。除遵从政府的规范法规之外,组织还需要制定自己的内部政策和规程,缓解风险和控制 IT。层层的法规遵从给数据归档增加了难度。
目前在磁盘或磁带上做备份、数据归档,每隔3~5年就需要迁移一次数据(同时在物理上和逻辑上)。物理迁移需要将信息从一个物理存储系统移到另 一个系统,或从一种介质格式移到另一种格式以维持物理可读性、可访问性和完整性。逻辑迁移需要将信息从一种逻辑格式移到另一种格式(如从应用程序的旧版本 移到新版本),以保持可读性和可解释性。所以,对于上面提到的SNIA调查得出的结论,“绝大部分人希望数据保存50年甚至100年”,那么存储于磁带, 则要面临读取困难和保存时间不够长这样的问题。简而言之,我们需要保留信息的时间远远超过存储系统(磁盘或磁带)和应用程序的典型生命周期。甚至保留期还 没到,物理介质就开始退化,变得无法读取。
那么有没有什么方法,既可以长久保留数据,又可以增加容量,还能快速读取数据呢? SNIA长期数据归档和法规遵从存储计划 (LTACSI) 主席、NetApp全球实践总监Gary Zasman给出的建议是:针对应用程序、操作及数据存储库实施正式生命周期管理流程,以在使用寿命中解决数据管理的效率问题。
目前,在数据归档中应用ILM(Information Lifecycle Management,信息生命周期管理)的理念已经逐步被用户接受,这不仅能帮助企业从整体上改善其数据资产的管理,以最低的成本来实现大量数据的有效 管理与高效利用。并且随着应用的成熟与现实的需求,数据加密、身份认证、虚拟化等技术也逐步走进数据归档的应用中,并且有效地提高了数据归档应用的效率, 增强了数据安全性,大大降低了操作的复杂性和成本。
数据归档技术走向何方
一个好的存储数据归档系统可以帮助企业实现以下目标:降低保留历史数据的成本;更有效和快捷地对历史数据访问和利用;减少保护和维护信息所需的 人力管理成本;保护数据归档数据的安全性。但是对于数据的读取,数据归档现在还不能做到尽善尽美。比如我们现在拿起一本100年前的书,可以毫不费力地进 行阅读,而几年前的备份磁带,读取可能要困难得多。即使有正确的硬件来读取磁带(且磁带本身仍然完好),我们还是需要知道磁带的写入格式,且需要可以识别 此数据的应用程序。
在IT应用早期,磁盘阵列不像今天这么发达,磁带库是主要的备份技术。如今,硬盘越来越便宜,不仅磁带在备份中的应用减少了,甚至有人提出用磁 盘阵列来做数据归档,全面取代磁带库。但是,由于磁盘阵列的技术特性所决定,存储在其中的资料都处在热状态。这就是说,用于数据归档的磁盘存储系统不应该 关机,其重新加电的过程也很复杂。而在提倡“绿色计算”的今天,长期开机很不利