数据云存储方案汇总十篇

时间:2023-03-06 15:54:36

数据云存储方案

数据云存储方案篇(1)

中图分类号: TN915.08?34 文献标识码: A 文章编号: 1004?373X(2017)03?0079?03

Encryption solution for mass data secure storage of cloud storage server

ZHU Rong1, ZHOU Cailan2, GAO Rui1

(1. Hanjiang Normal University, Shiyan 442000, China; 2. Wuhan University of Technology, Wuhan 430070, China)

Abstract: The cloud storage developed by computer network technology is a service to provide the data storage and access for users, which is developed based on the cloud computing. The key concept and relevance structure of the cloud storage are introduced in detail, and the cloud storage security problem at present stage is studied. A suitable data encryption solution is put forward, which can protect the data privacy effective for users, and play a main significance for the development and application of the cloud storage.

Keywords: cloud storage server; mass data; secure storage; data encryption solution

1 云存及其基本结构

1.1 云存储的定义

云存储(Cloud Storage)通过集成合作软件技术,以计算机网络技术为基础,分布式存储技术、海量数据存储技术为核心,使接入网络的各类型计算机存储设备将各种信息传输至外界,同时提供业务访问、信息共享等服务的系统。

1.2 云存储系统的结构

云存储是开放式的网络访问平台,它的软硬件设备众多,例如服务器、客户端、网络装置、应用程序、登录接口等。每个核心硬件设备均以为使用者提供数据存储及数据交换访问应用程序和软件为基础。云存储包括如下四个层次的结构体系:

(1) 存储层。它是由存储设备、服务器和网络设备组成,是云存储中下层基础的部分。

(2) 基础管理层。该层为云存储的核心部分,能够实现最为重要的功能,除了保证系统的功能使用和系统性能的稳定要求,还能够实现信息数据的加密和备份等工作。

(3) 应用接口层。作为应用软件开发的重要层次,提供系统的应用软件进行开发和更新升级的功能。

(4) 访问层。该层为客户访问及信息交换的应用程序端口,达到实现云存储数据共享的目的。云存储服务的结构如图1所示。

1.3 云存储系统面临的安全问题

云存储系统是基于开放式的互联网络,如何保障用户信息数据的安全是当前云存储所面临的一个难题,以下就云存储系统面临的安全问题进行具体说明。

(1) 传统的安全域划分无法保证云存储的安全。由于云存储的服务必须具备开放性的扩展空间,准确划分其安全界限是极为困难的,对于用户来说,无需清楚云存储的内在运行机制,使用传统的安全域划分并不能保障使用者的信息安全。

(2) 云存储数据网络传输的泄密问题。在开发式的网络上传输数据容易造成数据的泄密,黑客或者恶意攻击者通过网络技术对数据进行篡改和窃取,轻易就能获取客户的数据,对云存储的发展带来不利的影响。

(3) 云存储数据的安全防护问题。如何确保用户在云存储数据的完好以及数据的分散存放等必须采取安全防护措施。传统的数据加密仅用于在互联网络上的交流传送,而对已经保存在存储器或服务器上的数据缺少必要的防护手段。

(4) 云存储数据的可用性和可靠性问题。由于目前云存储存在缺陷,纠错、兼容性及数据恢复完整的功能存在一定的问题,如何在突发事件、不可预见的不利条件下造成服务中断及对数据的破坏等问题,目前没有很好的解决。

2 云存储安全加密解决方案

出于达到使用者数据与隐私不被泄漏的目的,要将加密步骤应用到数据处理过程中。加密操作完成之后,数据在网络内的传递过程就具有安全性。对于关系型数据库而言,使用最多、最为常见的模式为数值型和字符型。完成数值型的加密工作之后,对把初始数值的可比性及分布顺序等特征改变,字符型的加密工作和数值型的相似。为了确保云存储数据库内数据的安全性与隐私性,要设计一种可靠的技术。按照关系型数据库的特点和现实使用要求等因素,设计其加密技术时,要考虑到:此类数据库具有较长的数据存储周期,所以加密水平需要较深,保证其破解难度高;数据被加密之后,不可以占据较多的存储空间资源;加密与解密工作需要具备时间短、安全性好、易于进行标准化的操作等特征,不能影响整个数据库的使用效率。为了满足数据库这种高要求,将对称加密技术应用到数据库加密工作中具有适用性。在对称密码技术中,分组密码技术具有代表性,它的特征是具有较高的加密速度,具体过程为固定改变某一明文数据块,通过软件完成这一工作的难度较低。除此之外,分组密码技术适用于加密存储及保密传输等过程中。

2.1 数据加密存储方法与安全性

为了保障云存储数据库服务的安全性,提出基于云存储服务端海量数据安全存储的加密技术开发策略,此策略利用初始向量的改变对数据库包含的密文排列规律进行调整,初始化向量可看成是密钥客户端,将改变次数保存在数据库内就能防止频率攻击行为对数据库产生破坏。出于降低数据库加密之后冗余度的目的,使用基于数据项的加密方式对云存储数据库中的重要隐私数据信息进行加密保护。使用分组密码算法的技术对数据信息进行加密处理,将某一TINTINT数据保存在数据库内部即可,根据实验结果及相应的归纳分析可知,此技术不会造成很大的冗余度。

用户在和云存储库发生数据交互的过程中,数据信息量大且使用的是公共互联网络,数据的安全保障难度极大,使用常规的数据库加密方法,对所有改变过的初始化向量均要进行保存,这会导致冗余度较大,按照重复的数据读取历史信息,黑客等破坏者就能攻击相应的库,导致库中数据及隐私发生泄漏。所以要在客户端中存储初始化向量,将最开始的向量IV改变的次数保存下来,达到降低存储量的目的,确保向量的隐私性与安全性,对于库而言,加密它的技术具有隐密性,只有初始化向量的改变次数显露出来。在解密重要数据的过程中,要按照主键运算有多少次循环,即[n]次数值对现阶段的初始化向量进行运算。

2.1.1 线性搜索算法

该算法在加密工作中的对象是明文数据,它通过对称加密的方法处理明文数据。所有关键词均有对应的密文数据,此算法将产生特定长度的伪随机序列,这一长度要比密文数据的长度短,然后随机序列和密文数据一起进行判断,产生校验序列,接着通过伪随机和校验序列再次加密密文数据。用户进行存储及数据检索时,必须提供与明文信息相匹配的密文信息序列。如果不能提供出密文信息序列,则系统拒绝使用者的检索要求。

此算法具有一次一密的特征,它的长处在于统计分析及抵抗检索的水平很高,不过它也存在一定的缺陷,每次使用该算法均要匹配密文数据,对于存在海量数据的云存储服务端的应用环境中难以得到利用,对其广泛的普及应用带来不利影响。

2.1.2 基于关键词的公钥搜索

针对云存储与云计算资源分布的不均匀对称性及使用者在移动环境下对信息存储及数据检索的要求,国外科技工作者开发出基于关键词的公钥加密搜索算法,算法通过区分明文关键词和密文分别生成公钥、私钥,通过公钥来加密需要检索的明文关键词,然后将对应的密文数据检索出来。

2.1.3 安全索引

安全索引这种技术最早是由国外专家设计出来的,它的基本理论是加密时需要的密钥是由预先产生的某一逆Hash序列提供的,然后在布隆过滤器内保存加密之后的索引。进行检索工作时,第一步是通过逆Hash序列密钥产生数个陷门,接着布隆过滤器就发挥作用,解密反馈的密文数据就能得到需要的信息。该方法在简单的索引技术中适用性较好,可以有效地防范统计攻击等行为,不过它也有一定的缺陷,即密钥序列的规模很大,当检索数目不断提高时,检索时间会越来越长,产生的效率也相应降低,计算更为复杂,难以在云存储服务中得到有效的应用。

2.1.4 引入相关排序的加密搜索算法

排序搜索算法的原理:通过保序加密技术来加密所有文档包含的关键词词频。此方法在提交加密文档查询指令到服务器之后,第一步是将包含关键词密文的文档找出;第二步是重新排列通过保序加密技术处理的密文词频数据;第三步是将评价值大的文档反馈至用户端,然后使用者开展解密操作。

该方法为了把检索出的最为匹配的文档信息反馈给使用者,在给定多个可能相关文档的情况下对加密文档进行排序。这种方法存在的缺点是不适用于一个查询中包含了多个关键词的情况,而且此算法只利用了文档中的词频信息,无法利用词的逆文档频率,因而向量空间模型无法直接应用。

2.1.5 基于全同态加密的检索方法

在对当前的加密检索算法进行研究之后发现,要保证查询全面与准确这两大要求,设计了一种新型的加密检索算法,即面向云存储程序的全同态技术。

全同态技术的原理是通过向量空间模型将查询出来的文档和未查询的数据间的相关度计算出来,接着统计倒排文档及检索词的频率,再通过全同态技术加密相应的文档,并将相关的索引技术构建出来。在检索之后,服务器会收到索引密文和加密文档。利用这种技术加密的明文信息无需将明文恢复就被准确检索到,使用者能获得相关度最高的文档。这样使用者信息的隐私性和安全性就得到了保障,还使检索效果更加出色。

2.2 密文访问控制

对于大多数云存储服务的使用者来说,在开放性的互联网络和市场经济激烈的商业竞争环境中,选择提供云存储服务的供应商能否保证用户的重要信息和敏感数据是非常重要的前提,并不是只对数据开展传输工作。该方法的应用场景为服务器端不具备可信度,它能够保证所存储数据的安全性,云存储才能得到更为广泛的应用。密文访问控制流程如图2所示。

3 结 论

S着云存储的快速发展,用户对敏感数据及隐私数据提出了保护要求,如何保障云存储服务端海量数据的安全存储,本文从技术层面提出了加密解决方案,为使用者提供更为完整、安全的存储服务。

参考文献

[1] 陈臣,马晓婷.数字图书馆云存储系统安全架构与安全策略研究[J].现代情报,2011,31(9):160?164.

[2] 冯登国,张敏,张妍,等.云计算安全研究[J].软件学报,2011,22(1):71?83.

[3] 林秦颖,桂小林,史德琴,等.面向云存储的安全存储策略研究[C]//2010年第16届全国信息存储技术大会(IST2010)论文集.广州:华南理工大学,2011:240?243.

[4] 黄永峰,张久岭,李星.云存储应用中的加密存储及其检索技术[J].中兴通讯技术,2010(4):33?35.

[5] 刘国敏.云存储数据安全研究[J].信息安全,2008(6):72?76.

[6] 田志英.浅谈云存储安全性与标准的制定实施[J].科技创新与应用,2012(27):51.

[7] 王伟杰.解析网络的云存储模式[J].信息与电脑(理论版),2012(11):102?106.

[8] 刘金芝,余丹,朱率率.一种新的云存储服务模型研究[J].计算机应用研究,2011,28(5):1869?1872.

[9] 洪澄,张敏,冯登国.AB?ACCS:一种云存储密文访问控制方法[J].计算机研究与发展,2010,47(z1):259?265.

[10] 陈海波.云计算平台可信性增强技术的研究[D].上海:复旦大学,2008.

[11] 张明和.云存储应用发展研究[J].信息化建设,2004(2):15?19.

[12] 王立伟.基于云计算的用户核心数据保护模型研究[J].武汉大学学报(理学版),2013,59(2):165?170.

数据云存储方案篇(2)

0引言

用户可撤销系统云存储数据的审计问题是云存储数据审计的现实难题。

一开始人们发现将数据存储在云上,用户可以从本地数据存储和维护开销中解放出来享受极大便利;但是外包数据却面临到许多安全挑战[1-4],因此,一系列各种要求在不泄露完整数据知识的前提下确保远端存储数据完整性的审计方案被提出。例如:Juels等[5]提出了一种证据可恢复的POR数据可取回证明(Proofs of Retrievability, POR)审计方案;Ateniese等[6]提出了一种名为PDP数据可证明持有性(Provable Data Possession, PDP)请补充POR和PDP的中文名称和英文全称。的数据持有性证明审计方案;Shacham等[7]利用短签名构造了有效的POR公开审计方案。但是这些方案不考虑用户数据的隐私保护,事实上,用户的数据可能被泄露给一些好奇的敌手,这些缺点将极大地影响这些方案在云计算中的安全性。从保护数据隐私的角度出发,用户可以委托第三方审计者(Third Party Auditor, TPA)来保证他们存储数据的安全,同时他们也不希望这个审计过程由于未经授权的信息泄漏对他们的数据安全造成新的威胁。未授权的数据泄露仍然在于潜在的加密密钥暴露的潜在风险。2009年,Wang等[8]提出了一项保护隐私的云存储数据公开审计方案,方案依托同态认证技术和随机模化技术完成了隐私保护公开认证,并利用双线对标签聚合技术实现了批处理。

自Wang等[8-10]与Zhu等[11]提出了一系列经典的具有保护隐私功能的云存储数据公开审计方案后。人们很快注意到之前几乎所有的审计方案都是固定用户在计算云存储数据的完整性验证标签,即这些审计方案,要求在整个数据管理周期使用云存储服务的都必须是同一个用户。这是因为,云存储服务中数据的完整性验证标签是由用户用自己的私钥签名生成,然后在公共审计过程利用公开信息进行验证。这样的云存储数据审计模式在真实情况下是不现实的。一方面,在一个审计系统中经过一段时间用户的公钥可能更新;另一方面,用户可能只是一个公司的数据管理者,他可能因为各种原因而离职,例如因为高薪而跳槽。因此,出于现实考虑,一个云存储数据审计方案应该支持有效的用户撤销。

Wang等[12]首先引入了共享云存储审计问题,提出了一个基于群签名的用户可撤销的自我审计方案,以及一些基于动态广播重签名方案和双向签名的共享云用户可撤销公开审计方案[13-14]。随后Yuan等[15]使用了一个类似的群签名技术提出了一个公开方案版本。由于都涉及到群签名和广播加密技术,以上的动态可撤销审计方案的效率都不满足实际需求。

2015年Wang等[16]提出了一个高效的用户可撤销公开审计方案Panda。此方案借助重签名技术,将不同用户的数据块签名转换为当前用户签名形式,从而很好地满足了用户动态可撤销系统的云存储数据审计需求,是此类问题当前的最优解决方案,但是文献[16]的方案局限性中,提到云服务器与已撤销用户合谋可能会造成用户私钥的泄露,并在文献[16]中明确提出在下一步工作中希望通过一个多层的重签名方案来解决这个问题。

基于文献[16]的构思,本文提出了一个单向的重签名方案,修改密钥的计算是通过对撤销用户的公钥进行处理得到,不存在私钥泄露的风险。另外本文的用户可撤销云存储数据审计方案支持第三方公共审计,能够更好地支持对云存储数据的日常例行审计工作。最后效率分析与比较表明,方案在通信开销与计算复杂度方面更具有优势。

1基本模型

正文内容基于重签名的用户可撤销云存储数据公共审计方案如图1所示,支持用户可撤销的云存储数据公共审计方案与上述基本云存储审计方案有很大不同,其方案主实体涉及到多个用户。从现实考虑,数据属于公司,而非数据管理者。在某一个时期通常只有一用户对存储数据进行管理;但是某一段时期内却可能有多个用户对存储数据进行管理。即,一段时间后当前用户可能不再适合管理存储在云上的数据,他可能被别一个新的管理者替换。

本文假设,最开始有一个用户代表公司和组织将数据上传到云服务器,这个初始用户可以记作U0,然后公司雇佣数据管理者,显然数据管理者不是终身制的。在一个数据管理者离职前他需要向新的数据管理者移交数据,继承者需要对这些数据进行审计确认,他的前任尽职地完成了他的数据管理工作。假定,将数据存储在云上的数据存储模式是简单而有效的,公司和组织每一个时期只需要一个数据管理者就能很好地完成数据管理任务。按照时间先后对除U0以外的数据管理者排序为U1,U2,…,Um,m为正整数。相应地对应外包存储在云上的数据按照不同管理者的任期被划分为T1,T2,…,Tm周期。在这里,显然每一个用户只有在周期结束时才会向继任者移交数据。(注:对于第一个用户周期来说,用户U1可能就是初始用户U0;但是也可以委托一个新的用户U1来完成数据管理工作,在文中统一分开记录。)

初始用户U0首先将整个数据文件分成n个数据块,并用自己的私钥计算相应的数据存储标签σ,然后他将所有数据和标签都上传到云服务器以完成数据的最初上传。用户U1在T1期间内进行数据管理,并在T1周期结束时被U2所取代,U2也将被U3取代,一直到Uj取代Uj-1, j∈{0,1,…,m}。Uj为当前数据管理者。因为标签和用户相关,一旦用户撤销了,标签也应该作相应的修改。一个直接的方法就是使用当前用户的私钥重新计算这些数据块的标签。然而,这并不是一个可撤销的云存储审计系统,因为这样将带来沉重的通信和计算负担。一个比较理想的方法就是使用重签名技术,将所有存储在云服务器上的数据标签转换成当前用户签名的模式。

最终对于当前用户来说,云服务器上存储的数据mi的标签σ最后都会转化为σ(j)i。考虑到云用户构建一个进行数据无误性检验的云环境是不可行和代价高昂的,因此为了节省进行存储数据周期无误性验证的通信资源,减少在线负担,云用户可以委托第三方审计者(TPA)来执行安全审计任务,因为他是经济并且可以自动运行的;但是,云用户同时希望对TPA保持数据的隐私性。为了方便区分,本文用σ(j)i表示用户Uj用自身的私钥对mi签名生成的数据验证标签。

2基本知识

2.1双线性映射

G1、G2、GT是阶为素数p的循环群,g1是群G1的生成元,g2是群G2的生成元。双线性映射e:G1×G2 GT,满足如下的性质:

1)双线性性。给定元素u∈G1,v∈G2,对任意a,b∈Zp有e(ua,vb)=e(u,v)ab。

2)非退化性。e(g1,g2)≠1。

3)可计算性。存在一个有效的算法,对任何可能的输入都能有效地进行计算e。

4)可交换性。e(u1?u2,v)=e(u1,v)?e(u2,v)。

2.2困难性假设

Computational DiffieHellman(CDH)假设群G是一个阶为素数p的循环群,g是群的生成元,给定两个随机元素ga,gb∈G,输出gab是困难的。

Discrete Logarithm (DL)假设群G是一个阶为素数p的循环群,g是群的生成元,给定一个随机元素gc∈G,输出c是困难的。

2.3重签名算法

为了实现前面基本模型中所描述的支持用户动态可撤销的这一功能,并能持续地保证云服务器上存储数据的完整性,基于文献[17]中的重签名算法,作出了进一步的改进。通过当前用户私钥结合已撤销用户公钥生成新的重签名密钥来保证即使云服务器与已撤销用户合谋也无法影响数据的安全性。新的重签名算法和步骤与文献[17]相似,其中最重要的签名步骤如下。

3支持用户可撤销的云存储数据公共审计方案

3.1Panda方案的问题

下面描述Panda中重签名方案实现签名转移的主体部分。

1)在签名算法Sign中,给定私钥skA=a,数据块m∈Zp身份id,用户uA输出基于数据块m的标签:σ=(H(id)ωm)a∈G1。

2)在修改密钥生成算法ReKey中,通过以下步骤生成一个重签名密钥rkA B:

a)生成一个随机的r∈Zp,并将它发送给用户uA;

b)用户uA计算并发送r/a给用户uB,其中skA=a;

c)用户uB计算并发rb/a给,其中skB=b;

d)恢复出重签名密钥rkA B=b/a∈Zp。

3)在重签名算法中,收到重签名密钥rkA B,后执行重名:

σ′=σrkA B=(H(id)ωm)a?b/a=(H(id)ωm)b。

4)在验证算法Verify中,用户uB通过验证公式:

e(σ′,g)=e(H(id)ωm,pkB)

对数据的完整性进行验证。

从上述过程中,清晰可见重签名密钥rkA B的生成,是基于用户uA与uB之间的私钥传递。虽然在这个过程中生成了一个密钥参数r∈Zp来对传递过程中的私钥进行保护,但是如果恶意云服务器()与已撤销用户uA合谋可以轻易计算出当前审计用户uB的私钥b,因此方案存在用户私钥泄露的风险。

3.2本文方案

在本节提出支持用户可撤销的云存储数据公共审计方案,该方案是基于2.3节的单向重签名技术构造的,如图1所示。方案中定义了一个半可信的第三方审计者(TPA),它将忠实地执行数据完整性的审计,由于它是好奇的,它可能会借助强大的计算设备从验证信息中通过解线性方程组恢复原始数据块信息,因此在方案中采用了随机掩饰码技术解决了这一问题。

4方案证明

4.1方案的正确性

4.2安全性分析

下面首先证明该方案能够抵抗恶意云服务器通过产生伪造的审计证明响应信息来欺骗TPA的审计验证过程。

定理1恶意的云服务器产生伪造的审计证明响应信息Proof来欺骗TPA的审计验证过程在计算上是不可行的。

证明假设存在恶意的云服务器(多项式时间敌手A)以不可忽略的概率ξ产生伪造的审计证明响应信息来欺骗TPA的审计验证过程。下面设置多项式时间算法(挑战者B)通过运行敌手A作为子程序也以不可忽略的概率ξ解决CDH困难性问题。算法B与对手A的信息交互如下。

私钥泄露问题根据上面定理1的证明过程,可以轻易发现即使云服务器与已撤销用户合谋,云服务器也不能够获取当前用户的私钥。这是因为方案中修改密钥的计算是当前用户利用自身的私钥通过对已撤销用户的公钥进行处理得到:ukj j+1=gxj/xj+1。如果云服务与已撤销用户想通过合谋获取当前用户私钥,就必须先以不可忽略的概率解决DL问题,再通过已撤销用户的私钥计算出当前用户私钥。而文献[16]中ukj j+1=xj+1/xj,如果云服务与已撤销用户合谋,那么云服务器很容易就能获取当前用户私钥。

在下面证明方案满足隐私保护性,即定理2。

定理2给定一个来自云服务器的审计证明响应信息Proof,对于好奇的TPA,它试图从中恢复用户数据文件,F={m1,m2,…,mn}中的数据块是不可行的。

证明组合信息μ′=∑i∈Qvimi是关于用户原始数据块的线性组合,一旦这个组合信息发送给TPA,这个好奇的TPA可以通过收集大量的组合信息,并借助强大的计算设备来求解这些线性方程组,从而恢复用户的原始数据块。为了防止TPA读取用户的原始数据块信息, μ′=∑i∈Qvimi需要使用随机掩饰码技术,具体如下:

云服务器利用伪随机函数f计算随机值r=fk3(challengeChallenge)∈Zp,并计算R=ur∈G,最后将μ′=∑i∈Qvimi盲化: μ=μ′+rh(R)∈Zp这样为了让TPA仍能解这些线性方程,TPA必须掌握这个随机值r,进而它必须掌握这个伪随机函数的秘密密钥,事实上,这个秘密密钥只有云服务器知道,因此TPA不可能知道这个随机值r,因此,对于好奇的TPA,它试图从审计证明响应信息恢复用户数据文件是不可行的。

5效率分析

在本章分析方案的通信和计算复杂度。需要注意的是与其他公共审计方案[9,12-13]一样,本文只计算频繁审计活动中通信和计算代价而不计算系统建立时的通信与计算代价。

用Pair表示双线性对操作,Exp表示G上的指数操作,MZ和MG分别表示Zp和G上的乘法操作。n、p、G分别表示{1,2,…,n}、Zp和G的比特长度。挑战中选取的数据块假定是个常量c,挑战中已撤换的用户数量总和也假设是个常量d。

1)通信开销。可以看到本文方案中通信负载主要取决于产生审计证明响应信息的通信过程。其中发送挑战Q={(i,vi)}到云服务器的通信量为c(n+p)。云服务器返回审计证明响应信息Vj=(μ,φ,{ε}∈[1, j],{γ}∈[1, j])的通信量为p+(2d+1)|G|,但是注意到只有在用户Uj发起的第一次审计请求中才需要这样的通信量,否则只需要传送通信量为p+|G|的(μ,φ)就行了,因此最终在一次审计过程中总共的通信开销为cn+(c+1)p+G。

2)计算开销。计算开销包括修改密钥生成、重签名和验证开销3部分,由于本方案支持第三方公开审计,所以只需要考虑修改密钥生成和验证开销两部分。对于用户Uj,在ReKeygen算法只需要计算gxj-1/xj,因此计算代价为Exp。根据上面提到的计算原则,并简化加操作和哈希操作后计算出验证开销为:

(c+1)MZ+MG+(c+3)Exp+2Pair

3)开销比较。如表1所示对比Wang等[16]方案,其通信开销为d?(p+G)+c?(id+n+p)必然大于本方案的cn+(c+1)p+G(两者相减后的值为(d-1)|G|+(d-1)|P|+c|id|,其中id为Panda方案中用户id的规模),其修改计算代价为nExp,比本文方案的计算代价Exp要高。验证开销为:

(c+2d)MZ+dMG+(c+d)Exp+(d+1)Pair,

亦明显高于本文的验证开销。

数据云存储方案篇(3)

北京兴宇中科科技开发股份有限公司(以下简称兴宇中科)的核心产品实际上是一个云存储引擎,主要做两方面的服务:一方面是提供给企事业单位的云存储、备份、容灾服务;一方面是提供给个人的网络存储和共享服务。

兴宇中科成立于2009年,由北京兴宇中科投资有限公司投资控股,是部级高新技术企业、北京市重点软件企业,在云计算、云存储领域拥有数项专利,专业提供企事业单位的云存储、备份、容灾、信息安全、信息化系统建设解决方案及个人的网络存储和共享服务。

兴云系统是兴宇中科与清华大学联合开发的新一代环境安全的移动云计算平台,是99盘的后台云存储核心。兴云系统基于虚拟化和云存储等核心技术,提供网络、计算机、移动存储一体化解决方案。

兴云系统有两个技术特点:一是集中在终端上的虚拟桌面,提供了一个安全的使用环境;二是基于分布式系统的安全通信机制,提供了快速安全的数据存储通道。

同时云存储产品推出类似网银“U盾”的加密终端Cloud Key (云秘盘),这样使得99盘云存储产品更具有灵活的配置、高效的数据流及高可靠性。

大数据时代激活企业对云存储的需求,同时更注重数据的安全性和稳定性。兴宇中科Hyperstor一体化数据保护解决方案是兴宇中科提供的一套操作简单的、综合的、性价比高的数据安全解决方案。

兴宇中科Hyperstor是主动式一体化的信息保护解决方案,使用新一代的架构模式,为企业各类数据,包括文件系统、操作系统、数据库、OA、邮件和ERP等,提供持续数据保护,实时备份容灾,任意数据回退等全方位的数据保护服务;提供数据内容安全、归档、重复数据删除,生命周期管理等数据管理服务。它为用户减少管理成本、购买成本、风险投入成本、存储成本和效率成本,提高了业务处理能力。

99盘:

全新的云存储系统

兴宇中科总经理郭松柳认为:“短期内,在云存储应用方面,谁能解决好用户体验,谁就有机会抢占先机,占领市场,让更多人使用就是竞争力。”

中小企业借助云平台发展已经是必然趋势,但它们普遍对成本很敏感,把财务应用、内部OA管理平台等放到云平台上,将会大幅减少运营成本。

很多跨国公司都已经开始提供云服务,如Amazon、Google、EMC、Cisco;国内的IT龙头企业如百度、华为、用友、阿里软件和各大运营商也都在进行这方面的探索。

由于网络带宽等基础设施的限制,在国内,云的应用并没有快速地走入千家万户。现在应用比较广泛的是政府、企业所使用的私有云或者叫专属云。各种互联网机构也正在将一些非关键性应用(如:非网站、备份、培训等)逐步迁移到公有云系统上,而那些对数据安全有较高要求,必须运行在企业防火墙内的应用则更倾向于私有云系统。

在个人云存储方面,国内做网盘的品牌也很多,例如华为、金山、115、酷盘和网易,他们的服务也各有特色,不过比较共同的问题,是通过客户端或者在网页进行上传下载,仅靠10位以内的软件密码进行加密,这样无法保证终端使用环境的安全,也就没法保证数据的安全。试想,如果银行让用户不用U盾,而只用Web网银管理大额的资金,用户肯定不放心,因为太容易被黑客破解。

网络存储是大势所趋,但是安全、速度是服务商需要解决的核心问题,也是用户最关注的问题。针对这两点问题,兴宇中科99盘的安全认证系统可以安装在U盘、移动硬盘或其他固态硬盘上。用户拿这个盘插入电脑会弹出一个个人的工作桌面,这个桌面上是常用的一些软件,这些软件和用户使用的这台电脑的软件是分开的两套系统。也就是说无论用户走到哪里,只要插上这个设备,它就是用户的个人工作环境,兴宇中科所提供的空间就是云存储空间。

目前兴宇中科99盘云存储系统已经拥有百万活跃注册用户, 数千TB的存储空间,存储超过2亿个文件。另外,云存储服务器分布在六个城市,连接电信、网通、教育网的十几个数据中心,通过路由算法,能为用户提供极快速的接入服务。

在安全问题上,兴宇中科通过几种方法使99盘云存储系统达到很高的安全度。

第一是文件加密。兴宇中科在终端缓存站对文件先加密,再进行切割,一个文件按照大小被切割成十几份到上百份不等,随后做一个随机排序,上传到路由服务器上,由路由服务器决定这些文件碎片放到哪些节点上,这样既保持了安全性又保持了数据冗余度。

第二是容灾备份机制。兴宇中科的服务器会自动、实时地将数据映像到地理位置相隔很远的备份服务器上。这样即使服务器有些存储硬盘损坏也能保持用户的信息不会丢失,这是解决文档安全的一个流程。数据冗余度越大,就意味着用户所占的资源和硬件成本越大,而兴宇中科的云存储架构可以将这种成本降到最低。因此无论用户到哪里,兴宇中科都可以将云空间中有效数据呈现给用户。

HyperStor:

持续的数据保护及实时恢复

兴宇中科HyperStor是一套能实现真正的CDP数据持续保护及实时恢复的一体化数据保护解决方案。

兴宇中科HyperStor不仅能保证客户业务的连续性,达到恢复时间极短,而且具有高保障性。兴宇中科HyperStor的操作简单易用,系统管理者无须关注数据的备份过程,仅当灾难发生后,简单地选择需要恢复到的数据备份时间点即可实现数据的快速恢复。

备份的目的在于恢复,而最困难的地方也是恢复。目前流行的快照、镜像等多种容灾备份解决方案,并不能很好地在企业单位遭遇业务中断时成功恢复数据。面对灾害发生时,企业通常有备份,却不能及时还原,企业单位用户迫切希望能够拥有实时恢复的超级保护系统。

兴宇中科HyperStor CDP持续数据保护是一种数据的连续时间点的保护技术,能在故障瞬间完成任何时间点的故障恢复,达到业务的快速连续的作用。和传统的灾难恢复技术相比,兴宇中科HyperStor CDP持续数据保护的优势显而易见。

由于运营成本的因素,很多企事业单位会对较重要的数据进行备份,而很少对操作系统进行备份。一旦故障产生,需要将数据迁移到新的服务器时,首先要做的是装机、配置环境,大量的时间都花费在了配置系统环境上。恢复业务的时间自然会延长。如何在符合预算的情况下,更快速地对业务进行恢复?

数据云存储方案篇(4)

“如果你鬯,就送他去纽约,因为那里是天堂;如果你恨他,就送他去纽约,因为那里是地狱。”这是曾经风靡中国的电视剧《北京人在纽约》片头出现的一句话。如今,用这种爱恨交加的复杂心情来形容企业对数据存储的感情似乎也很贴切,或者更直白地说:“爱数据,恨存储!”

为什么会有这种两极分化的感觉?企业信息化最终获得的实实在在的成果就是数据。数据是企业重要的资产,是带来商业价值的源泉。所以,企业有充分的理由爱数据。数据量的爆炸式增长,以及应用越来越复杂,使得数据的载体――存储设备的操作和管理越来越复杂,容易产生数据孤岛,使采购和管理成本日益走高,同时也影响了业务部署的速度。所以,企业也有很多理由“恨”存储。

爱也好,恨也罢,存储这道门槛是所有企业必须跨越的。尤其是在今天,随着云时代的到来,云计算、大数据、物联网和智能终端等技术蓬勃发展,如何以合理的成本实现高效的数据存储和管理,并且适应企业业务的云化发展,已经成为CIO面临的首要问题。

云上云下一致的服务体验

云计算时代,就是软件定义一切的时代,也是一切皆服务的时代。

现在,最流行的词汇就是“数字化转型”。从IT的角度说,数字化转型的核心就是利用IT实现业务的重构,其中业务云化是重中之重。

为了更好地支持云工作负载,就要采用标准化的x86硬件、分布式集群软件,实现横向扩展等。没错!不过,这些都是具体的工具和解决方案。在采用业务云化的产品和解决方案之前,还有更关键的一步,就是先要了解云的本质。

云计算,不再是购买软硬件、一次性支付采购成本,而是交付一种开箱即用的服务,用户可按需使用,并按实际使用量付费。这对用户来说真的是一种由内而外、从下至上的颠覆,从产品的架构设计到使用,从产品的管理维护到资金的使用皆是如此。

作为IT基础架构的重要组成部分之一,存储自然也不例外。在云时代,存储就是一种数据服务。

德国当地时间3月20日,华为在德国举行的一年一度的CeBIT(汉诺威消费电子、信息及通信博览会) 2017上,正式了存储即服务(Storage as a Service,STaaS)解决方案,在业界率先打造无缝跨云的体验,旨在为企业用户提供云上云下体验一致的存储资源服务,以及智能的数据和运维管理,从而帮助企业数据中心向云平滑演进。

其实,在3月10日举行的华为中国生态伙伴大会2017上,华为存储产品线总裁孟广斌在题为“数据按需服务,让云转型更敏捷”的主题演讲中已经提前曝光了华为存储即服务解决方案的一些细节。

如何才能真正做到存储即服务呢?孟广斌谈到了两个关键点:存储资源池虚拟化和资源调度自动化。通常,在存储架构的最底层是各类存储硬件,包括传统的磁盘阵列、混合型阵列、全闪存阵列,还有软件定义存储,以及第三方的存储设备等。正是这种异构的存储环境有时会让用户感到手足无措,也是导致数据孤岛的“元凶”。现在,又加上私有云、公有云等新的资源池,问题就更棘手了。

华为存储即服务解决方案厉害的一手在于,无论什么样的存储设备、介质,都可以被虚拟化成一个统一的资源池,闪存存储与传统存储、高中低端存储互相备份和容灾,数据可以在本地存储与云之间按需流动,通常只有20%~30%的存储利有率,可以提升至70%左右。

华为存储即服务解决方案基于业务咨询和最佳实践,将应用按工作负载分类,给出合理的SLA等级建议,使业务应用与存储之间能够基于SLA进行最佳匹配,避免过度购买,可以节省20%的整体拥有成本。

在这个统一的存储资源池之上,企业可以更好地实现智能的数据管理和服务,具体表现在:将数据资源按照性能、可靠性、数据保护等特性进行智能分类,自动配置给应用程序,简化了传统存储解决方案手动设置的复杂度和操作步骤,在此基础上,实现智能的故障分析、分钟级故障定位和修复,效率提升50%;基于趋势的预测,可实现智能的资源回收,提供数据流动决策建议,并自动执行,进一步简化运维管理。由于具有自助式服务发放功能,新业务上线的时间缩短至分钟级。

在上述这些基础的存储工作做好后,向云进行平滑演进也就水到渠成了。华为存储即服务解决方案具有广泛的生态兼容性,支持多厂商、多类型的存储管理,并提供开放接口,与各种云平台(VMware、Odin、BMC等)集成。华为还倡导创建了OpenSDS联盟,目前Dell EMC、富士通、日立、西部数据、英特尔等厂商已经加入。

孟广斌打比方说,华为存储即服务解决方案就是一个智能的存储“超级大管家”,重点解决了存储云化整合、智能数据管理和服务,以及向云平滑演进等关键问题。

华为STaaS八面玲珑

当前,许多企业都面临“双模IT”的挑战,即一方面要支持传统IT应用,另一方面还要支持云原生应用。华为存储即服务解决方案可谓八面玲珑。

在传统数据中心里,用户可以使用华为的存储即服务解决方案实现存储设备的集中管理,基于统一视图进行运维监控,基于服务目录实现存储资源的自动分配和数据保护,从而提升运维的效率,减少存储管理的人力投入。

而在云数据中心里,华为的存储即服务解决方案更是如鱼得水,可以作为云平台的专业存储管理和服务组件,基于开放的RESTful接口,被业界主流的云平台快速集成,为用户提供块、文件、对象等各类存储服务,以及快照、复制、迁移等数据服务,让用户享受“开箱即用”的便捷。

孟广斌表示,华为看到存储未来的发展趋势有三个核心点:存储服务化、介质闪存化,以及软件定义存储。这些都是业务云化的有力支撑。

通常来说,面向未来的云化业务,客户有三种云存储方案可以选择。第一类,独立的分布式云存储,包括分布式块、分布式文件、分布式对象存储,不过这类存储也有走向多协议融合的趋势。第二类,提供端到端堆栈的私有云。第三类,公有云存储服务。

华为认为,公有云与私有云在未来的很长一段时间内会并存。客户可以灵活地选择华为成熟的私有云存储,以及公有云存储服务,并可形成混合云方案,实现统一管理和灵活迁移。

数据按需服务迈出一大步

数据云存储方案篇(5)

引言

随着我国高等职业教育事业的蓬勃发展,各高职院校信息化建设水平也在逐步提升,数字媒体、数字校园的建设在各高职院校如火如荼地发展,许多高职院校纷纷推出自己的教育资源云平台.然而,随着教学资源平台的建设和发展,平台中心的数据在数量上呈几何级数增长,这就意味着需要更多的硬件设备以及更高的运行维护资金的投入,这也对平台上数据的存储、检索、分享和管理提出了新的要求.考虑到传统的数据集中管理、集中存储的模式已经不能适应大数据时代的发展要求[1],本文在云计算概念的基础上,提出了一种基于云存储的高职院校教育资源云平台的数据存储方案,其通过集中提供数据存储功能,能有效解决教育资源云平台上海量数据的存储问题,也可以为高职院校教育资源信息化建设提供技术保证.

1云存储技术

1.1云存储

云存储是随着云计算技术的出现而产生的一种新的存储方式,是云计算技术的存储部分,位于云计算技术的底层.它利用虚拟化技术将网络中大量的异构存储设备通过应用软件集合起来,虚拟化为易扩展、弹性、透明、可伸缩性的存储资源池.形象地说,云存储就是将目标资源存储在云端服务器,形成一个数据中心,并通过计算机网络为用户提供服务,其示意图如图1所示[2].

1.2云存储体系结构

云存储是一个集网络设备、存储设备、服务器、应用软件和客户端等于一体的系统,从功能上可以把它划分为四层:存储层、基础管理层、应用接口层和访问层,其体系结构如图2所示[3].(1)存储层.该层是整个体系最基础部分,其设备可以是网络附属存储(NAS)、存储区域网络(SAN),也可以是PC机上的硬盘等.(2)基础管理层.该层是整个体系最核心部分,它把存储层中分布在不同地域,且数量众多的异构存储设备通过应用软件集合起来,虚拟化为一个集中存储资源池.(3)应用接口层.该层是用户使用云存储服务时直接面对的界面,用户可通过该接口对云端的数据执行存取、修改等操作.(4)访问层.用户可以通过该层登录到云存储系统,享受系统服务.

2云平台数据存储的优势

大多数高职院校在未使用云计算技术构建教育资源云平台之前,教学资源一般都使用多个磁盘阵列来作为存储设备,这样做存储成本较高.而采用云计算技术构建教育资源云平台之后,由于云计算中的存储设备大多采用廉价的PC机群来充当,这与大容量专用的存储设备相比,存储容量更大,存储成本却反而降低.另外,由于传统的存储方式往往釆用非结构化存储,高职院校各部门之间各自为政,缺少统一规划,造成教育资源重复建设,而且各部门之间的教育资源可能存在访问和共享的障碍.云存储通过在教育云平台中建一个高效的数据存储中心,将各个院系的资源进行接入,不仅可以对高校资源进行统一整合管理,而且可以避免设备的重复投资以及存储空间浪费等问题.同时也有助于减少资源维护成本,提高资源存储的安全性、可靠性和可扩展性[4].

3云平台的数据存储方案设计

3.1体系架构目前主流的云平台有微软的Azure,Apache的Hadoop,阿里巴巴的阿里云,谷歌的GooleAp-pEngine,亚马逊的EC2等.鉴于Hadoop云平台具有可靠、高效、易伸缩、高容错、低成本等优点,本文采用Hadoop来搭建高职院校的教育资源云平台.该云平台借助云计算技术,将学院现有的软硬件资源和教育教学资源进行有效整合,旨在为全院师生提供一个开放互联、统一管理的应用服务平台.因此,云平台在设计时采用分层设计方式,将数据存储和处理、业务逻辑和应用服务三个核心内容分别放在架构层、平台层和应用层.其体系架构图如图3所示[5].

3.2数据存储方案设计

从图3可以看出,存储层位于最底层,由大量的异构物理硬件构成.这些物理硬件设备可利用虚拟化技术整合为逻辑上单一的存储设备.目前有多种云存储方案可供选择,如:光纤通道存储局域网络(FCSAN)、基于iSCSI技术的存储局域网络(IPSAN)、网络文件系统(NFS).不同的云存储方案对云平台的要求和影响是不一样的,有的甚至限制云平台的发展[6].鉴于Hadoop云平台的优势,本文采用Hadoop云平台实现分布式文件系统,简称HDFS.HDFS是Google的文件系统GFS的开源实现,具有低成本、高容错、可扩展性好,并支持超大文件的储存和流式数据访问模式等特点.因而将HDFS与现有教育平台相结合,无疑是一种较好的存储方案,它能为教育资源云平台提供海量的数据存储和高效的数据处理.

3.3HDFS工作机制

HDFS采用典型的主从式(Master/Slave)架构,由一个控制节点(NameNode)和多个数据节点(Da-taNode)组成.NameNode节点负责存储任务的管理与分配,其将文件系统的元数据保存在内存中,并维护整个文件系统及其命名空间,而实际的数据却是存储在DataNode节点中.同时,DataNode节点还响应来自HDFS客户机的读写请求,以及来自Nam-eNode的创建、删除和复制块的命令.其系统架构如图4所示[7].从图4可以看出,存储在HDFS中的文件首先被分成块,然后将这些块复制到多个计算机中(Da-taNode).而对于外部客户机而言,HDFS就像一个传统的分级文件系统,可以对文件执行创建、删除、移动或重命名等操作.另外,它还可以运行在由普通且廉价的机器搭建的集群上,从而被广泛用来搭建各种云平台[8].

4基于云存储的高职院校教育资源云平台的数据存储方案实现

4.1云存储系统的搭建

(1)硬件搭建.为简单起见,本文采用7台PC机和1台交换机搭建一个小型局域网,组成HDFS集群,其中2台作为NameNode节点(Master1,Mas-ter2),其中1台作为主服务器,1台为备用服务器,以便在主服务器暂停运行时快速进行切换,其他5台作为DataNode节点(Slave1,……,Slave5).其结构图如图5所示.(2)软件部署.每个节点均安装Linux操作系统及第三方软件JavaJDK、Hadoop和Zookeeper,并加以配置.其中,Hadoop的环境变量配置如下:vim/etc/profileexportJAVA_HOME=/usr/java/jdk1.7.0_51exportHADOOP_HOME=/usr/hadoopexportPATH=MYMPATH:MYMJAVA_HOME/bin:MYMHADOOP_HOME/bin(3)网络配置.为每个节点配置IP地址如图6所示.至此,云存储系统已搭建完毕.经过测试,可以实现云存储系统与教育资源云平台的连接.

4.2云存储功能的实现

通过对高职院校教育资源云平台的功能需求进行分析可知,云存储系统作为云平台的数据存储和管理中心,其主要功能列表如图7所示.由于HDFS的底层均是基于java开发的,还需要安装第三方软件eclipse,通过调用HDFSAPI接口程序,使用DistributedFileSystem类中的相关方法,可以实现云存储的相关功能.限于篇幅,以下仅以文件的上传为例,来说明实现云存储的功能[9].其主要方法如下:通过调用FileSystem类下的copyFromLocalFile()方法将本地文件上传到HDFS的指定目录下.执行代码如图8所示.通过测试发现,已将客户端位于localPath目录下的文件上传到HDFS中指定目录hdfsPath下存储,从而实现了文件的上传功能.

数据云存储方案篇(6)

目前,我国人事档案存储工作仍以手工操作为主,需要消耗大量的时间及人力,且档案的统一、精准、完整化管理难以实现。传统方式下人事档案管理工作的查询、处理能力较差,难以满足信息快速调取的要求,也不能有效实现人事档案信息的开发利用,无法提供高质量的人力资源服务。云存储技术的应用,使得档案管理工作变得便捷、高效,能快速为人力资源管理者以及档案需求者提供资源共享服务,大大提升了服务的质量和效率。此外,人事档案采用云存储的管理模式,不仅能有效避免无档、弃档、“死”档等情况的发生,还能减少档案管理人员的工作量,避免纸质档案遭受磨损与破坏,同时云存储能有效保证原始档案信息的完整性,杜绝档案资料损坏、内容遗失等现象。再者,人事档案作为各部门选用人才的重要参考依据,做好人事档案信息服务也是人事档案管理工作中的一项重要内容,而云存储在档案管理工作中的有效应用,能使该项服务工作的质量得以提高,有利于人事档案的充分利用,更好地发挥人事档案管理的工作职能。

二、云存储应用于人事档案管理存在的问题

云存储虽然是一项先进的技术,具有广阔的应用前景,但在目前的人事档案管理应用中还存在着一些问题,需要引起相关人员的重视,主要表现如下:

1.信息安全问题。云存储以互联网为依托,受到互联网各方因素的制约,最主要的是受到网络安全问题的影响。虽然云存储服务会采用各种方法防范网络安全问题,但网络攻击花样繁多、层出不穷,且电脑病毒不断更新、变化,严重威胁着网络安全,一旦网络安全出现问题,则会给人事档案管理工作带来麻烦,甚至出现档案信息被篡改、删除、泄露等情况。这就需要相关工作人员加强技术培训,确保云存储信息的安全。

2.访问限制问题。目前,人们对人事档案的重视程度越来越高,对其的利用开发也逐渐增加,这就使得个人档案信息被不断调阅与查询,难免会出现信息泄露、隐私被偷窥、权益被侵犯等问题。虽然云存储在人事档案管理服务方面设置了访问权限,增加了访问密码保障,但云存储加密技术还没有形成规范、系统的管理体系,如何有效防止越权访问、非法访问,实现用户检索活动的智能记录,还需要进一步完善相关技术。可见,云存储在人事档案管理中既具有查询、利用便捷的便利,也存在访问限制方面的问题,需不断探索,提升其效能。

3.数据管理问题。随着信息技术的不断进步,人事档案信息化程度也不断提升,档案数据的同步更新与备份问题日益突显。云存储环境下的人事档案信息同步更新还存在着多种问题,面临着多种挑战,不仅因网络限制使得信息更新系统受各种因素的影响而难以保证正常运行,降低了服务效率,而且信息同步更新缓慢还使得人事档案信息的完整性和保密性受到影响。此外,云存储属于共享平台,人事档案更新还涉及多个部门或机构,因而,单一方式难以保障档案的同步更新,这就需要改进云存储的应用系统,加强系统研究。

三、基于云存储的人事档案管理策略分析

1.完善人事档案云存储管理体系。要优化云存储管理,提升其应用实效,就需建立完善的管理体系。一方面需建立以人事部门为主体、档案部门为业务指导的管理体制,对于规模较大的人事档案管理部门,可建立专属的“云档案”管理系统,而小型人事档案管理机构则可依托大型人事档案管理部门构建“云档案”体系,实现资源的共享,降低管理服务的成本。另一方面需制定相应的制度规范,以使工作人员在人事档案管理工作中能照章应用、有据可依。对此,既要加强《档案法》《事业单位人事管理条例》的学习与运用,又可根据本部门的工作特点以及云存储的管理特点制定符合实际的制度及办法,以优化人事档案管理工作。此外,利用云存储实现资源共享,还应提升管理人员工作意识,以防重要信息被泄露,亦要便捷信息提取路径,实现管理的科学化、智能化。

数据云存储方案篇(7)

中图分类号:TP333 文献标识码:A 文章编号:1009-2374(2012)30-0061-03

1 云存储概述

云存储是伴随着云计算的兴起出现的一种新的存储形式,它把存储从计算机中抽取出来,作为一种服务来提供。云存储一般通过采用先进的分布式存储技术集中地管理数据,通过多种形式提供给用户使用。因此它实现了管理的统一性、数据保存的唯一性、使用的方便性和更高的安全性。

与云计算系统相比,云存储可以认为是配置了大容量存储空间的一个云计算系统。从架构模型来看,云存储系统比云计算系统多了一个存储层,同时,在基础管理上也多了很多与数据管理和数据安全有关的功能,两者在访问层和应用接口层则是完全相同的。

2 云存储的应用

云存储是一种存储服务体系,需要各种存储设备组成一个共享的存储池,通过软件应用平台对用户提供各种不同类型的存储服务。云存储可以面向个人提供网络磁盘、在线文档编辑、在线视频点播等服务,同时还能面向企业提供空间租赁服务和企业级远程数据备份和容灾等服务。随着云计算和高性能计算面向能源、机械制造、生物技术及广大科研机构的服务应用领域不断扩大,数据存储量也不断增多,需要大容量的存储空间作为计算服务的重要技术支撑。

3 云存储系统架构及技术实现

3.1 云存储系统架构

3.2 云存储系统技术实现

云存储是通过网络开放界面为用户提供完整的存储服务。用户可以直接使用存储相关的在线服务,比如网络磁盘、在线存储、在线备份或者是在线归档等服务。面向多用户的环境提供各种数据操作、共享功能以及跨平台的数据服务能力。一般地,数据都存储在本地磁盘上面或者存储在一个机房里。它能提供的共享和传输的灵活性比较差,只能局限于直接相连的设备。云存储彻底解决了这一问题,它提供共享服务,使得相互直接传输、分享文件变得更为简单,又由于文件是存储在服务端,不仅使得任何人、任何时间、任何地点都可以获取文件,就像存取本地磁盘的文件一样。目前,云存储系统解决方案主要分为两种模式。

3.2.2 方案Ⅱ。方案Ⅱ系统架构如图3所示。在方案Ⅱ的系统架构中,云存储系统应用软件部署在前端存储服务器中,通过网络对数据库服务器和磁盘阵列进行管理。数据库服务器用以存储用户信息、文件位置、权限等数据,磁盘阵列用以存储元数据文件,如果数据量增多,只需在磁盘阵列中增加磁盘进行扩容。前端服务器负责对外提供文件的上传/下载、共享、归档等功能的云存储服务。方案Ⅰ与方案Ⅱ结构特点对比如表1所示。

方案Ⅰ架构简单、易于部署,但是不具有大量数据的吞吐能力,随着数据量的增多会导致系统负载增加,影响存储效率。另外,方案Ⅰ不易进行存储空间的扩展,而且将文件数据和用户信息数据部署到一台服务器中会影响云存储系统的安全性。

方案Ⅱ具有海量存储空间的扩展能力,能够实现存储层设备的即插即用,方便扩容。另外,分布式架构将数据信息、用户信息、Web应用服务分别存放有效保障了系统的吞吐能力和安全性,可以根据实际需求建设大、中型面向服务的云存储系统。

4 云存储的主要技术特点

4.1 集中存储

将分散在各种终端设备中的数据集中存储在云存储服务器中,部门或项目内部、部门与部门之间实现协同工作,可以避免数据不必要的流失,免受病毒感染和黑客攻击,并且能够实现随时随地访问数据。

4.2 统一管理

云存储提供子账户功能,子账户权限管理灵活,可以针对网盘中任意目录对子账户指定权限,包括预览、上传、下载、上传/下载、全部。二级管理员功能可以轻松实现分级管理。

4.3 安全可靠

后台采用分布式文件系统,实现设备级、系统级、部署级一体的多级容灾机制。带有入侵监测系统,能使在入侵攻击对系统发生危害前,监测到入侵攻击,并利用防护系统驱逐入侵攻击,并且可以支持网络银行SSL加密技术、文件加密存储和传输。

4.4 同步技术

通过客户端+云端的工作模式,会将客户端本地文件自动或手动实时同步到云端服务器中,提供多设备之间的文件同步访问能力,省去利用U盘、数据线等方式传递文件的麻烦,真正实现移动办公。

4.5 文件协助与共享

通过建立群组,进行协同办公,可以对该群组空间增加用户并授予文件操作权限,群组空间的用户可对同一文档进行编辑、系统自动进行版本管理,有效解决多人的编辑与冲突,当有最新版本更新时,系统自动更新并提醒相关用户,并且群组文档修订历史可进行追溯,用户可找回历史版本,人员调岗、离职时,个人工作空间与群组工作空间的数据可一键迁移或合并。

通过在线编辑功能省去了编辑文档需要下载到本地再上传的过程,实现了Office文档在线编辑、视频/音乐在线点播功能。

4.7 多终端访问

支持iOS、Android系统的各种Phone和PAD设备,让用户可以更加快捷地访问到数据,实现随时随地地数据存储服务。

5 云存储技术发展趋势

云存储是以服务为中心的,利用云存储的动态虚拟化的资源管理方式对数据库服务器及存储服务器进行动态虚拟化的管理,实现了系统资源的合理动态配置,有效地利用资源,避免资源的浪费。未来的存储系统需要满足一个更高规模的存储需求,因此,一个易管理、可扩展、高效安全的云存储系统是未来云存储的研究和发展方向。

参考文献

[1] 唐箭.云存储系统的分析与应用研究[J].电脑知识与技术,2009,5(20):5337.

[2] 范中磊.网络存储技术漫谈之五:云存储[J].记录媒体技术,2010,(5):58-59.

数据云存储方案篇(8)

关键词

云存储服务;空间高效性;安全;面向用户

1 前言

云存储服务属于基础架构即服务(IaaS)的范畴,是云计算服务的最基本服务形式之一。在云存储服务中,云服务提供商(CSP)为用户提供无限量的空间供其存储海量数据,并从中收取少量费用,这就为用户省去了购买存储设备的费用。一项调查结果显示,56%的云用户使用的是IaaS服务,并且绝大部分IaaS用户使用的是云存储服务和虚拟机租借服务。由此可见,云存储服务在所有云服务中占据着非常重要的地位,可以为CSP带来可观的经济收益。

然而,用户在使用云存储服务过程中也有很多担忧。一项国外调查结果[1]显示,81%的云用户关注云数据的安全性和机密性,其中数据“安全性”指的是数据可靠性和完整性。显然,数据安全性和机密性是云服务中用户最关心的问题。

为了保证云端数据安全性,CSP(如Google,使用GFS[2]系统)会为每一份数据保存多份备份数据,当发生数据损坏时就可以从完整的数据副本里恢复出正确数据。显然,备份数据越多数据越安全,但同时却也降低了云存储空间的有效利用率。此外,就机密性来说,一般情况下,用户在存储数据的时候会先将数据进行加密,然后将密文存于云端,这就可以避免数据信息泄露。

我们提出了一个空间高效的、面向用户的、安全、可调节数据存储方案。本方案基于Shamir秘密分享方案[3],可以在保证提供与GFS系统相同数据安全性的同时有效减少空间使用量。并且,本方案使得用户可以估计自己数据安全性并以此为依据选择备份数据的数量。该机制的引入对于用户和CSP均有好处,对用户来说,用户可以租用适当的存储空间,从而节约存储费用;而对CSP来说,可以获得更多的空间服务更大量的用户。此外,本方案还可以为备份数据提供一定程度上的数据机密性。最后,在用户下载数据的时候本方案可以提供不同安全级别的数据传输模式。

2 相关工作和设计目标

GFS[2]系统包括了两个部分:Master服务器和Chunk服务器集群。其中,Master服务器负责与用户的交互和对Chunk服务器集群的管理。而Chunk服务器集群负责存储用户的数据并接受Master服务器的调度和控制。当用户存储数据时,数据会被分成固定大小的数据分块存储在Chunk服务器集群之中。为了保证数据的安全性,GFS为每一个数据分块备份三份数据副本。此模式下,GFS系统的有效空间利用率为25%。

从上述分析可以得知,当前的云存储服务系统有效空间利用率非常低,并且云系统并不为备份数据提供数据机密性。因此,本文提出了一个空间高效的、面向用户的、安全、可调节数据存储方案。其具体设计目标包括:1.空间高效性,方案空间利用率应比较高;2.方案应该是面向用户的,用户可以自己估计数据的安全性,并根据安全需求个性化设置备份数据的数量;3.方案是安全的,方案能为备份数据提供一定程度上的数据机密性;4.方案是可调节的,当用户下载数据时系统能为用户提供不同安全级别的传输模式。

系统架构图如图1所示,系统包括用户模块和CSP模块。用户模块即使用云存储服务的用户,CSP模块即云系统模块。如GFS一样,CSP模块也包括了两类服务器:Master服务器和Storage服务器。

在我们的系统中,用户模块除了可以向CSP模块租用云服务以外还可以:1. 根据自己实际安全需求个性化定制自己备份数据副本的数量;2.下载数据时可以选择不同安全级别的传输模式。

在CSP模块中,Master服务器主要负责与用户进行请求交互、管理 Storage服务器集群、根据用户设置的参数引导Storage服务器备份数据等。而Storage服务器则主要负责存储数据、在Master服务器的引导下备份数据等。

在我们的方案中,当用户想要将数据存储至云端的时候,他首先应该个性化定制他的数据备份方案(即,确定备份数据的数量)。接着他向Master服务器提出存储请求,Master服务器根据用户的数据总量和备份方案选择是否向用户提供云存储服务。

3.2 数据备份方案

我们的存储方案与GFS系统一样,存储数据时用户数据会首先被分成固定大小的数据分块,然后再备份并存储。但我们的数据备份方案却与GFS完全不一样。我们的方案基于(K,N)-Shamir秘密分享方案[3],是一个空间高效性的、面向用户的备份过程。当用户拥有N中的任意K份数据就能恢复出原始数据,具体过程如下所示。

当Storage服务器收到用户的数据之后,它会以数据分块为单位对数据进行备份,我们以一个数据分块(记作D)为例来讲解数据备份过程。服务器首先将数据分块D分成多份更小的单位数据块(记作URP),于是我们就可以用有序对(i,URPi)来表示D,即D={(i,URPi)┤0

其中,NBlock与公式(2)中的K的意义完全一样,而公式(2)中的N=NGFS*NBlock。

如果我们令NBlock=10、ρ=0.01,则根据公式(2)和公式(3)我们可以得出备份数据所提供的数据安全性,结果如图2所示:

图2中,横坐标是备份数据的数量,纵坐标是备份数据所提供的安全性。需要注意的是,在GFS系统中,由于备份方案是复制整个数据分块,所以,单位数据块的数量的增长应该是按照NBlock的倍数增长方式进行的:即NBlock=10时,当单位数据块数量为10时,备份了一个数据,为20时,备份了两个数据,以此类推。因此,当NBlock处于10~20之间时,由于GFS没有完整的备份完第二个数据副本,因此其提供的安全性并没有增长。

从图2中我们可以看出,在备份数据数量达到12时我们的方案即能提供99.98%的安全性。而在GFS系统中,要达到同等级别的数据安全性则需要备份三份(即NGFS=3)完整数据,即备份数据数量为30(3*NBlock)。此时,我们的方案可以比GFS节约60%((30-12)/30*100%)的存储空间。

同样的,当NBlock和ρ的值发生变化时,根据公式(2)和公式(3)我们依然能得出如图2所示的同等结论:我们的存储方案提供与GFS系统同等数据安全性的情况下能比后者节约大量的存储空间。因此,我们的方案有着非常高的空间利用率。

4.2 数据机密性

从本文3.2节中我们知道,我们的备份数据是从原始的K个单位数据中映射出来的N个单位数据,这N个数据与原来的K个数据完全不同。敌手在不知道各单位数据的具体序列的情况下,即便窃取了所有数据也无法重构出原始数据,因此可以看作是对原始数据的一次加密。所以,我们的方案能为备份数据提供一定程度的数据机密性。

4.3 传输安全级别

从本文3.4节的介绍可知,用户在下载数据的时候有两种安全级别的传输模式:高安全传输模式和低安全传输模式。

5 结论

数据云存储方案篇(9)

近年来,区域数字档案馆的建设将成为档案学领域发展趋势之一,我国区域数字档案馆的建设还处在起步阶段,高层次的区域数字档案馆的建设还有待进一步发展。云计算理论和技术在众多领域中的逐渐应用成熟,为解决区域数字档案馆在基础设施、文献资源、信息服务的开展等诸多方面指明了方向。将云计算应用到区域数字档案馆建设,逐步整合档案管理的理论和业务知识、档案数据到云计算架构体系中,将体现出更深层次的价值。

一、云计算时代数字档案馆的困境与挑战

我国数字档案馆在建设实践过程中,档案信息资源在各级档案馆之间出于离散状态,离互联互通有很大距离。信息技术的发展推动档案数据用户需求的个性化、动态化,造成档案信息服务与用户需求之间产生巨大冲突。一方面,现代信息技术要求档案馆管理人员不断更新业务知识及工作思想,提高创造力;另一方面,档案馆需要不断升级网络通讯设施,提高安全保障措施,互联网中任何不确定的攻击都威胁着数字档案馆基础设施和信息资源的安全。

数字档案馆一旦采用云计算服务,就具备易用、安全、共享等技术特点,进而改变了档案数据服务与管理的方式,克服了目前档案管理工作中的诸多弊端。因而数字档案馆的现实需求与云计算的技术特点相吻合,将云计算的技术优势运用于数字档案馆的数据管理和用户的动态需求服务中,对档案馆事业的进步必将会产生巨大的推动力。

二、区域数字档案馆采用云计算服务的定位

(一)数字档案馆建设需求分析

在云计算模式下,数字档案馆从自建业务管理系统转向购买相对标准的信息服务。云计算适合基层档案机构,首先,其是档案管理系统中相对薄弱的节点,社会信息化渗入到工作的各个方面,传统思维和业务处理方式阻碍力量小,比较适合彻底的改造。其次,基层档案馆的业务管理系统相对简单,进行标准化建设,没有太大阻力。再次,数字档案馆建设的推行能够提升整个档案领域业务及管理的标准化、规范化,尤其有益于基层档案机构。最后,云计算服务本身就是一个国际标准的实施和应用的外部环境。

云计算运用于基层档案机构只是数字档案馆采用云计算服务的第一步,区域数字化档案馆之间的互联互通才是最关键的环节。区域数字档案馆服务中心利用云计算的开放共享技术优势,将标准化的公用共享服务构建云端,对各区域内的各档案机构提供的服务接入,同时,基层档案馆和机构对专用的业务系统进行自行建设。总体上,实施云计算数字档案馆能节约资源建设成本,提高档案服务质量,推进档案行业领域工作的标准化程度,为区域档案管理的互联互通打下坚实的基础。

(二)数字档案馆的云计算运用模式

数字档案馆云计算运用模式的选择,档案机构的业务系统和辅助支持系统必须厘清。档案核心业务系统运行着大部分核心数据,系统的稳定性和可靠性事关整体服务质量。档案馆辅助支持系统与其它行业的辅助支持系统相类似,与业务关系不大,一般可交给第三方来维护。本文认为区域云数字档案馆,有以下两种运用形式:

(1)档案业务系统。本系统是基层档案机构的业务系统,一般运行在机构内部,由档案机构的信息管理部门来负责。区域数字档案馆云计算平台中的档案管理信息系统等,直接存储了区域内档案的相关信息,数据的安全性和重要性极其重要,中心档案馆对其具有完全的控制权。云计算区域数字档案业务管理系统,通过各级档案机构的相互关联,实现了档案信息的共享,提高了档案服务信息的效率。

(2)辅助支持系统。云计算平台适用于对业务数据保密性要求不高的业务,辅助支持系统正好适合这个特点,同时也可充分有效利用云计算平台的动态拓展的技术及服务,减少档案馆在基础设施和管理维护成本。如图1,的电子邮件系统,办公自动化系统等可由云计算服务提供商来维护,从而,档案管理机构获得高质量的软件服务与维护。

通过档案馆主营业务系统和辅助支持系统的分析,数字档案馆采用云计算技术来优化服务平台是比较现实的选择。实施云计算,一方面,满足了档案数据数据安全性的要求;另一方面,加深了现有计算机及网络通信设施的耦合性,对接了相关法律法规的约束等。

三、区域数字档案馆云计算服务平台实现方案

区域数字档案馆云计算共享服务平台的建设,在云计算技术理论的指导下,将分散的档案信息资源通过第三方云服务平台组织起来,形成一个个档案信息资源服务“云”,进而提高数字档案馆云计算共享效率。

(一)区域数字档案馆云计算平台的构建

档案管理业务执行标准的统一,是区域数字档案管理系统的前提,由档案管理机构架设“档案云”,往“档案云”上传输和读取档案数据就可以了,同时,可以根据不同的用户体验,提供电脑、手机等多种接入方式。档案业务的数据交换、存储、查找、共享等是由云计算服务提供商的云服务来完成。同时,可因新增用户的需要,在“档案云”里进行动态调整。图2是利用云计算的区域数字档案系统设计思想。

按照区域数字档案系统数据的组成、分布、形式分类,将区域档案在云计算服务中的存储架构设计为私有云、公共云、第三方云三大要素,两个云层,见图3。核心业务系统的云存储管理机制,利用各种云的服务接口和技术,实现区域数字档案信息资源的整合利用。

私有存储云存在于档案信息服务机构内部,特别是大型档案馆和第三方服务机构,其服务只对机构内部的用户开放。同时,提供技术手段整合离散存储节点的档案数据,满足区域档案存储交换的实时响应。设计专用数据通道,便于私有存储云其它两类存储云进行数据交换。第三方存储云一般是有大型云计算服务提供商建设的商业存储云。如果档案管理机构的数据不涉及保密性要求,私有存储云的数据可转移到第三方存储云中,一方面,部分数字档案馆自身不具备信息处理部门或者信息处理能力不强;另一方面,部分私有云中的数据为半结构化、非结构化性质,有些数据对独立存储交换有特殊的要求,档案馆如果独立处理,成本高、难度大。因而,私有云数据转移到第三方存储云中,可实现更好的数据备份、灾难恢复等功能。

公共存储云是外部云层,用户通过适当的授权认证后,利用公共存储云提供的接口,与公共存储云进行直接数据交换,方便快捷地获取数字化档案数据。区域数字档案馆在公共存储云中构建数据交换接口和机制,有效处理私有存储云和第三方存储云的数据交换需求。

(二)云计算服务的部署与运维

1.云计算服务部署方案

区域数字档案馆将现有的信息技术基础架构与服务完全迁移、部署到云计算服务过程中面临着诸多挑战和困难,分步骤实现是比较好的选择。

构建云计算数据服务中心,首先借助云计算的技术,根据档案管理业务地域性的特点,进行基础设施和数据资源的分布式、层次化部署;其次针对档案业务系统的技术性和安全性要求,对存储资源池、服务器的资源池进行合理调整;最后,针对用户个性化服务、外部环境、增值等需求,构建内部的基础架构云。

在云计算架构的具体部署中,可利用云计算管理配置工具,如Hadoop/VMware等,云计算数字档案馆对外提供开放的基础设施。云计算的SOA的基础架构可以容纳多种服务,通过SOA的服务注册功能,档案业务管理正好可以注册于其中,同时,可以利用SOA基础架构提供的动态管理功能,优化服务模式;用户根据需求,从SOA的档案数据资源池中获取个性化的服务。档案云计算中心管理人员可通过服务调用接口使用服务,监视服务的运行状况。区域档案云计算部署方案如图4。

2.云计算服务运维方式

采用云计算服务的区域数字档案馆架构方式的转变,同时也促使档案管理系统的业务服务模式发生转变。随着档案馆业务管理系统中计算机和通信技术的不断应用,区域数字档案馆的各类信息资源需要得到稳定的安全保障,云计算商业化的服务模式为用户提供了部署和应用运维系统的技术和途径,彻底改变了以往信息资源的运维服务模式,降低工作量和成本。

区域数字档案馆云计算服务,使得运维方式发生巨大改变。首先,采用云计算服务的数字档案馆监控云覆盖范围的故障隐患,是以云端的各种服务工具为依托,这些工具根据信息技术的进步而更新,因而它的运维就变得相对主动。其次,当面临新机构和新用户时,只是在网络系统上增加监视软件接口的数据参数,对于整个资源系统的控制,没有太大的变化,因而变得相当简单。再次,云计算资源运维服务把数据、业务系统集中于云端,大幅降低了运维成本。

云计算提供商通过监控系统安全、完善日常维护和数据备份等提供服务运维。服务提供商根据档案馆业务需求扩展平台的服务范围;服务提供商随时紧跟技术领域的进步,拓展云计算的服务能力以适应档案馆的发展,使得区域数字档案馆的服务能力与时代的发展及用户个性化的动态需求相匹配。

四、结束语

区域数字档案馆建设采用云计算技术的相关工具和技术,还处于理论研究中,具体实践应用还有待发展。对于数字档案馆核心业务的服务与管理,只有充分把握云计算服务的理论、技术、服务等特征,选择性地引入数字档案领域,才能进一步提升区域数字档案馆的服务能力。

参考文献

[1]惠嘉琪.整合档案资源促进区域共享[J].档案与建设,2008(1).

[2]刘振鹏,张宁.云计算技术在档案馆中的应用探讨[J].兰台世界(下半月),2010(8).

[3]吕元智.国家档案信息资源“云”共享服务模式[J].研究档案学研究,2011(4).

[4]陶水龙.基于云计算的区域性数字档案馆建设研究[J].中国档案,2013(2).

数据云存储方案篇(10)

HDS融合数据中心解决方案的核心之一是其企业级存储系统。HDS的企业级存储系统在虚拟化技术、精简配置以及可靠性、可扩展性等方面独树一帜。从USP到VSP,HDS的企业级存储系统在存储虚拟化技术方面不断创新,赢得了许多行业用户的认可。一些电力公司、互联网企业等都采用了HDS的虚拟化存储系统和云计算解决方案。

在过去的几个月中,HDS的云计算解决方案赢得了许多重要的客户。比如,北京市计算中心选用HDS NAS Platform(HNAS),避免了系统无序扩大,同时消除了流量瓶颈,提高了文件和数据共享的性能。借助HNAS的虚拟化功能,如虚拟服务器、虚拟存储和虚拟存储池,存储管理员可以更有效地为不同应用和用户分配存储空间。HNAS也是北京工业云计算服务平台基础架构的一部分。像这样的成功案例还有很多。不过,你不要认为HDS的云计算解决方案只包括存储,HDS融合数据中心解决方案就是让用户从整个基础架构的角度,而不是从存储的角度去思考构建云环境。HDS融合数据中心解决方案通过整合存储、计算、网络和系统管理软件,可以加速并简化云架构的部署。许可表示:“由于缺少云部署的标准和方法论,许多用户在构建云架构时通常会感到无从入手。HDS融合数据中心解决方案将存储、服务器、网络、管理等进行优化集成,可以帮助用户找到一个切实可行的构建云架构的方法,让用户获得企业级的可靠性、高性能,同时简化云架构的部署流程,加快部署速度。”

简化流程

上一篇: 中层管理论文 下一篇: 申请农村低保申请书
相关精选
相关期刊