时间:2023-08-20 14:59:52
序论:好文章的创作是一个不断探索和完善的过程,我们为您推荐十篇云计算的相关技术范例,希望它们能助您一臂之力,提升您的阅读品质,带来更深刻的阅读感受。
中图分类号:G251 文献标识码:A
1 云计算与图书馆
1.1 云计算4
云计算是由分布式计算、虚拟化、网络存储、负载均衡等新兴的信息技术融合而成的技术集合,是互联网技术向多元化、高效化、服务化发展的产物。云计算的核心是应用服务,从商业角度来说,云计算是一种和新技术有关的新的商业模式,这种模式并不要求人们自己去建设与之相关的设施、平台和应用,人们所要做的只是购买相关服务的使用权。具体来讲,云计算具有以下特点:
(1)节约成本。云计算的核心是应用服务,业界普遍描述了云计算的使用模式,即像水电和煤气一样,按照人们的需求去购买云服务,企业可以灵活地根据自己的需求来购买计算能力、存储空间、带宽等。当企业需求发生变化时,其只须考虑增加或减少自己购买的基础设施服务。通过这种模式,企业不用投入到基础设施和系统的建设中去,大大节约了成本的投入。
(2)使用方式灵活多样。由于数据存储在云上,在能联接到云服务器的前提下,云服务不拘泥于人们的使用地点和时间。由于云计算能轻松实现各种终端的互联互通,未来随着“三网融合”的推进,人们可以利用云计算技术,通过PC、移动设备或电视机等智能家电来享受云服务。
(3)便利的资源共享方式。由于信息资源存储在云上,用户只需连接网络就可以上传相关数据即可,不拘泥于时空的限制,具有下载权限的其他用户无须和数据提供者碰见或同时在线,只用登录云平台就可以随时随地地获取这些数据。
(4)数据的安全性得到提高。分布式数据中心提供了数据存储在地理意义上的隔离,提高了容灾能力。同时,虚拟化技术可以保证集群服务器上的多个虚拟服务器均有云服务器镜像,单个服务器出现问题不会影响到数据的存储与利用。
(5)定制式应用服务。用户可以根据自身所在组织的特点,通过云计算提供的包括应用程序的设计、开发、部署所需的一整套开发组件来开发符合组织特征的应用服务,并快速部署到云服务器。同时,云上有可供选择的多样化的应用程序,这些应用均以服务的形式呈现在用户面前,用户可根据自身的需求来选择应用。
1.2 云服务与图书馆工作
云计算为人们提供了三个层面的服务,即IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)。具体到图书馆领域,其内容如下:
1.2.1 基础设施即服务(IaaS)
基础设施即服务也称IaaS,其特点在于用户无须购买、安装和维护计算机基础设施,而是通过付费的方式获取基于以上设施的网络存储和数据库等内容的使用权限。对于图书馆来说,基础设施建设会消耗大量资金,长期的维护和更新要求持续投入人力物力, IaaS则解决了这个问题,并大大降低了图书馆信息化建设的成本。
1.2.2 平台即服务(PaaS)
对于PaaS来说,用户购买的是应用平台服务,如互联网应用编程接口、运行平台等。PaaS提供商将开发平台作为一种服务出售给用户,用户利用已有的平台服务按照自身需求来实现应用程序的开发、部署和运营。
面向图书馆,PaaS可以提供相对更自由一些的开发环境,它把开发平台作为一种服务提供给人们,人们可以开发一些与其他图书馆区别开来、有针对性的、能凸显自身特色的、符合本馆需求的应用服务。
1.2.3 软件即服务(SaaS)
SaaS即应用软件以服务的方式提供给用户。面向图书馆的访问者,SaaS提供一个统一的门户,用户可以通过多种终端如PC、移动设备等随时登录门户。门户通过用户登录来识别用户的不同身份,并提供相应权限的应用服务;通过门户,不同应用程序中的各类数据可以有机结合在一起,按照用户的需求形成个性化、灵活方便的应用服务集合。
2 图书馆建设中云计算技术运用的考量
对于图书馆来说,云计算技术将带来新的体验、新的服务;但是,新技术的出现必然对图书馆原有的组织结构、运作模式以及资源建设产生一定的冲击。我们必须清醒地认识到,新技术的利用必须与图书馆的现实发展情况相结合,必须围绕着图书馆的建设来进行,不能为了利用新技术而盲目建设。综合来讲,应当具有以下几点考虑:
(1)是否必要。云计算技术虽然是当今技术发展的一大热潮,为人们提供了新的选择;然而云服务也还处于一个发展和完善的过程中,图书馆的建设不能为了赶潮流盲目地向新技术靠拢,应当考虑在当前的情况下,自身是否有必要引入云计算技术。
目前,一些大型的公共图书馆和高校图书馆已建成全新的数字图书馆及相关系统,在很短的周期内立刻构建云平台,追求新的模式是没有必要的,不但浪费时间精力,还易形成重复建设。对于一些地方图书馆和大专院校来说,在已经形成自身特色,具有一定优质资源和服务模式的情况下,应当判断新技术的采用是否能够和自身已有的优势结合,形成一加一大于二的良好局面。如果对于对于新技术和本馆建设的结合前景没有科学的依据和判断结论,那么对于云技术的应用不应操之过急。
(2)是否有助于服务品质的提升。从目前云计算在国内的发展来看,国内互联网公司提供的云服务多是以基于IaaS的云存储为主,这些云存储产品多是由网盘服务升级而成,营销宣传强大,业务形态简单,尚未形成完善的云服务。
图书馆是为人们提供阅读服务的知识中心和学习中心,无论信息技术如何发展,阅读的主体始终是人,我们考量是否运用云计算技术,应当紧紧围绕着提高图书馆的服务品质这一中心,不能为了技术而技术。
(3)对现有图书馆业务流程的影响。对大型图书馆而言,完善的业务流程是组织运行的具体行为表现,如果打乱了管理和工作的流程,图书馆工作将会成为一盘散沙。我们应当考虑构建符合日常业务流程的云服务,云服务的架构不能给业务流程带来混乱,云服务应当去贴合这些业务。在云上,数据存储、图书外借、图书分类与编目等业务都被无缝连接到云平台。云平台应当在满足计算资源和存储资源按需调用的同时兼顾用户的个性化需求。按照用户权限形成统一的、连贯的、流程化的云服务,并在前端通过虚拟桌面为用户调用各项应用服务。
(4)信息安全的考虑。云计算技术催生了大数据时代的到来,一切数据,包括半结构化的数据都具有一定的商业价值,云服务的提供商一般都是来自商业性质的机构,虽然云服务器的容灾性良好,但是在云上存储的数据以及用户的一切行为都是可以被获取的。我们不能排除云计算提供商出于商业目的对用户资料的觊觎。这也是图书馆信息安全应当考量的问题。
3 结语
在图书馆的发展过程中,历史上每一次信息技术的变革都给图书馆带来了新的发展机遇,伴随着云计算技术的诞生和不断进步,在图书馆建设中如何去利用云计算技术,如何用云计算技术使图书馆的建设能跟上时展的步伐,是值得我们长久探讨的课题。
参考文献
[1] 王长宇.云计算环境下的数字图书馆信息资源建设的理性思考[J].中国科技信,2010(17):163-165.
所谓的云计算这属于一种商业计算模型,这也就是在大量计算机所组成的资源地上分布计算任务,以便能够将各项应用系统按照需求获得信息服务、计算力以及存储空间,从而实现发展网格计算、分布式计算以及并行计算。通常来说,云安全所包含的关键技术与风险应对策略主要应该从以下三个方面进行详细阐述:
首先是数据安全。一是数据传输安全。在云用户或者企业借助于网络将数据传输到公共云的过程当中,黑客随时都可以篡改与窃取数据,严重威胁数据的真实性、保密性、可用性、完整性,这就给予云用户造成严重的商业损失。而该阶段所采取的保护策略就是加密传输数据,在数据传输过程中使用安全传输协议;二是数据存储安全。云用户数据在对数据存储的过程当中,所存在的安全风险由数据审计、灾难恢复、隔离、数据滥用以后即存储位置等。为有效防范被云服务提供商、恶意邻居租户或者部分应用滥用,那么采取的做法是在应用IaaS加密静止数据,可是针对PaaS与SaaS这类的应用过程当中,由于不能加密数据,密文数据对于搜索与索引的应用造成妨碍,可是从目前的情况来看,尚未发明能够用于商用的算法来对数据同态加密实现,云用户并且应该把握对数据具置维持的基本原则,另外还应该使用数据标记,数据隔离在单租户专用数据平台当中实现,从而做到对数据非法访问的防止,而灾难恢复实现则是使用数据多备份;三是数据残留安全。所谓的数据残留安全就是说数据在被以某种形式擦除之后残留的物理表现,党擦除存储介质之后,存在着一定的可能借助于某些物理特性来重建数据,数据残留在云计算背景下,存在着一定的可能对敏感信息无意当中流露,这就使得云服务提供商为做到有效保证数据完整清除,往往使用内容发现、加密数据相关介质销毁、擦拭磁盘以及销毁存储介质等方法与技术。
其次是应用安全。一是终端客户安全。云客户端为对应用安全进行保证,则应该做到对各项防御功能开启,并且对于IPS类型安全控件、反恶意软件、个人防火墙以及防病毒软件在云客户端进行部署,并且为做到避免浏览器遭受攻击,还应该积极使用各种必要保护措施,从而做到端到端的安全在云环境当中实现,这就要让云用户通过对自动更新功能的使用,从而对于浏览器更新与打补丁等定期完成,而其中的企业客户必须从制度上做出严格的规定连接云计算应用的PC机就严格禁止安装虚拟机,定期检查PC机;二是SaaS应用安全。在安全评估选择SaaS提供商的过程当中,应该按照相关保密协议要求,在一定情况下存在着一定的必要聘请第三方安全厂商做好黑盒安全测试这样的渗透测试,从而能够做到对详实安全信息的获得,并且对于SaaS提供商所供的访问控制与身份验证功能,这属于唯一性的安全控制措施在客户管理信息风险当中,对于云特定访问控制机制用户应该尽最大可能了解,通过采用必要步骤来对运载的数据进行保护;三是PaaS应用安全。基于云基础知识对用户采购或者创建的应用进行部署这属于PssS云提供给用户的能力,对于引擎在内的平台软件与地层安全由PssS提供商负责,当如果有Web服务、组件以及第三方应用在PssS应用使用,而那些部署在PaaS平台上面的应用的安全则是由客户负责,云用户部署的应用安全还应该得到PaaS应用开发商的积极配合,开发人员必须对平台被封装成安全对象与Web服务的安全特性熟悉。
再次是虚拟化安全。从一方面来看是虚拟化软件安全,这种软件层在裸机上进行直接部署,这样所能够提供的能力是对虚拟服务器进行创建、运行以及销毁。保持着可用性与完整性的虚拟化层这有着极其重要与关键的保持创建可用性与完整性的公有云;从另外一方面来看则是虚拟服务器安全,通常来说,在虚拟机软件之上的虚拟服务器,这就是在虚拟服务器上面运用物理服务器的安全原理和实践,并且要做到对虚拟服务器所具备的特点兼顾,所采取的措施对具备TPM安全模块的物理服务器进行选择,在对服务器进行构建当中,必须在所有的虚拟服务器分别分配出一个独立的硬盘分区,还应该严密监视虚拟服务器的运行状态,以便做到对各个虚拟器当中的防火墙日志与系统日志进行实时监控,从而能够做到对所存在的安全隐患及时发现,及时关闭不需要运行的虚拟机。
云计算对图书馆的影响
由于云计算的海量存贮和超计算能力,其已颠覆了传统的应用模式,在云时代,图书馆对读者的信息服务重点也将从最早的以硬件为中心转向以软件为中心、以服务为中心的时代,从根本上改变图书馆信息获取、保存及服务的现存理念与方式。
1便利的软件服务。云计算环境下,图书馆将不必购买本地安装形式的自动化系统、办公自动化系统以及各种类型的操作系统及开发软件,所使用的软件都是以网络服务的形式由云服务商直接提供。
2实现更大程度信息资源的“整合”与“共享”。云计算的优势功能之一就是海量存贮,因而为图书馆之间的信息服务资源“整合”与“共享”提供了很大的可能和基础,为众多图书馆特别是有馆藏建设特色的专业图书馆消除了因规格、建设特色等所导致的优劣差异。在“云”这种信息统一存贮提取的高速服务模式下,全国及至全世界的图书馆可以共同构筑一朵“图书馆信息资源云”,各个图书馆的信息资源凭借这朵“云”实现资源的整合和共享。
3降低相关的维护费用。为了确保图书馆工作正常平稳的运行,图书馆人员需要经常对计算机、服务器等终端进行维护、升级和硬件更新。而云计算模式中,服务器的日常维护由更加专业的云服务商来提供,用户的工作强度和维护成本会大大降低。另外,由专业IT人员进行系统维护,能够减少系统故障,减少故障恢复时间,提高IT服务水平和效率。
4革新图书馆的服务理念。利用云进行信息服务,图书馆传统的信息服务业务流程将被逐一拆解,重新进行组合,呈现出一定的业务外包、虚拟化、技术化发展倾向,服务理念与方式将发生很大的转变与革新。原来的服务提供者逐渐向服务提供者和服务利用者的双重身份转换。一方面,作为信息提供者,信息资源服务的业务外包给云计算服务商,通过虚拟化的“云”技术,面向读者的信息服务手段与方式将多样化、全面化;另一方面,作为信息使用者,图书馆的工作人员也和读者一样,可以使用手机、电脑等设备在任何时间、任何地点获得相关的“云”上任何信息服务。
5最大限度地发挥图书馆的作用。在传统的图书馆服务模式下,用户必须使用计算机才能利用图书馆的电子资源。由于云计算模式提供了强大的无线接入功能。因此,用户可以通过使用手机、个人掌上电脑等各种类型的终端设备利用图书馆的电子资源,从而使图书馆资源中心的作用得到最大限度地发挥。
6改变图书馆的建设方向。真正实现云计算化的图书馆,硬件即信息资源的稀缺可通过云计算高度的共享特性来解决,硬件对一个图书馆的影响将变小,读者真正看中的可能是对这些硬件的软件服务,如对资源的检索介绍、对信息的挖掘组织、知识的管理分析、馆舍的人文气氛等,这样,图书馆必然改变目前的重藏轻用、重硬件轻服务的现状。
运用云计算进行图书馆的资源建设应注意的问题
1如何建设图书馆的“云”。图书馆利用“云”进行服务,需要中图学会,各地区省级图书馆学会、图工委等机构的联络、协调、组织,成立相关联盟组织,与IT企业、云计算商协商合作,共同构建发球图书馆的“云”。
2“云”能给图书馆带来什么。云计算给图书馆带来信息挖掘、整理、共享、高速存取等多方面的优势,同时,图书馆也要思考如何在“云”上把图书馆服务工作做的更好。
3云时代的版权保护。
1建立健全图书馆保密资源保护的相关制度。
2加强信息机构网络监管和行业自律。
3加强网络道德建设,强化网民法律意识。
中图分类号:TP309.2
云计算就是在网络环境下,以服务的形式向用户提供海量IT资源,满足用户使对数据使用的需求。在供应方向用户提供用云计算服务时,用户将数据与应用托管至云端。以用户的角度来看,选择相信服务方是必然的,双方达成战略合作关系后,共同参与安全机制的拟定,为数据安全提供有力保障。以服务方的角度来看,一旦信誉瓦解,则很难立足于市场。在这样的市场背景下,云服务供应商应结合用户需求,研制数据安全保护技术,既不会影响到数据的正常使用,又最大化降低数据安全事故的发生。
1 云计算模式下数据安全的现状
众所周知,云计算服务的提供商并不是唯一的,各提供商的性质与规模均存在一定差异,尤其是安全防范能力与风险处理能力。综合实力不强的服务商会逐渐被淘汰,此时,用户交予服务商管理的数据将何去何从还是未知数。所以一般情况下,用户会格外留意数据的提供者以及保存者。
用户在云计算模式下执行各项操作时,会非常重视服务的安全性。用户认为,云服务的供应商有义务引进先进技术,提高监管力度,为服务的安全提供良好保障。然而,就笔者调查获悉,目前市场上并未出现任何能够对云计算供应商进行安全性能监管且具有公信力的服务方。另外,相关法律法规的严重匮乏,也导致云计算服务商在安全保护工作上不知该如何下手。
在云计算模式中,云端环境可突破地域的约束。所以,数据的储存并不存在任何明确的位置或步骤,任何地方均有可能成为数据储存的中心。也正因如此,数据的风险就此增加,数据安全性将会面临严峻考验。从法律的角度出发,数据安全的管辖机制上不明确,倘若直接将数据存放于其他国家,则非常有可能被他国人员或机构肆意滥用。而且,在用户的重要数据无法正常使用时,根本无法利用法律武器捍卫自己的合法权益。倘若被盗取的是商业机密,将会给用户带来不可预计的严重损失。
2 云计算中数据安全的关键技术
随着云计算的服务计算模式逐渐升级,动态虚拟化管理日趋成熟,租户共享运营模式日益普及,数据安全与隐私保护工作面临着严峻考验。云计算的安全问题是云计算发展道路上最为突出的一大障碍,为使云计算突破发展瓶颈,务必结合实际需求,利用先进技术为数据安全提供可靠保障,为用户提供更加优质的数据服务。
2.1 数据传输安全
在云计算模式中,用户利用网络,将数据输送至云计算服务方,对其提出处理要求时,数据传输的安全问题至关重要。所以,云计算的安全关键技术可从以下几方面着手:当用户数据在网络环境中传输时,对其进行加密处理,预防失窃;对云计算服务商进行监控,确保云计算服务商在获得用户数据后,规范执行正常操作,对数据进行妥善处理与保存,最大化降低数据泄露的可能性;云计算服务商在储存数据的过程中,务必确保用户经权限认证后,即可获得访问权限,同时访问对象仅限于自身数据。
2.2 数据储存安全
在云计算模式中,资源共享是数据储存的重要前提。所以,云计算服务商应采取有效措施,对不同数据进行有效隔离,避免各类数据杂糅在一起,出现运输错误或泄露情况;另外,就算用户已完全掌握数据存放的服务器位置,云计算服务商仍有义务,对用户交付的数据进行备份,避免重大安全事故的发生。即使发生意外情况,用户也不会失去所有数据,用户可在自身数据受损的情况下,向供应商索取备份数据。在云计算环境中,数据残留问题十分严重,它是导致信息泄露的常见原因。为此,云计算提供商有必要在这一方面加强监管力度,及时妥善处理数据残留问题,为数据的安全使用提供可靠保障。
2.3 数据审计安全
在云计算模式中,云计算服务商务必确保,在满足用户信息数据服务需求时,不会为其他用户的数据使用带来不利影响。另外,笔者建议,云计算提供商可联合第三方机构,对数据的安全性与准确性进行审计。数据审计工作不但能有效保障用户数据安全,还会对云计算服务的稳定发展产生积极影响。
3 云计算环境下的数据安全技术的应用
3.1 数据加密中的应用
数据的加密处理工作,需要在对称加密算法密码生成器的帮助下才能完成。具体流程为:随机生成一个包含校验信息的密钥,利用非对称加密算法对该密钥进行加密。对经加密算法处理后的数据信息以及密钥密文进行处理,最终将其作为一个数据包保存至云端。在这一加密过程中,系统需对规模庞大的用户数据进行对称算法处理,将加密钥与密文数据同时保存至云端。相较之下,用户只需保存非对称加密算法以及解密秘钥即可,十分便捷。
3.2 在数据解密中的应用
当用户需要解密数据时,首先要利用对称加密算法的密钥,在非对称加密算法解密钥的帮助下完成解密。随后,结合密钥通过对称加密算法,对数据包进行解密,实现对原文的还原。反复进行上述操作,直到所有数据包均成功解密,最终获得原始数据。在这一操作过程中,对称加密算法密钥管理问题获得妥善解决,就算是运算规模十分庞大,也不会对该工作的正常运行造成任何困扰。
3.3 在数据认证中的应用
就目前情况来看,认证技术被广泛应用于数据访问与控制工作中。通常情况下,认证技术会通过身份认证,对用户的权限加以界定,同时对身份、权限认真进行动态监控,从根源上杜绝用户间非法越权访问行为的出现。PIK技术、动态口令技术、一次性密码技术等,均为使用频率较高的认证技术。
4 结束语
综上所述,为有效避免数据安全与个人隐私遭到侵犯,大部分用户均坚持使用现有内部系统,如此一来,云计算的应用与推广受到一定局限性。引进科学、合理的云计算数据安全保护技术,才是推动云计算健康发展的关键。在本文中,笔者通过对相关技术的研究,为云计算环境中的数据安全保护机制提供理论基础与实践依据,为促进云计算的稳定发展奠定了良好基石。
参考文献:
[1]刘新华,胡纯蓉.云计算中数据安全关键技术和解决方案[J].全国商情(理论研究),2011(04):103-104.
在各种信息、网络技术飞速创新发展的现代社会,项目管理中的多数项目都已应用了先进的计算机运用技术。正是因为计算机技术的运用,使得项目管理的操作流程得以快速优化和集成实现。因此,项目管理领域的业内人士十分注重探究计算机相关技术的实际运用。
1项目管理的含义及相关内容概析
1.1内涵解析
项目管理的实际操作中涉及到很多方面的数据、信息,管理工作的重点在于汇集、整合、处理、保存及传输、运用这些信息资源,将一系列有关项目运行的信息资源进行系统整合管理,直接影响到整个项目的运作效率与管理成效。基于此,项目信息就为项目管理当中的关键内容,由于项目信息的种类繁多、交流方式较多,管理的过程中会牵涉到很多实际问题,引入计算机的相关运用技术可极大地简化管理程序,使管理项目得以更好地规划及开展。项目信息囊括了和项目相关的所有数据与资料,例如,项目组织、日常管理、技术信息、经济管理、法规及条例等多方面内容。
1.2项目管理建设的具体目标
项目信息的实际管理流程为:汇集各类数据-转换为相应信息-凭信息做出决策-得到最终结果。由此得出,项目实践中要出现大规模数据及有关的材料,管理这些数据、材料的实现步骤为:获取-收集-保存-整合-传输。信息整合及传输的过程正是各类信息相互整合、交流的过程,因此,管理人员在施行项目管理之前,要弄清楚各种项目间的信息互承联系,避免信息交接时出现误差乃至错误。目前,制作信息管理的运作体系图是实现快速、有效管理的关键点。制定一个项目管理的总体操作流程,首先要分解各个项目的运作结构,获取系统信息之后,运用规范化、科学化的技术手段对其进行统筹规划,以确保各类信息得以正常传递,并维护传输的流畅性、稳定性。
2项目管理当中运用计算机技术的效果探究
2.1计算机相关技术用于提升管理效率
项目工程在策划、启动和实践的全过程当中必然要形成多种多样的项目信息,例如,合同签订文书、规划图纸、各类报告、图像信息等,对以上信息展开综合、系统管理时,需要一个科学而规范的体系作为重要保障。建立这样的管理运行体系,应借助先进的计算机相关技术开展信息管理建设,进而构建出可供更多人员进行信息交流的操作平台。运用先进网络技术建设信息管理操作平台前,要把相关信息分成质量控制信息、策划管理信息、安全防护信息等几个专项板块,进而把相关信息系统地整合到相应板块当中,并采取超文本的格式编写出各类项目信息,进而将这些经过处理的信息放于网络上推广、传播,既可以提升项目工作的实践效率,又可以降低信息工作的管理难度。
2.2计算机相关技术用于实现全面控制
网络技术在项目工程中运用计算机相关技术,能够形成全程跟踪式的管理模式。经技术处理的各类编码具有更强的可信性与精确性,项目工作中运用此类信息可进一步提高运行效率。例如,项目管理中涉及到许多子项目的评估工作,为做出最优的操作决策,管理者需借助网络技术改进项目评估的流程和方式,通过简化复杂的子项目信息加快数据整合速度,可以显著提升管理效率和增加经济收益。网络技术引入到项目信息的管理当中,会按每个项目的具体情况实施进度管理、系统策划、造价评估、质量监控、机械和材料检测等多方面工作的全面控制,如此可在保证质量的条件下,将管理成本降低到最低水平,大大节省项目管理的经济支出。此外,运用相关网络技术的同时,项目管理能够借助十分便捷的信息交流工具实现跨空间的快速沟通,使各种信息交流工作得以顺利进行。例如,计算机介入项目信息的综合管理后,每位工作人员都能在信息操作平台中获取到所需的相关信息,实现了工作信息的全面共享。
2.3计算机相关技术用于完善管理机制
项目管理当中采用各种网络技术,可将总系统中包含的各个子系统及下属板块内包含的全部信息进行综合处理,经处理后的信息能够充分满足管理者的操作需求,大幅度地提升了管理效率。项目工作者凭借这些信息可以开展决策评估,为负责人的重要工作提供有用信息。处理项目工程实践过程中的各种问题时,计算机技术能按照资源情况开展实时控制,结合工程进度调度、配置项目信息,管理软件在其中起到“合理分配”、“高效服务”的作用。若资源服务时间超出设定标准,系统将自行开启警示装置,使各类资源得到充分、合理地运用。
2.4计算机相关技术用于管理项目物资
项目信息的流通性、变化性决定了项目管理的工作性质,物资管理作为项目管理当中的重要内容,会对工程造价形成很大影响。尤其是比较大型的项目需要用到许多物资,但市场中的物资价格变化较快,想要很好地管理项目的各类物资,应借助计算机技术构建一个规范的物资规划系统,把规划、审批、购置、保存、发放、维护等各类信息纳入这一系统中,以增强物资供应的平衡性,使项目物资的管理水平得到显著提高。
3结束语
项目管理作为一个动态化的工作过程,当中涉及的各类项目信息需要计算机技术进行科学、规范管理。将计算机相关技术引入到项目信息管理工作中,既能够改善项目信息管理的效率,又能够提高实际管理工作的质量,有效地提升了项目工程的总体质量。值得提出的是,项目管理中遇到各种问题时,管理者要结合实际情况应用计算机技术,使先进技术能够更好地服务于项目信息管理及其相关工作。
参考文献
[1]李跃辉.浅谈计算机信息系统集成项目管理--基于需求变更与范围管理[J].技术与市场,2013,20(5):249-252.
随着经济技术的不断发展,计算机科学的应用逐渐普及,各种工程项目在实施时都离不开计算机的协同帮助。所以,针对目前大型项目工程建设的需要,当下应改变传统的项目管理理念,融入新技术的管理理论和手段,促进项目的成功。计算机协同技术的出现能为工程项目完美收工奠定基础。
1协同技术
协同科学的研究多基于计算机信息技术的研究,即建立计算机信息共享平台,这就是基于计算机系统支持的协同技术。计算机协同技术是指在地域分散的群体间,所有的群体借助计算机、互联网的联系以及相关技术,通过共同的协作来完成手中的任务。具体而言,计算机协同技术主要包括群组通信技术、协作控制机制、应用共享技术以及多媒体技术等。作为用于人类完成协同工作的重要工具,计算机协同技术具有极其重要的现实意义。
2协同技术与项目管理的联系
一项工程之中的项目管理涉及范围广,包括很多方面,主要有项目主体、进度、合同、资源、采购、成本、质量、风险、信息与沟通等,所以,在项目管理的具体实施过程中,多数的方式、方法是围绕这些进行的。在当前的技术研究程度上,计算机的普及为项目管理研究技术提供了巨大的帮助,很多有计划性的实施方法也建立在计算机科学技术发展的基础之上,所以,计算机协同技术与项目管理的联系是具有必然性的。
3计算机协同技术在管理中的作用形式
计算机在当前人们的生活中已经不再陌生,随着经济的发展人们,日常生活中已经离不开计算机。在管理工作中,采用计算机的管理模式更是便捷、简单的代表。
3.1计算机的映像处理模式
在项目管理中,信息的传递需要靠书面材料来进行。此时,计算机的图像储存作用展现了出来,当需要的业务材料需要被存储到计算机中进一步应用时,即协同技术对项目管理反应的过程。人们需要将所有的纸质业务资料和数据转化成电子格式,并录入计算机中,由计算机统一完成业务资料的处理和传递。特别是在协同技术中的多媒体技术可以对数量庞大的业务资料进行压缩处理,将平面的文字信息转化成动态的音频、视频格式。该模式大大减少了工作人员的任务量,并能有效提升项目管理的质量和管理效率。
3.2文档管理
文档管理是人们利用计算机进行的基础性管理。在当前的项目工程中,文件数量非常多,完全依靠人工处理,比如手写起草文件等已经无法满足庞大的文档管理需求。此时,需要利用专门的计算机软件以提升管理效率。比如,可以利用专业的书写软件(Word文档等)进行各种内容的记录。文档也是当前信息管理的基本功能,比如重要事务文档的储存、某些需要修改的文档处理、文档的分发等,均可利用计算机技术大大提高工作效率。
3.3电子邮件
项目工程内容复杂繁多,涉及人员较多,导致人与人之间的交流、探讨需要跨时间、跨空间、跨地域进行,这就要求应充分利用计算机的协同技术,促进项目管理人员之间的沟通交流。电子邮件的使用可以很好地满足当前项目工程的管理需要,在各部门交流时可以通过计算机邮件进行,不仅能彻底打破以往时间和空间上的限制,电子邮件的高效性和便捷性还能以最快的速度和最简便的方式来解决问题,帮助人们实现随时随地交流和沟通的目的。
3.4业务过程重构结构化系统设计工具
业务过程重构工具是指利用计算机技术分析、建模、重定义组织内的核心业务或业务核心的相关角色改变造成的影响的信息技术手段。
3.5工作流管理系统
项目管理就是对任务的各个人员和任务的支配性工作,每一项工程项目都包含众多的人员和任务,这样利用计算机技术建立起的工作流管理系统可以清晰、便捷地安排各项工作。比如,在建筑工程项目中,需要就各方面(业主、承包商、设计公司等)的需求考虑合同的变更问题。当项目合同中明确规定的内容需要变更时,可以将各方同意的变更处理流程输入工作流程管理系统中,由该系统进行科学、合理的分析,进而分配人员和资源,并对各项工作按规定时间通知工作人员。如果直接负责人没有回复通知,则系统会对相关人员进行通知,保证工作流程衔接到位。
4结束语
目前,人们注重对计算机协同技术的研究和各种工作软件的研发,新兴的互联网技术为项目管理工作带来了便捷,促进了项目管理工作的顺利进行。这对很多行业的项目管理工作有巨大的帮助。本文对计算机协同技术的内容进行了简要介绍,立足于协同技术与项目管理系统之间的紧密联系,分别从计算机的映像处理模式、电子邮件、文档管理、工作流管理系统等方面对计算机协同技术在项目管理中的应用进行了简要阐述,验证了计算机协同技术能有效提升项目管理质量和管理效率的结论。在未来,各个行业应积极引进以计算机协同技术为主导的项目管理方式,从而将项目管理水平提升至一个全新的高度。
作者:徐鉴 单位:重庆市西南计算机有限责任公司
中图分类号:TP393文献标识码:A文章编号:1009-3044(2012)13-3209-03
Data Management Technology for Cloud Computing
WANG Cheng1, ZHAO Bi-fang2
(1.Wells Fargo Bank, West Des Moines, 50266,USA; 2.ASDI Inc, West Des Moines, 50266,USA)
Abstract: Firstly, the definition of cloud computing and cloud computing, data management techniques were introduced, the depth of analysis of current Internet mainstream cloud the basic principles of data management systems, and concluded that the main research directions of the cloud the field of data management. And the existing problems and future research focus are discussed to provide a basis for further research.
Key words: cloud computing; resource management; cloud storage; distributed computing
云计算(Cloud Computing)是网格计算(Grid Computing)、分布式计算(Distributed Computing)、效用计算(Utility Computing)、并行计算(Parallel Computing)、负载均衡(Load Balance)、虚拟化(Virtualization)、网络存储(Network Storage Technologies)等传统技术发展融合的产物,是目前比较流行的名词[1-2]。广义上的云计算指通过计算机网络以易扩展、按需的方式获得所需服务,主要是指服务的使用与交付模式[4],服务可以是其他服务。通过以上陈述,笔者认为,狭义云计算是指以网络为媒介,通过按需、易扩展的方式从而能获得所需要的资源,即IT基础设施的交付和使用模式[3]。
云计算主要包括以下三个层次服务:(1)软件即服务(SaaS);(2)平台即服务(PaaS);(3)基础设施即服务(IaaS)[5]。由于云技术需要有大量的用户参与其中,这就会造成诸多隐私问题。譬如用户参与涉及到收集部分用户数据,势必会引发用户数据安全问题,很多使用者会担心自身的隐私会被云技术收集从而暴露。因此,很多厂商都在加入云计划的同时均会表示尽量避免收集用户的安全隐私,若不慎收集到也不将此泄露甚至使用,给他人造成不便。但在实际情况中仍有不少人质疑厂商的承诺,这是因为仍有不少知名厂商在此期间都被指责有可能泄露用户隐私,且泄露事件也确有其事。
1云数据管理研究现状
1.1 Google File System文件系统(GFS)
Google有一套自身专属的云计算平台,该平台是为Google提供最重要的搜索应用提供服务,目前已扩展到其他应用程序[6-7]。Google的云计算基础架构模式包括4个相互独立又紧密结合在一起的系统: Google File System分布式文件系统,针对Google应用程序的特点提出的MapReduce编程模式,分布式的锁机制Chubby以及Google开发的模型简化的大规模分布式数据库BigTable。除了性能,可伸缩性、可靠性以及可用性以外,GFS设计还受到Google应用负载和技术环境的影响。图1给出了Google File System的系统架构[8]。
1.2 MapReduce分布式编程环境
Google简化分布式系统的编程是通过构造MapReduce编程规范来实现的。程序员只需将注意力放在应用程序本身,由平台来处理关于集群的处理问题(包括可扩展性与可靠性)[9-10]。MapReduce运算基本单元通过“映射”和“化简”来构成,用户只需提供自己的Map函数以及Reduce函数即可并行处理海量数据。图2给出了MapReduce执行过程,该过程分为Map和Reduce两个阶段,在两个阶段之间还有一个中间的分类阶段,即将中间结果包含相同的key的中间结果交给同一个Reduce函数去执行,另外两个阶段都使用了集群中的所有节点[11-12]。
图1 Google File System的系统架构
图2 MapReduce处理程序的执行过程
1.3分布式的大规模数据库管理系统BigTable
由于有部分的Google应用程序需要对大量的格式化或半格式的化数据进行有效处理, Google构建了大规模数据库系统Big? Table,该系统有弱一致性要求。BigTable的应用包括Maps,Orkut,Search History,RSS阅读器等。BigTable数据库系统的数据模型如图3[13]。数据模型所有的数据都存放在表格单元中,包括行列以及相应的时间戳。BigTable的内容按照行来划分,将多个行组成一个小表(这个小表称为Table),保存到某一个服务器节点中。
图3 Google BigTable的数据模型
2存在的问题与未来研究热点
云计算是一种处理大规模密集型数据的并行分布式计算技术,目前已有的云计算编程模型以MapReduce典型为代表,其他的大体上是这种方式的变种。谷歌公司开发的编程架构MapReduce简化了编程人员的工作,并且使数据的处理效率提高,因此MapReduce受到了较多的关注,获得了较大的发展,但还没有形成成熟的、系统化的理论体系,并且在面对计算过程相对复杂的计算任务时,这种简单的编程模型将可能效率低下,甚至有些复杂的计算任务会因为这种分解方式而不能收敛[14-16]。
一般来说云计算的终端用户应该不用考虑分布式并行处理系统方面的细节问题,就可以享受云计算所带来的的各种服务。但是随着企业数据密集型大规模计算需求的出现,现有编程模型还面临着更多的新挑战。一方面石化企业遗留了大量历史数据,并且石化企业每年产生的数据已达到PB(拍字节,1015B)数量级,其总量不仅成几何级数增长,其结构也呈现连续的高维时空特性,较传统的二维关系表和结构的万维网数据更复杂多变。随着数据总量和复杂性的增加,用户的查询需求越来越多,也越来越复杂。“数据在,找不到”的问题日益严重,如何有效地在云计算平台中存储和管理海量数据,成为其中的新的难题。另一方面在数据密集型大规模计算系统中,影响性能的重要因素包括了大规模数据的移动、复杂计算的局部性、多任务的调度等操作,为了兼顾简单性及性能优化,编程模型需要对上述影响因素提供适当的透明性。
云计算需要对大量分散的数据进行集中处理和分析,这就要求数据管理技术需能对大量数据进行高效管理。如何在规模庞大的分布式数据中快速准确的找到目标数据,也是云计算数据管理技术所必须解决的问题。同时,由于管理形式的不同造成传统的SQL数据库接口无法直接移植到云管理系统中来。另外,在云数据管理方面,如何保证数据安全性和数据访问高效性也是研究关注的重点问题之一。
3结束语
本文首先对云计算的定义及云计算中数据管理技术进行了介绍,之后详细阐述云计算数据管理技术的研究现状,并对目前存在的问题与未来研究热点进行了探讨,为进一步的研究提供依据。
参考文献:
[1]徐志伟,廖华明,余海燕.网络计算系统的分类研究[J].计算机学报,2008,31(9):1509-1515.
[2]钟伟彬,周梁月,潘军彪,等.云计算终端的现状和发展趋势[J].电信科学,2010,26(3):22-26.
[3] Armbrust M,Fox A,Griffith R,etc.A view of cloud computing[J].Communication of the ACM,2010,53(4):50-58.
[4]陈康.云计算后台大规模数据处理技术探讨[J].电信工程技术与标准化,2009,22(11):12-16.
[5]陈康,郑纬民.云计算:系统实例与研究现状[J].软件学报,2009,20(5):1337-1348.
[6]李晓伟,沈艳秋.云计算及其发展进程[J].科技信息,2011,15(2):1-3.
[7] Rodrigo N,Calheiros,Rajiv Ranjan,Anton Beloglazov,etc.CloudSim: a toolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms [J].Software-Practice & Experience,2011,41(1):23-50.
[8] Mark Stillwell,David Schanzenbach,Frederic Vivien,etc.Resource allocation algorithms for virtualized service hosting platforms[J].Journal of Parallel and Distributed Computing,2010,70(9):962-974.
[9]柳敬.云计算平台的成本效用研究[D].北京:北京邮电大学,2010.
[10]刘少伟,孔令梅,任开军,等.云环境下优化科学工作流执行性能的两阶段数据放置与任务调度策略[J].计算机学报,2011,34(11):2121-2130.
[11]白蛟,全春来,郭镇.基于物联网的公共安全云计算平台[J].计算机工程与设计,2011,32(11):3696-3700.
[12] Daniel Warneke,Odej Kao.Exploiting Dynamic Resource Allocation for Efficient Parallel Data Processing in the Cloud[J].IEEE Transac tions on Parallel and Distributed Systems,2011,22(6):1045-9219.
[13]刘晓茜.云计算数据中心结构及其调度机制研究[D].合肥:中国科学技术大学,2011.
1.1云计算数据库的简述
云计算在本质上可以理解为显示的基础构架和服务器虚拟化的技术的相互结合所形成的一种技术。这种技术的核心就是把其中的某些数据根据所建立的数据中心库虚拟化之后,然后提供给用户使用,这是一种很重要的运作形式,这种提供计算服务和资源的已经很常见了,并不是一项新型的技术,但是这是新的创新模式。云计算具有其特有的特征:1)云计算的数据是存在网络云端上的,同时这些应用也是存储在网络云端的,这些对于企业和个人用户来说是开放透明的,往往这种数据和资源是由第三方所支持和提供的;2)云计算特别注重服务,强调服务,往往在现有的商业模式上根据用户的使用需求,来进行计费的。这种模式可以达到互惠互利的目的实行共赢;3)云计算是可以把互联网当做发挥的舞台,同时把互联网的浏览系统当做计算的新型模式。数据库指的是一种服务形式,这一般的使用者可以获得自己然后通过接口的模式进行连接,这在以前是一种特别的计算服务,同时这些用户是有着巨大的计算需求。
1.2 云计算数据库的现状
现在互联网技术正在飞速的发展,云计算数据库已经悄悄的出现在我们的生活中了。云计算进行大规模的计算需要大量的,性能良好的硬件设备,这些硬件设备往往是由大量的服务器所组成的。通过这种互联网的强大的计算能力,企业和我们的个人用户就可以从中获得自己所需要的计算结果,在未来的发展中,云计算数据库很可能实现一种通过广域网的途径来为一些大型或者超大型的企业提供计算能力的服务模式。这种模式的优点就是一方面不需要投资大量的硬件设备,方便快捷。现在的云计算书籍库的市场基本是由谷歌的Bigtable,甲骨文开源的BerkeyDB,亚马逊的simpleDB,APPJet的APPJet所占据。这些都是最近几年内发展起来的,其中亚马逊和谷歌占据了半壁江山。在管理机构上是数据结构分布式的存储是谷歌Bigtable的一个重要特点,最初的设计目的也是为了实现是数据存储的单元系统能够进一步的扩展。这可以通过成千上万的网络服务器完成PB级的网络储存数据,而亚马逊的simpleDB则是一种高效率,高灵活性,高扩展性和可容性的存储模式,这种数据查询和数据存储方式是由公司的开发和技术人员开发的,他们通过向网络的数据服务器发出请求,这些都是可以通过亚马逊的这个云计算数据平台来完成。
1.3 云计算数据库存在的问题
1.3.1 没有足够的安全性
现在的云计算数据库也是刚刚被应用,技术还没有足够的成熟,在数据的传输和存储过程中很容易丢失,被恶意的程序删除,篡改,这使得企业和用户的数据得到泄露,影响用户的正常使用。同时,这种用户数据泄露,往往云计算运行商也是有很大的责任的。而且,在数据上没有办法没有达到一定的统一性,在使用云计算的数据库的时候我们应该考虑数据库的可靠性,一致性,可用性等方面。
1.3.2 某些传统的功能无法实现
在传统的数据库中,这些数据的边界和使用设备的用户都是可以很好的被定义,这种是通过逻辑和安全方面来定义的。在云计算的数据库中这种功能是没有得到开发和应用的。同时,现在的企业和个人用户,没有权限访问这种数据资源,往往被提示非授权访问,没有被事先授权,得到这份系统的权利,但是可以访问计算机和互联网上的某些资源。在这个计算系统中,有着优先访问资格的往往的云计算中的数据库服务商,而不是个人和企业。
2 云计算数据库在智能电网中的广泛运用
由于云计算数据库在智能电网的运用,现在的智能电网可以用来数据更多的电网云。这种方式构建的电网可以为人们提供更加高效、安全、可靠、环保的电力安全系统,这可以实现多种能源的发电方式协调运转,同时满足高度市场化的电力的商业需求。
电网的信息种类繁多,人户请求次数不断的增加,大量的数据同时请求,传统的电网计算模式已经很难满足这种数据请求的需要。而智能电网在云技术的支持下,对大规模的数据进行分析和处理,对海量的请求数据进行分析,优化和设计,决策,快速的进行回应。采用云计算数据库技术的电网可以分为四个层次,从上到下依次为:1)物理存储层。物理存储层指的是在智能电网中的一些物理网络设备,这是网络存储的基础。2)基础管理层,基础管理层指的就是为达到智能电网中所有程序和设备的协调一致的运行,所用的方法就是通过分布和集群式的系统来完成的。3)应用接口层,应用接口层的使用,可以使得管理机构和权限使用根据这自己的需求和所拥有的权限,选用不同的接口,提供不同的服务。运用这种形式的智能电网云,可以使各级电网通过公共的接口进行接入和登陆,从而获得相应的数据,信息和服务。4)高级访问层,这种系统也是运用云计算数据库的形式,这种感觉高级访问层,可以为提供电力系数的电力软件提供强大的运行平台和软件平台。这样智能电网中的海量数据便可以很轻松的处理。
3 云计算数据库在远程教学中的运用
现在在网络教学中,最重要的是资源的共享和利用,这是不受时间和空间限制的。而且最重要的是学习者可以根据自身的学习进度和自己的学习能力去安排这些时间和资源。这些是传统的网上教学所不具备的特点。但客观上讲,运用云计算的数据库是可以实现的利用云计算的优势我们可以很好的解决现实学习中的一些问题,比如机械设计,自动化专业和数控技术这些要求的学习设备和学习软件都特别昂贵,这方面的学员又是比较少的,为很少的学员提供一整套的学习设备是很浪费的,而运用这种云计算数据库在教学方面可以很好的向学员提供优质的、方便的、全方位的服务。
4 云计算数据库系统未来的发展前景和方向
云技术在现在的电脑技术中不断的被创新发现。这种技术可以使得多个计算机使用同一个系统,同一个数据库资源,储存所有的客户的使用数据。在现在的云数据库中,其本身就有很好的扩展性,在应用中和join操作相互配合,这样可以使得不易被兼并操作进行的join操作所取代。根据云计算数据库市场的发展特点和需求,现在的NoS QL数据库将会是最好的计算方法。这种推测的根源是NoSQL数据库具有分布式,水平可扩展性,非关系性等特点,非常适合云计算的海量数据的计算。NoSQL,是一种非关系型的数据库。在互联网网站的大量出现中,传统的web2.0网站已经满足不了市场的需求,出现了很多无法克服的问题,在这种背景下,非关系型数据库却得到了很好的发展。同时,另外的一项云技术的发展方向就是共享磁盘数据库构架,这项技术也将会成为一项理想的云计算技术,这种技术可以使低成本的服务器和设备进行单一的数据采集,这样可以为用户提供区域网络和附加存储网络。
这些运行模式和技术的使用将会节省大量的硬件设备资源,同时也会大量的节省运营成本。
5 结束语
在现实的生活中,云计算数据库的运用十分广泛。云计算数据库处理给人们的生活带来了极大的便利,个人和企业可以对大型的数据进行处理和运算。相信在未来的发展中,云计算数据库也会发展的更加的迅速,更大范围的应用在人类的生活中。
中图分类号:TP39 文献标识码:A 文章编号:1007-9416(2015)12-0000-00
1前言
随着计算机技术的不断发展进步,计算机网络技术也得到了迅速的发展,人们的生产生活越来越依赖于计算机网络技术。利用计算机网络对项目信息进行管理,不但可以减少管理人员的工作量,提高工作效率,而且可以提高项目管理人员的管理水平,进而提高相关项目的经济效益。因此,项目信息管理人员应该与时俱进,深入研究计算机网络技术对项目信息管理的重要影响,并合理利用计算机网络技术进行项目信息管理,提高项目管理的质量,提高项目的经济效益,进而增强相关企业在市场中的竞争力。
2计算机网络技术对项目信息管理的影响分析
2.1有利于提高项目信息管理的效率
在某个项目的启动和实施中,往往会有很多信息需要管理,比如合同、报告、设计的图纸,只有管理好这些信息,才能保证项目的正常运行。因此,项目信息管理人员可以利用计算机网络技术,构建一个公共的信息交流平台,按照相关标准处理信息,然后把处理好的信息公布到信息交流平台上,让项目参与人员能够自主获取信息。这样一来,有利于加快信息的交流速度,减少项目信息管理人员的工作量,进而提高项目信息管理的效率。
2.2有利于实现信息的全方位控制
利用计算机网络技术进行项目信息管理时,管理人员不仅可以全过程地对项目信息进行管理,而且可以在信息的编码、分类、筛选等工作中利用计算机网络技术,从而确保项目信息的可靠性和精确性[1]。
2.3有利于加强项目信息的交流
在项目信息管理中运用计算机网络技术可以让项目相关工作人员之间的交流更加便捷,实现项目信息管理人员与项目工作人员之间的无障碍、快速交流,提高各工作人员之间的配合度,进而保证项目的顺利实施。
2.4有利于实现项目信息管理系统的创建
在项目信息管理中,管理人员可以利用计算机网络技术建立一个信息管理系统,这个管理系统应该包括该项目实施中需要的各类信息,不仅有利于参与人员自主获取信息,提高项目实施的效率,[2]而且信息管理系统中的各类信息能够为项目决策提高可靠的依据。此外,管理人员还可以建立项目的决策系统和专家系统,为项目参与人员提供更多便利,提高项目实施的质量。
2.5有利于优化配置项目资源
计算机技术可以有效控制项目信息资源,在项目信息管理的过程中,管理人员根据项目的实际情况和进度的需要,利用相关软件计算出各类信息资源提供服务的时间,保证信息资源使用的规范性和有序性,进而实现各类信息资源的优化配置。
2.6有利于控制项造价
项目信息管理与项目造价有很强的联系性,在项目实施的过程中,往往需要大量的物资,而市场上的物资价格经常会发生变化。为了有效控制项目的造价,项目信息管理人员可以利用计算机技术开发相关的物资计划软件,并利用该软件计划、审核、采购、保管、使用物资,规范物资的采购和使用流程,减少不必要的浪费,进而有效控制工程造价。
3计算机网络技术于项目信息管理中的具体措施
3.1更新管理观念
当今社会,项目规模不断扩大,项目信息管理的复杂性日趋增加,为了增强企业在发展中的竞争力、推动企业的可持续发展,企业项目信息管理人员需要不断提高自己的管理水平。在信息技术飞速发展的今天,项目信息管理人员应该与时俱进,不断更新管理观念,认真学习计算机网络技术,并充分利用计算机网络技术进行项目信息管理。此外,企业的管理人员也应该更新管理观念,积极借鉴其他企业的项目信息管理经验,为本企业的项目信息管理人员提供更多培训和学习的机会,提高项目信息管理人员的业务能力,真正实现“人岗相配”,进而提高企业项目信息管理的质量,保证项目的顺利实施,提高企业的经济效益。
3.2引进先进的计算机网络技术
在信息时代,计算机网络技术在项目管理中的作用越来越重要,因此,企业应该重视计算机网络技术在项目信息管理中的运用,提高信息管理工作的效率。比如,项目管理人员可以利用计算机网络技术构建一个信息交流的平台,把各类与项目有关的信息集聚在一起,并利用网页的形式把这些信息展示给项目参与人员,让项目参与人员能够随时随地查询所需要的信息。其中,展示信息的网页格式是超文本,网页能够在Internet网络中传播,当此网页用链接的方式连接后,项目参与人员只用单击链接点,就可以进入网站,自主查询信息[3]。这样,不仅加快了项目信息的交流速度,而且可以让项目参与人员的的信息查询更加便捷,减少了很多信息管理和信息获取中的麻烦,从而提高项目实施的效率。
3.3不断优化项目管理中的计算机网络技术
当前,信息技术飞速发展,计算机网络技术日新月异,因此,企业要不断优化项目信息管理中的计算机网络技术。比如,企业可以利用计算机网络建设ASP交互式平台,这是一种在Internet上的电子信息服务系统,给用户提供公共的电子白板,用户可以在上面信息、发表自己的看法、参与讨论,这样,可是实现资源的共享,方面项目参与人员的交流。此外,企业还需要引进先进的计算机网络技术人才和项目信息管理人才,建设一支高素质、高技能的项目信息管理队伍。
4结语
随着社会经济的不断发展进步,项目信息管理的工作量越来越大,管理流程越来越复杂,管理人员的工作难度不断加大。因此,项目信息的管理人员应该认识到计算机网络在项目信息管理中的重要作用,并合理利用计算机网络技术对项目信息进行管理,不断优化项目信息管理模式,提高项目信息管理的效率和质量,增强企业的竞争力。
参考文献
中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2016)15-0023-03
Abstract:The public opinion information data with massive, show data sources of unpredictability, article on the HTML page for noise reduction, sub tree construction, and then through the similarity calculation, combined with public opinion simple ontology library, the realization of the data block identification and record the data extract, finally to Hadoop platform for experimental environment and pumping out the algorithm experiment. Experimental results show that the algorithm in the public opinion data mining, automatic extraction of extraction rules has a certain reference value.
Key words:Data extraction; Hadoop; public opinions
1 概述
网络舆情是某些社会事件发生后,在互联网的平台上,民众针对其发展和变化过程的不同阶段逐渐产生和发酵的社会态度,并借助于诸如论坛、博客、微博、微信、新闻跟帖等此类便捷的网络媒体进行关注、表达或宣泄。由于网络媒体的自由性和实时性,互联网的便捷性和随意性,网民针对社会过程中的各种问题,越来越多的倾向于借助网络媒体跟帖、转发、投票等方式畅所欲言,淋漓尽致地发表观点,在极短时间造成内凝聚共识,并诱发行动,直接影响社会。[1]同时由于阅历和思想认识水平的局限性,网民们往往会在短时间内难以认识事情背后复杂的社会,并认清其心理动因,从而造成非理性和过于主观的声音占据上风。从目前各领域内的一系列突发事件来分析,人们通过网络媒体进行传播爆发出的舆论能量不容小觑。各级行政机关、企事业部门都越来越重视互联网舆情的监测,各专家学者也从不同方面对舆情进行分析研究,如从政策机制、评估体系策略[2]、用户行为特征、网络舆情传播模式的研究和引导;技术上主要集中在网页抓取、内容分析、语义识别、数据挖掘、主题识别与跟踪等算法的研究等。在这在互联网技术飞速发展,影响力日益巨大的时下,网络已化身为思想文化的集散地和社会舆论的增强器,我们应充分认识以其为载体的新媒体的社会影响力。因此,对于如何快速、准确的发现互联网上潜在舆情信息并对其进行有效监测、监控及正确引导势在必行,本文通过对已有技术和知识进行分析总结的基础上,引入了云计算技术,对以面对与高校相关的网络舆情信息的数据抽取的关键技术进行了研究。
2 研究现状
随着互联网技术的飞速发展,特别是互联网的普及应用,我国的网民数量、网站数量以及网络信息资源的容量以爆炸性的趋势增长。据中国互联网络信息中心2016年1月的《第37次中国互联网络发展状况统计报告》[3]显示:网民通过各类移动设备进行网络行为的用户占全体网民总量的90.8%,规模达到了6.06亿,其中手机占移动类网民的91%。同时,以互联网为工具进行新闻获取阅读的用户规模为5.55亿,手机网络新闻用户规模为4.60亿,相较于去年年底将近增长11%。如作为网络环境下对新闻快速传播形成热点话题的微博、微信、来往等App应用借助于手机等无线设备,极大促进了网民对网络舆情的接触度和传播速度,从而使Web成为一个以大数据为基本特征的全球化信息中心。这些在许多领域具有重要价值的海量数据具有多样性、异构性且动态变化等特征,单纯地依赖人工的方法难以及时、迅速地完成海量web信息的收集、 web舆情的发现及进一步的跟踪。
针对网络舆情监测迫切需要分析挖掘的这些海量数据,按其信息蕴藏的深度,可分为SurFace Web和Deep Web两大类[4][5]。Surface Web是将各个独立的HTML静态网页通过超链接进行连接,其内容能够为当前的通用搜索引擎直接索引和检索而无需与网络数据库进行交互;而Deep Web面向的是网络服务器中的网络数据库,Deep Web的内容页面在被查询时才由Web服务器主动与数据库服务器进行交互而动态按照某一特定的HTML布局生成后返回给提交查询请求的访问者。随着信息化的不断跨跃推进和互联网技术的持续快速发展,以网络数据库形式存储的资源成指数级增长,如今人们也已访问网络数据库成为信息获取的主要方式和方法。[6] Deep Web形式的数据内容分布于商业、经济、计算机、教育、新闻媒体、娱乐等不同的领域;网络媒体以BBS论坛、微博、微信、来往、博客、播客、新闻、跟帖等各种形式载体和展现,此类海量存储在Deep Web背后的网络数据库数据已成为了供政府及企事业单位进行辅助决策的来源。但由于网络数据库隐藏在Web服务后端的隐蔽性,及各个Deep Web站点在网页展现形式和表述质量的差异性,使得当前存储DeepWeb数据的网络数据库搜索引擎只能实现大约33%左右覆盖搜索,因此如何有效的、快速的且准确地在浩瀚的网络数据库中抽取信息资源成为当前舆情研究中首当解决的问题。
3 基于大数据的数据抽取的相关技术
3.1 数据抽取
数据抽取,也称之为网页信息提取,主要是从HTML源码中去除一些如广告、标语等噪声信息,提取出标题、作者、正文等有用的信息。及时准确的信息提取为舆情系统提供可靠的数据源,数据抽取在web 舆情发现中至关重要,,它为舆情系统准确地发现相关信息提供基础。信息的抽取过程按自动化程度一般可分为人工、半自动化及全自动化三种方式。网页信息抽取是一种针对网络数据库中的数据通过分析、加工网页的结构实现信息数据的提取的过程。由于网页的复杂性、多样性以及程序员构建过程的随意性和习惯性,使得信息展现的模版不确定性和多样性,针对不同的网页模版抽取规则也不尽相同,信息抽取的方法也越来越多,按其实现原理大致可分为基于HTML结构、基于自然语言处理和基于本体几类方式[7]。
3.2 Hadoop
Hadoop是由Apache基金会开发的一个开源的分布式系统基础架构,其核心为实现为海量数据提供了存储的分布式文件系统 (Hadoop Distributed File System,HDFS)和为海量数据提供了计算能力的分布式计算MapReduce。Hadoop为程序开发者提供了简单易用的接口,用户只需编写 Map函数和Reduce函数即可实现分布式计算,而无需考虑诸如由Hadoop负责处理的任务调度,负载平衡和通信等问题[8]。
HDFS是能部署在廉价的机器上的分布式文件系统,用户不需知道文件的实际存储位置就能够访问分布在不同机器上的文件,具有高容错性、高吞吐量、能自动处理失效节点的特点。HDFS包含三种类型的角色:用以实现系统命名空间的管理和客户端文件访问管理的Name Node,用以实现管理节点文件存储的Data Node 和用于需要操作分布式文件系统文件应用程序的Client。MapReduce是包含一个主服务器Job Tracker和多个从服务器Task Tracker的主从式架构,Job Tracker是一个master服务,负责调度、监控和管理Task Tracker,并给空闲的Task Tracker分配Map任务和Reduce任务。
4 抽取框架
实现上主要对查询结果列表页和内容页进行信息提取,提取过程中使用自建的简单本地体库抽取方法来实现抽取,主要过程为:数据清洗、数据块识别,结果集抽取,抽取规则构建。
4.1 数据清洗
一般情况下,一个查询结果页面可能包含多个数据块,如宣传数据块、数据信息数据块、位置数据块、导航数据块等。其文档中含有一些对抽取没有价值的信息,如样式表标签、图片标签、命名空间标签、内容标签、表单标签、媒体标签、表格标签等,直接对此类有大量无用节点的HTML代码进行解析而生成的网页标签树会十分臃肿,因此首先将列表结果页和内容结果页文件进行“瘦身”解析成标签树,并采用广度优先遍历方法对标签树中所有节点进行降噪处理,其过程如下:从根节点开始出发,直至发现表示正文开始的body标签节点,将当前节点及其子树提取后向下遍历,判断读入节点是否是噪音节点,如果是则将该节点及其子树删除,循环直至到达树末尾。经过上述过程的降噪处理,可以将网页标签树中明显的以上所提及的无用信息标签及其间的内容删除,从而降低了计算量,并极大简化了后续算法的输入。
4.2数据块识别和数据记录集抽取
一般情况下,每个查询结果页面一般只有一块区域是用户所关心并希望可以获取的,这部分即为该页面的数据信息部分,而其他的模块则认为是对用户数据块信息顺利的获取的干扰因素,因此如何准确的识别出数据块在HTML页面的位置的至关重要。在完成对标签树清洗处理之后,我们需要发现并定位标签树中的数据块,此数据块包含查询结果。分析比较多个经过清洗生成的查询结果的标签树后发现:对于标签树中,某一父亲节点T具有越多的结构相似的子树越多,当比重超过一定的阀值,则该节点将越会是我们所关注的数据块,针对这一思想实现如何快递自动识别出的兴趣数据块,算法描述如下:
输入:节点T下的两颗子树T1、T2
输出:子树T1、T2的相似度Sim(T1,T2)
算法:
1)初始化SumT1、SumT2、DisumT12;
2) 循环T节点直至遍历所有的子节点{
3) 如果两个节点的标签相同{
4) Sum T1++; Sum T2++;
5) }
6) 如果两个节点的有节点但标签相同{
7) Sum T1++; Sum T2++; Disum T12++;
8) }
9) 如果T1节点树有节点而 T2节点树无节点{
10) Sum T1++; Sum T2++;Disum T12++;
11) }
12) 否则{
13) Sum T2++; Disum T12++;
14) }
15) Sim(T1,T2)=(SumT1+ SumT2- DisumT12)/( SumT1+ SumT2)
免责声明以上文章内容均来源于本站老师原创或网友上传,不代表本站观点,与本站立场无关,仅供学习和参考。本站不是任何杂志的官方网站,直投稿件和出版请联系出版社。