海量结构化数据存储检索系统
摘要：Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.第18届全国信息存储技术学术会议(中国 无锡)征文通知
摘要：为了促进我国信息存储技术的发展,加强学术交流、展示新产品,中国计算机学会信息存储技术专业委员会决定于2012年7月12日～15日在江苏无锡,召开第18届全国信息存储技术学术会议前言
摘要：由中国计算机学会主办、信息存储技术专业委员会与高效能服务器和存储技术国家重点实验室联合承办的第17届全国信息存储技术学术年会(IST2011)于2011年11月18日至20日在美丽的泉城济南召开.来自全国各大专院校、研究所、应用单位、存储公司基于海量数据存储系统多级存储介质的热点数据区分方法
摘要：海量数据的应用导致文件读写压力变大,必然需要考虑文件I/O带来的系统性能瓶颈.考虑到不同存储设备性能和成本不同,而且数据访问具有时间和空间局部性,因此需要进行分级存储.考虑到数据存在着周期性的变化规律,数据访问的热度是变化的,海量存储系统中相当大比例的数据静止不动,而且高性能存储设备有限,因此基于分级存储技术进行数据迁移,并且对常规价值评定模型进行改进后提出它所适用的基于文件级的数据迁移算法.针对并发访问读写压力变大之后对数据进行迁移的场景,用Web并发访问测试工具来对数据迁移之后的硬件读写进行评估,经过对Web服务器并发访问响应时间的测试验证,与常规迁移方法相比该算法的确改进了系统的性能.基于Hadoop的海量数据存储平台设计与开发
摘要：随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.云存储服务中可证明数据持有及恢复技术研究
摘要：云存储可以实现任意地点、任意时间、任意数据访问及保障法规遵从的需求等.对存储需求不可预测、需要廉价存储的用户来说,按需购买存储容量的云存储与一次性购买整套存储系统相比显然会带来更多的方便和效益,且云存储在为用户节省投资的同时也节约了社会资源与能源.但是,因为云存储的安全性、可靠性及服务水平等还存在众多问题亟待解决,所以云存储还未得到人们的广泛认可与使用.当用户将数据存放在云存储中,他们最关心的是数据是否完整无误;如果出现故障,是否可以恢复其数据.所以,在云存储中只有让用户可以验证存储服务提供者正确地持有其数据,且当检测到错误时可实现数据恢复,他们才可放心地使用云存储.综述了可证明数据持有及恢复技术在国内外的研究现状,讨论了云存储服务的安全性与可靠性需求,并研究云存储服务对可证明数据持有及恢复方案的特殊要求,从而明确在云存储环境下可证明数据持有及恢复技术的研究方向.云计算和云数据管理技术
摘要：随着各种新技术的发展,企业的关键信息以几何级速度增长,更多的数据需要保存更长的时间.伴随着云计算技术的发展,云计算已经成为一种全新的互联网应用模式.而在云计算对海量的数据高效管理,云端数据精确精准快速查询成为越来越重要的问题.一个新的面向云计算的数据管理研究领域正逐渐形成,在云计算技术的基础上,提出了云数据管理的概念.分析GFS,BigTable,Dynamo等当前互联网主流云数据管理系统的基本原理,并针对未来云数据管理架构进行分析,最后指出了云数据管理领域的主要研究方向.一种基于海量信息处理的云存储模型研究
摘要：提出了一种云环境下海量数据组织与资源共享的存储总模型,该模型包括:结构化、半结构化及其非结构化数据与资源的对应存储方法;能兼顾海量大小数据文件处理的分布式文件系统THDFS;云数据库系统设计模型THCloudDB;云环境下强于MapReduce弱于SQL,以Hadoop++为基础的一种针对互联网海量数据文件处理且具有语义计算效能的计算模型THMapReduce;针对THDFS及其THCloudDB的具有语义效能的智能挖掘分析工具THBI;最后以"清华通"为案例分析了该模型平台的具体应用.海量数据持续数据保护技术研究及实现
摘要：持续数据保护(continuous data protection,CDP)是一种在不影响主要业务系统运行的前提下,可以实现持续捕捉或跟踪目标系统所发生的任何改变,并且能够恢复到此前任意时间点的方法.提出了一种新的可扩展的海量数据持续数据保护技术;设计基于块级的海量数据持续数据保护技术的体系架构、关键技术.最后对系统性能进行了对比分析,并进行了总结和展望.基于多路径地震资料处理集群存储系统
摘要：石油物探的深水海洋地震资料处理是大规模企业级高端存储系统的重要应用领域,满足计算量庞大地震资料叠前成像偏移的I/O访问需求,需要先进的集群存储体系结构和合理优化的系统部署.提出了一种基于多路径的地震资料处理集群存储系统的具体解决方案.从系统架构、文件系统、SAN网络、多路径软件、存储虚拟化等方面进行了设计与实现.集群存储系统的测试与运行表明该存储系统的正确性和优越性.高强度I/O的应用对并行存储系统的挑战和解决方法研究
摘要：具有高I/O密集特性的高性能计算应用对高性能计算机存储系统综合性能的要求越来越高.以石油地震勘探数据处理为代表的一类重要应用表现出I/O数据量巨大、I/O访问密度大,对单个磁盘阵列存储部件的读写带宽要求高的特征.在Lustre文件系统中,充当对象存储服务功能的磁盘阵列设备输出带宽的不足将成为阻碍存储系统整体性能发挥的重要因素.针对此类问题,提出了一种缓存管理方法,分别在客户端添加VDISK模块,在OST端添加Cache模块,二者协同提高并行文件系统I/O的输出带宽的使用效率;另外,充分利用客户端空闲内存以及客户端之间的通信带宽,降低应用程序对磁盘阵列设备输出带宽的要求.通过大规模并行模型的验证表明,VDISK提高了实际可用的输出带宽,提高了外部存储系统的I/O效率.多线程向量处理器中向量数据存储结构的设计与实现
摘要：多线程和向量技术相结合是当前微处理器设计的一个重要趋势.提出一种多线程向量处理器中向量数据存储结构,利用多线程切换来隐藏访存延迟,并让向量数据直接访问二级cache来提高带宽.模拟实验表明在所提出的存储结构下,访存带宽随线程数线性增长,向量数据访问带宽明显高于标量数据访问带宽.面向星形拓扑片上网络的高性能切片路由器结构
摘要：由于具有很好的规整性,mesh成为目前最常用的片上网络拓扑结构.然而mesh有两大缺陷:饱和吞吐量随着网络规模增加而显著降低;结点间的距离由结点的位置确定,极不均衡.提出一种面向星形拓扑的25端口切片路由器结构.它包含5个切片和5个接口部件.与传统的5×5mesh结构相比,基于该路由器的星形拓扑片上网络的面积开销降低51%,单微片报文的平均延时降低约40%,饱和注入率高达0.88,而5×5mesh的饱和注入率仅为0.67.因此,该路由器具有低开销、低延时和高吞吐量等优点.65nm工艺大容量2W/8R高速SDP存储器的设计
摘要：SDP是为"飞腾-迈创"DSP在65nm工艺下设计的一个核间数据共享存储器,容量为512×32b,端口数为2W/8R.针对SDP存储器写端口数少的特点,为减小面积,采用了分为4个2W/2R存储体的实现策略.为了提高存储单元的噪声容限,设计了读写端口分离的12管2W/2R存储单元,使得读写操作的噪声容限分别达到了333mV和274.7mV.采用层次式位线技术,提高了读写操作的速度,并降低了功耗.用全定制方法完成了2W/2R存储体的版图设计,并用Encounter完成了SDP存储器的总体集成.版图后的模拟结果显示,SS条件下的最大延时为750ps,TT条件下的功耗为45.2mW@500MHz.基于NAND FLASH的多路并行存储系统中坏块策略的研究
摘要：大规模固态闪存系统可以引入多路并行技术来支持高速数据传输,但随着闪存存储容量增加也需要采取有效的坏块处理机制来解决严重的坏块访存问题.面向NAND FLASH多路并行固态存储系统,提出了一种高效坏块管理策略,采取并行存储坏块编码技术来节约坏块表存储空间,减少坏块处理功耗,同时采取坏块表重构处理技术有效解决了系统中的同位置坏块难题.针对四路并行的NAND FLASH存储系统,实验结果表明:该策略节约了25%的坏块表RAM存储空间,提高了约1.5倍的查询效率,降低了约30%的坏块处理功耗,并对并行存储数量具有良好的可扩展性.忆阻器状态逻辑中与操作的高效设计与实现
摘要：作为电阻、电容、电感之外的第4种基本电路元件,忆阻器自2008年被发现以来受到学术界和产业界的广泛关注.忆阻器的阻值记忆效应和纳米工艺制造方式使其被认为可用于构建未来更大容量和密度的存储器,逐渐替代FLASH等现有存储器件.除存储功能外,HP公司在2010年《Nature》上发表的文章表明,忆阻器还可以通过以蕴含为基础的状态逻辑实现任意逻辑运算.研究了忆阻器状态逻辑的另一种操作——与操作,提出了一种更加高效的与操作实现方法,该方法不需要增加额外的忆阻器,降低了激励电压的复杂性,减小了误差,使运算更加简便高效.最后通过SPICE模拟仿真对提出的方法进行了验证.忆阻器存储研究与展望
摘要：随着信息呈现爆炸式增长,而CMOS的工艺尺寸逐步接近其理论极限尺寸,新型纳米级存储器件的需求日趋迫切.忆阻器被认为具有替代动态随机存储器,适应海量存储的巨大潜力.在综述忆阻器与忆阻系统概念的产生与发展的基础上,讨论忆阻器作为存储单元的特性,综述了忆阻器的阻变存储结构以及相对应的读写方法.在总结分析目前研究存在问题的基础上,探讨了今后的研究方向.一种自定义高速串口存储网络浅析
摘要：介绍目前工业界最新的存储网络交换传输的新进展和简要地叙述其现有的研究应用状况,以浪潮正在开发中的基于自定义高速串口的ISR存储交换网络为例介绍在大型IP-SAN网络存储传输器件设计和应用中的一些相关考虑.
