基于私有云和物理机的混合型大数据平台设计及实现

作者:王永坤; 罗萱; 金耀辉

摘要:大数据分析技术的广泛应用离不开大数据平台的支撑,构建大数据平台已经是很多企业和机构的重要需求。构建大数据平台需要复杂的系统性的技术,特别是需要考虑系统性能和可扩展性两方面需求。随着数据体量不断增大、用户需求不断增多,规划时的数据平台规模很可能不能满足不断变化的需求。因此,设计了一种混合的大数据平台架构:混合使用物理服务器和私有云云主机的大数据平台。这样就兼顾了性能和可扩展性:由于物理服务器性能一般要高于云上的虚拟机,所以构建在物理服务器上的大数据平台,性能一般要好于构建在私有云上大数据平台;从私有云上启动云服务器非常方便、快捷,所以大数据平台的计算和存储结点可以动态弹性地扩容到私有云上,从而保证高峰期的时候大数据平台仍然可以有充足的处理能力。在生产环境实现了这种混合型设计,在生产环境中的测试也表明了这种设计的有效性。

分类:
  • 期刊
  • >
  • 自然科学与工程技术
  • >
  • 信息科技
  • >
  • 电子信息科学综合
收录:
  • 知网收录(中)
  • 维普收录(中)
  • 上海图书馆馆藏
  • CSCD 中国科学引文数据库来源期刊(含扩展版)
  • 北大期刊(中国人文社会科学期刊)
  • 国家图书馆馆藏
  • 万方收录(中)
  • 统计源期刊(中国科技论文优秀期刊)
关键词:
  • 大数据
  • 私有云
  • 大数据分析
  • 大数据处理
  • 数据平台
  • hadoop
  • openstack

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

期刊名称:计算机工程与科学

期刊级别:北大期刊

期刊人气:9746

杂志介绍:
主管单位:国防科技大学
主办单位:国防科技大学计算机学院
出版地方:湖南
快捷分类:计算机
国际刊号:1007-130X
国内刊号:43-1258/TP
邮发代号:42-153
创刊时间:1973
发行周期:月刊
期刊开本:A4
下单时间:1-3个月
复合影响因子:0.79
综合影响因子:1.27