基于离群模型的异常大数据检测方法研究

摘要：数据检测的主要目的是从海量的大数据中找出异常的数据。传统检测方法的好处是可以在数据预处理阶段减少噪声点对检测的影响,同时针对特定的场景进行异常检测能够对异常现象本身进行挖掘。但这种方法无法做到兼顾全局和局部离群数据同时存在的复杂检测。因此针对这一问题,提出一种新的基于离群模型的异常大数据检测方法,通过离散挖掘的方法对大数据进行挖掘,再建新的离散模型对异常大数据进行检测。通过对比试验将新的异常大数据检测方法与传统检测方法进行比较。结果表明,加入离群模型的检测方法能够充分兼顾全局和局部离群数据进行检测,明显提高了异常数据检测方法的查准率、查全率,可以更加有效地提升后续工作的效率。

简介：《新一代信息技术》杂志在全国影响力巨大，创刊于2018年，公开发行的半月刊杂志。创刊以来，办刊质量和水平不断提高，主要栏目设置有：科研通讯、设计与研究、技术与应用、综述、产品与市场等。