数据分析设计篇（1）

中图分类号：TP274.2 文献标识码：A 文章编号：1007-9416（2016）11-0142-01

南京中车浦镇海泰制动设备有限公司是主要从事铁路客车、动车组、城市轨道交通设备制动系统及其零部件和试验装置的研发、设计、制造、销售、修理、租赁及技术咨询、试验检测和技术服务的高新技术公司。公司现有数十台各类非标设备用于产品的出厂试验，每台设备的试验类型、试验参数规格以及试验报告都不相同。

试验数据分析系统的目的就是需要将这些非标设备的试验数据进行集中统一上传存储，并提供统一的查询以及分析，使管理者或相关人员能迅速知晓产品性能参数，通过对试验数据的分析，了解产品的生产过程的结果，实时监控产品试验过程，对阶段性产品试验数据进行SPC分析。科学的区分出生产过程中产品质量的随机波动与异常波动，从而对生产过程的异常趋势提出预警，以便生产管理人员及时采取措施，消除异常，恢复过程的稳定，从而达到提高和控制质量的目的。

1 系统整体设计

系统整体框架结构包括三个部分：基于C/S的试验台应用配置系统 + 数据上传适配器中间件 + 基于B/S的试验台数据分析系统，如图1所示。

C/S的应用配置系统完成对不同类型试验台的应用配置，配置内容包括试验台的试验子项内容定义；试验子项的存储结构定义；试验子项的数据字典定义；试验子项的规格值定义；试验台试验报告单的报表格式及数据源定义。

数据上传适配器接口基于配置数据库中的配置实现将不同类型的试验台试验数据进行上传并存储。

B/S试验台数据分析系统基于配置数据库的配置，实现对不同类型的试验台试验数据进行显示以及分析。

2 数据上传接口设计

在试验过程中，每完成一个试验项目，则将当前试验项目的试验结果信息和参数信息通过调用Web Service接口上传并转储至服务器中的数据库中（如果遇到服务器故障的情况下数据本地保存）。

本地试验数据上传采用windows消息队列方式。原理如图2所示。

3 试验数据报表显示设计

由于试验数据分析系统需要显示不同试验平台下的试验数据报表。在设计中需要根据不同类型的试验台定义报表显示模版，定义模版中的数据源，最后将模版和数据源进行绑定并进行显示。设计结构如图3所示。

基于XML定义报表模版对应的数据源。XML文档格式设计如下：

4 结语

数据分析设计篇（2）

报表情况概述

（一）报表的定义理解。报表，就是将内容信息（一般是数据、文字、图片等）以某种形式组织起来，并将组织结果呈现出来的文件。只要是做数据的呈现，无论数据存在于文本文件内、Excel文件或者是在数据库之内，只要可以将它呈现出来，打印输出格式化的数据信息，就是一份报表。报表作为一种信息组织和分析的有利手段，在各行各业都应用广泛，是信息浏览、分析、打印的有利工具，也是企业信息系统重要组成部分之一。

（二）报表的分类。按格式可以分为静态格式和动态格式。静态格式报表是由政府等管理组织制定的，格式固定而且复杂，格式与数据来源在开发时就已经固定，在使用时不需要改动，通过开发环境的自带报表组件、应用程序、第三方控件实现，比如财务报表等。动态格式报表数据量较大，数据和格式需要经常变动，用户需要自由定义，所以要有变通性和通用性，比如统计报表等。

（三）报表的构成。无论是静态的还是动态的报表都是由表头区、标题区、表体区及表尾区四个区域组成的。

（四）报表的内容。报表的内容包括两个方面，一个是静态不变的框架结构，即表头区、标题区、及表尾区，这些结构在一段时间内是不会改变的。另外一个是动态的数据，指将数据库内容，经过计算、查询及综合动态的操作，写入到表格中的相应位置。

数据统计分析报表的重要性

向企业的领导和决策部门提供高质量的、准确的、及时的数据统计分析报表是企业数据管理部门的职能。提供高水平的数据统计分析报表是数据经过深加工的最终产品，是统计数据、分析研究的有机结合，为企业领导和决策部门提供优质的服务，是他们分析经济运行态势，制定宏观决策和长远规划必不可少的重要依据。在计算机辅助技术迅速发展，世界市场动态多变，竞争日益激烈的世界经济环境下，企业的生存环境发生着巨大的变化，各种新概念新模式不断涌现，企业开始朝着全球化、敏捷化、智能化、信息化和个性化的方向发展。

传统数据统计分析报表中存在的问题

常规的数据统计分析报表主要通过纸质报表、Excel报表及专门定制的软件来呈现。而纸质的报表是最为常见的，大多企业的生产自动化的程度不高，计算机的应用不够广泛，工作人员接受创新事物的能力差等原因，所以大多的企业采用的是纸质的报表，数据的统计部门，根据需求手绘制定报表的格式，下发到其他的部门或者是生产的车间内，由部门的负责人或者是车间的管理人员按照要求填写所要的数据或者其他的指标性文字，再返回到数据统计部门。

Excel报表是在纸质报表上的一大进步，简化了纸质报表的很多程序。统计部门可以根据数据的要求在计算机上绘制电子表格，定义要求。通过网络下发到各部门和车间。数据的计算工作可以通过在计算机上引入公式完成。但是这种报表的统计分析工作还得通过统计人员手动汇总计算，统计分析形成最终的报表。

还有就是专门定制的软件，这样的软件并不是通用于所有的部门的，他们有着许多使用的局限性，例如制造企业的管理和设计软件能实现各生产部门的数据统计分析、形成制造业通用的报表，而不能灵活的完成其他形式的报表。

数据统计分析报表系统的设计

数据统计分析报表的设计最关键的环节就是报表的模板和报表的输出，下面就Excel报表模板及利用DDE通信、ACCESS数据库、OLE几种报表的输出方式探讨了数据统计分析报表系统的设计。

（一）利用Excel制定报表模板。通过运用Excel的制表功能，制定出不同的报表模板，不管是检定结果还是鉴定证书等样式的报表，每个报表的模板可以按照不同的数据需求，制定不同的结构，有报表格式、表头、表尾、框架等固定的部分。在制表的过程中由于计算机的智能会自动完成一些简单的合并、对齐、字号、字体等工作。但是对于某些非常复杂的表格编程，上述的自动化程序不起太大的作用，这时我们可以在制表之前就对表格的格式及公式定义做一些设定。这样，不仅减轻了编程与维护的工作量，还提高工作的效率。

（二）利用DDE通信来实现报表输出。Excel是办公必备的软件，也是人们最常用的表格、计算及统计的软件，它不仅查询、浏览的功能强大，而且其中内置的运算函数十分丰富，使用非常便捷。Excel在报表中应用，应用人员得心应手。动态数据交换是Windows平台中能够彼此进行交换数据与发送指令，是完整的通信协议之一。DDE方式的应用，使计算机中的各种程序通过动态数据交换的方式和MCGS来进行数据交换，是实现利用计算机中的资源对MCGS的功能进行扩充的方式，通过动态数据交换使程序读取MCGS数据库的数据，再依据要求把所读取的数据在Excel中显示出来，完成报表的输出。

（三）利用ACCESS数据库来实现报表输出。报表的制作通常是通过报表设计器或利用第三方的Activex的报表控件来实现。但是这两种方法都存在着这样那样不足：报表设计器只适用于制作一些不带有表格的报表，同时它必须与vB所提供的设计器进行结合使用，异常的麻烦；而利用第三方的Activex的报表控件来实现的，虽然相对简便，可以通过套用应用于多种的报表格式中，但是实用性较差，在实际应用中某些功能难以满足实际项目的要求。然而利用ACCESS数据库能解决上述的问题，利用MCGS数据库的访问功能，把采集到的现场数据输Access的数据库中，然后通过MCGS内部函数来调用已有程序，把Access数据库中的数据输入到的Excel的报表中，从而实现报表输出。

数据分析设计篇（3）

中图分类号：TP311 文献标识码：A 文章编号：1671-7597（2014）04-0017-02

1 业务对象分析

库房中储存的样品主要是岩石样和流体样，根据取样方式的不同可以把岩石样分为岩心样、壁心样、岩屑样和露头样，把流体样分为常温常压流体样和高温高压（统称PVT）样，根据流体相态又可以把流体样分为油样、气样和水样。

分析化验所使用的样品是小样，也叫做实验用样，是大块岩石样或大桶流体样中的一部分。根据实验的目的和要求，可以把小样分为水平样和垂直样。

2 分析化验项目分析

根据样品的类型可以把分析化验分为流体样实验、岩石样实验和岩石样-流体相共存实验3种。

2.1 流体样实验

流体样实验是对从井筒或地面上取得的流体样进行分析的，研究井筒中流体的特性，为油气田开发前期设计提供参考依据，为生产井提能分配或井下作业提供基本数据支持。

根据流体取样方式的不同，把流体样实验分为常温常压流体实验和PVT实验，由于流体相可以分为油相、气相和水相，所以流体实验又细分为常温常压油样实验、常温常压气样实验、常温常压水样实验、原油PVT实验、易挥发油PVT实验和凝析气PVT实验。

2.2 岩石样实验

岩石样实验是对钻井过程中取到的岩石所进行的分析或鉴定，是地层岩石特性最直接、最准确的表现。

根据实验的目的不同，把岩石实验分为常规岩心分析、特殊岩心分析、岩石地化分析等。

2.3 岩石样-流体相共存实验

岩石样-流体相共存实验是分析岩石在以不同的流体相作用下，所呈现出来的岩石的润湿性和联通性等，主要有毛管压力实验和相对渗透率实验等。

根据流体相作用方式的不同可以分为压汞法和驱替法，驱替实验分为油驱替水、水驱替油和气驱替水等。

3 业务分析

业务分析是数据库设计的基石，只有业务分析好，才能设计出满足需要的业务模型。根据工作内容可以把业务分析分为业务调研、业务划分、业务活动分析和数据分析。

3.1 业务调研

确定分析化验业务域的业务调研范围和调研内容，形成业务调研清单，并制定业务调研模板。业务调研模板是业务调研的依据，必须要包含业务名称、业务流程和数据应用情况等。在执行调研时，按照业务调研模板内容，详细了解分析化验业务现状、数据库现状、应用现状和数据管理机制等，并收集相关资料（报表、数据、业务规范等）。

3.2 业务划分

根据业务调研情况对分析化验业务域进行业务划分，划分为一级业务和业务活动，一级业务主要有常规岩心分析、特殊岩心分析、岩石地化分析、油气地化分析、岩矿分析、同位素分析、岩石力学分析、古生物分析、油气水分析和流体PVT分析等。

业务活动是对一级业务进行细分，直至划分到不能再分为止。如一级业务常规岩心分析包含有岩石物性分析、岩心伽玛测定和岩心CT扫描等。

3.3 业务活动分析

根据业务划分得到一个个业务活动，每一个业务活动都有自己的业务含义和业务范围。业务活动分析就是要详细分析每一个业务活动流程，如业务活动的时间、地点、参与人员、业务规则、输入数据、输出数据、相关的标准规范等。如岩石物性分析是实验员（who）收到分析化验任务后（when），在实验室（where）根据样品基本信息和检测任务单的要求对岩心样品（which）进行岩石孔隙度、渗透率、含油饱和度、密度、碳酸盐岩含量的分析化验，形成岩石物性分析成果数据表和业务分析报告（what），为表征岩石孔隙的发育程度、储集流体的通过能力和岩石渗流特征提供重要参数，为储量计算、采收率确定等提供参数依据（why）。

3.4 数据分析

数据分析是对业务活动数据集和现有专业数据库物理表进行详细分析，业务活动数据集分析是对业务活动的输入数据和输出数据进行分析，规范业务活动输入数据集和输出数据集，形成业务活动数据集；现有专业数据库物理表分析是对现有在用专业数据库物理数据表进行分析，分析出专业数据库物理数据表的实际业务含义，具体是哪个业务活动产生的，对应于业务活动的哪个数据集，形成专业数据库物理数据表对业务活动数据集的映射关系。

数据分析表如下：

业务活动 输入数据 输出数据 业务活动数据集 专业数据库

岩石物性分析 检测任务单 岩石物性

分析报告 岩石物性分析报告 文档数据库

实验样品信息 岩石物性分析

成果数据 分析化验数据库

4 数据模型设计

数据模型设计是实现业务分析到物理模型设计的所有过程，主要分为业务模型设计、采集模型设计、逻辑模型设计和物理模型设计。

4.1 业务模型设计

根据业务调研和分析成果，对业务模型进行标准化梳理，对数据流进行详细分析，完成从业务分析到业务模型的转换，形成业务模型。

4.2 采集模型设计

制定业务模型中数据集合并原则，根据这些原则分析业务模型中需要合并的数据集，通过专业工具完成业务模型数据集的合并工作，实现从业务模型到采集模型的转换。业务模型数据集合并原则：首先是业务活动场景相同；其次是业务活动产生的数据项相似。

4.3 逻辑模型设计

通过对POSC Epicentre逻辑模型和PPDM模型的研究，结合石油企业业务实际，采用面向对象的设计方法设计分析化验逻辑模型。逻辑模型主要分为对象模型、活动模型和属性模型。对象模型是对分析化验业务域中所涉及到的业务进行抽象，提取出一个个业务对象，用前缀OOE_表示，如岩心的对象模型是OOE_Core等；活动模型是对分析化验业务域中所有业务场景进行抽象，形成业务活动编目，存储在OOE_Activity实体里，具体的业务分析活动只是业务活动编目的具体实例。如岩石物性分析是业务活动，***井岩心常规分析报告是业务活动实例；属性模型是业务活动数据集中的相同数据项的抽象，提取出一个个属性对象，使用前缀OOP_表示，如孔隙度的属性模型是OOP_Porosity。

4.4 物理模型设计

设计从逻辑模型到物理模型的投影规则，依据投影规则实现逻辑模型到物理模型的转换，投影出不同版本的数据库，以支持不同的数据存储和管理需求。常用的投影规则有直接投影、复制投影和合并投影，不同的实体具有不同的投影规则。在投影时，为了保证物理模型的最优化设计和数据存储的最少冗余，要求分析所有实体对应的最优投影规则，根据最优投影规则一次投影出物理模型。

5 总结

数据分析设计篇（4）

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2015）30-0211-02

随着电子商务的发展，越来越多的实体商户转向网络虚拟网店，“淘宝网”的店铺数呈指数增长；消费者也越来越疲于花大量时间在海量的信息中寻找自己需要的商品[1]。由此衍生出以团购为生存方式的电子商务平台，如“折800”、“一淘网”等依赖于“淘宝网”的团购网站。这些团购网站经过通过“淘宝网”从中获取折扣商品[2]。但折扣的商品有质量质疑，团购网站需要重视上线商品的质量数据问题，对网站上线商品进行售后监控，优胜劣汰。商务平台商品数据分析系统基于此开发。

1 商务平台商品数据分析

商务平台商品数据分析系统集数据获取、数据统计和分析，系统设计有如下考虑[3-4]：

1）商品ID号：根据上线商品的ID号直接获取商品的评论，并对评论进行等级评定；

2）评论平均分：计算评论平均分，据此可判断商品是否合格；

3）评论分分布：计算评论的合格数及其比例。

等级评定时是多个操作人员同时对同一商品数据进行评论操作，评论评分定级是人工进行的，操作人员的主观对商品评论操作有一定影响。因此需要将所有操作人员的评论评分数据进行统计对比分析，以控制整个评定的有效性。

2 系统设计

本系统根据MVC的三层框架，利用JSP技术制作动态网页，通过JDBC技术访问数据库，使用JSP作为服务器端应用程序处理客户端的请求并在Web服务器中进行业务逻辑处理并返回客户端请求的结果。在JSP里嵌套HTML以及CSS对WEB页面进行设计，引入Bootstrap封装的样式，达到系统数据呈现的设计要求[5-6]。

页面数据呈现与后台数据交互是整个系统的核心，对数据进行归纳计算和整理并呈现到用户界面上。用户只需获取到公司平台上线商品的ID号就可以通过系统抓取商品评论数据；同时对数据进行整理分析得到评论平均分、评论分数比例等数据；同时可以系统整理分析出整体上线商品的整体趋势，通过饼状图直观地看出商品的品质分布。

2.1 系统功能结构设计

商务平台商品数据分析系统分为三个模块，八个基本功能，分别是管理员登陆、用户登陆、用户注册、商品评论抓取评分、商品评论数据的统计和分析、用户管理和修改密码等，根据分析，本系统的功能结构图如图1所示。

1）管理员登陆：管理员输入用户名和密码，数据经由UI Servlet传递给Controller Servlet，再到数据库中验证身份，将结果返回给JSP，成功登陆就可进入系统，不成功则重新输入。用户名只可能是字母，密码字母和数字皆可。管理员是系统指定的，不可以注册。

2）用户登录：普通用户输入用户名和密码，数据经由UI Servlet传递给Controller Servlet，再到数据库中验证身份，将结果返回给JSP，成功登陆就可进入系统，不成功则重新输入。用户名只可能是6-20位字母，密码是6-15位字母和数字组合皆可。若没有账号，可以在用户登录JSP页面点击注册，通过UI Servlet跳转到注册页面。

3）用户注册：用户注册需要输入Email、用户名、密码等信息，Email有格式判断，必须输入正确的格式，用户名必须是6-20位字母，密码是6-15位的字母数字组合皆可。输入正确后可以成功申请新用户，随后跳转到普通用户登录界面登录系统。

4）商品评论抓取评分：普通用户与管理员皆可操作，在输入框中输入商品的id号，点击查询，就可获取到“淘宝网”中商品的前一百条评论，并且按照评论时间顺序进行呈现。其后的评分框，按照规定只能输入1-5的数值，同时点击保存，数据就会存入数据库中。

5）商品评论数据统计：此功能方便普通用户清楚的跟踪自己的工作进度，对于管理员可以掌控平台上线商品的商品质量，会显示出该操作人员所操作的所有商品的平均分、合格率，可以看出该操作人员操作的商品评分状态详情。

6）商品评论数据分析：此功能为管理者观察网站整体上线商品的质量分布，点击查询，会统计所有使用系统的普通用户操作过的所有商品数的评论数据。如此管理者可以通过这些数据对网站上线商品进行调整。以操作人为条件，区分每个人的操作数据，可以控制一定的主观误差，还有整体的上线商品的趋势。普通用户可以看出自己的主观意见和其他用户的差别。

7）用户管理：管理员可以对普通用户进行增加和删除，用户管理界面对普通用户不可见。管理员有权限重置普通用户的密码。

8）修改密码：管理员和普通用户都可以自行更改密码。

2.2 系统数据库设计

数据库能够对商务平台商品数据分析系统的后台数据进行添加、删除、查询，修改。本系统采用MySQL数据库设计，分别是用户信息表、评论评分信息表、商品数据分析表和商品数据统计表。用户信息表主要保存管理员和普通用户的登录信息：用户的用户名、密码、级别还有Email。评论评分信息表主要保存评论内容、评论的时间、评论评分、商品id、操作人员、商品名称等。商品数据分析表主要保存操作人员、操作商品总数、平均四分以上的商品总数及其比例、合格率大于80%的商品总数及其占比、合格率大于60%的商品总数及其占比、不合格商品总数及其占比等内容。商品数据统计表主要保存商品id、操作人员、商品名称、评论平均分、评论合格率、评论不合格率等信息。其设计分别见表1-表4。

3 结束语

互联网电子商务企业需要处理大量的数据。商务平台商品数据分析系统基于JAVA语言和MVC设计思想，在My Eclipse的开发环境开发，完成了淘宝商品评论数据基于商品ID号抓取、评论五等级评分、针对不同操作人员评分的合格率、平均分4分以上商品总数、合格率大于一定比例的商品总数等数据统计和分析以及用户管理等功能；商务平台商品数据分析系统前台利用Bootstrap框架和BUI框架进行开发，将后台功能进行呈现。系统操作简单，界面简洁、美观交互速度快，有效降低了商品数据分析的繁琐度提高效率。

参考文献：

[1] 谢恩宏， 石宇良. 我国城市电子商务发展特点和趋势[J]. 电子商务， 2010（10）： 13-15.

[2] 许小平. 大学生网上开店品牌建设研究[J]. 中国电子商务， 2012（8）： 26-29.

[3] 崔志刚. 基于电商网站商品评论数据的用户情感分析[D]. 北京： 北京交通大学， 2014.

数据分析设计篇（5）

一、数据库的设计任务、特点及方法

1.数据库的设计任务

数据库的设计，是做到对用户信息需求、处理需求及支撑环境的满足，做到对数据模式及典型应用程序的设计。信息需求是指用户对数据及数据结构的需要，处理需求是指用户经常需要对数据进行处理。信息需求是内容性结构要求，是静态需求的一种，而处理需求是对数据库的处理需求，是动态需求的一种。在数据库设计时，操作系统及硬件设备既是数据库的软件及硬件基础，同时也是设计的制约因素。数据库在设计时，会产生两项成果：一是数据模式;二是数据库为基础的典型应用程序。

对于应用程序来说，其是在应用过程中发展而来的，比如在一些检索类的数据系统中，需要在设计时做到对检索程序的编写。由此可见，数据库的设计是数据模式的体现，并能够对数据进行快速、方便、有效的处理。

2.数据库的设计特点

数据库的设计，是技术与管理相互融合的过程，在数据设计时，对于技术与管理界面，也就是俗称的“干件”来说非常关键。因为数据库设计的特点之一就是将软件、硬件及干件的有效结合。而数据库的另外一个特点便是将数据库与应用系统结合起来。对于结构设计与行为设计来说，这两者紧密联系、相互促进、相辅相成。结构设计与行为设计示意图如图1所示。

图1 结构设计与行为设计示意图

3.数据设计的相关方法

在对数据库进行设计时，一般方法为手工试凑法和规范设计法。规范设计法是在手工设计方法的基础上采用过程迭代和逐步求精所得到的结果，具有较高的质量，比较常用的方法有新奥尔良方法、S.B.Yao方法I.R.Palmer方法和计算机辅助设计方法等，如：ORACLE公司的ORACLE Designer2000、SYBASE公司的Power Designer、Rational 公司的Rational Rose，CA 公司的Erwin和Bpwin等辅助工具建模工具都可以使用。笔者推荐应用较为广泛的新奥尔良法，这种方法将数据库设计分为四个阶段来进行，其分别为：需求分析、概念设计、物理设计及逻辑设计。后来在发展中，有人将其改变为五个阶段，后经过不断的优化与改进，添加了一些辅助设计，并在设计时采用一步连着一步的过程来完成。对于E-R模型数据库设计法、3NF设计法，都是一些较为抽象与理论的语法规范设计法，是对数据库不同阶段的满足。

二、数据库有效设计的相关步骤

1.用户的需求分析

在对数据库进行设计时，首先要解决的是对用户的需求进行分析，需求分析是数据库设计的基础，同时也是最麻烦及耗费时间的一个过程。需求分析的准确性将直接决定着数据库在未来构建时的质量及构建速度。需求分析的失误，可能会造成整个数据库设计的失败，具有极为重要的意义。

用户的需求包括：

软件需求、易维护性、易扩充性、易升级性、可读性、空间占用效率及潜在延伸需求;关键及重要数据的一致性、冗余性、访问的时效、可靠性等等。

针对数据库设计过程中的侧重点，是要在数据库设计的过程里去感受、对比、总结以及分析的。一个优秀的系统与数据库的设计密不可分，所以数据库工作者对数据库的设计要有较为深入的认识以及灵活多变的设计技巧，很大程度上取决于数据库设计者的经验和专业水平。

2.概念结构的设计

数据库及数据库应用系统的开发整个过程的完成需要设计到六个步骤，这六个步骤分别为：用户的需求分析、概念结构设计、逻辑结构设计、物理结构设计、数据库的实施及数据库的维护这六大部分。而概念结构设计，即概念模式的设计，是整个系统中用户所关注的信息结构，因此其在构建时，需要独立于计算机数据模型之外，并不受到其它数据系统所干扰，同时能够方便用户与数据库的交流。另外还需要在应用需求分析中所得到的数据流图来对数据运行轨迹进行动态展示。这一过程仅是对应用需求的反映，并不涉及到数据之间的内在联系。

3.逻辑结构的设计

对逻辑结构设计时，需将概念结构设计中的数据库概念模式进行转化，将其变为DBMS逻辑数据模型。逻辑设计的主要目的是做到对客户要求数据安全性及完整性的有效满足，并能够在逻辑上做到对数据运行过程的有效支持。另外，数据库逻辑设计并不仅仅是对数据模型进行转换，而是对数据模型中所涉及到的一些技术问题进行处理与解决。

4.物理结构的设计

在对数据库物理结构进行设计时，需要以数据库逻辑模式及概念模式主基础。运用DBMS与计算机所提供的功能及限制，在做到对数据库文件物理储存结构、存取路径、存储空间分配、记录格式的有效设计。虽然这种物理结构设计不是直接面向用户，但就整个系统的运行来说，还是会产生较大的影响，因此在设计时需要做到足够的重视。

5.数据库的有效实施

在数据库的实施阶段，设计人员运用DBMS提供的数据语言及其宿主语言。根据逻辑设计和物理设计的结果建立数据库、编制与调试应用程序、组织数据入库及进行试运行。

6.数据库的运行及维护

数据库在通过试运行之后便可以投入到正常的使用与运行当中。但是在数据库的运行及使用过程中，必须对数据库进行定期的评价、调试以及做到对数据库的修改与维护。

三、数据库在未来的发展及应用趋势

1.数据库在我国的发展现状及趋势

目前就一些实际现状来说，很多基础设施，比如有线通信设施及交通设施，都没能做到在技术上的跟进及对数据库的应用，因此在未来发展过程中，数据库在此方面应用将会有巨大的优势及广阔的前景。现在，随着电子商务的快速发展，计算机技术已经得到信息产业部及相关企业用户的高度重视，并将成为未来信息产业发展的一个重大方向，会在各个行业及领域中得到应用。

2.数据库在未来的应用趋势

数据库的未来发展方向是能够轻松处理你所需要的有线信息系统上复杂的数据类型，并能方便地进行远程控制和应用升级。当然，数据库应用与发展还依赖于应用软件的推广，Sybase公司已经为开发人员准备了适合不同行业的应用模板，以提高他们开发移动式电子商务应用的速度。作为电子商务的一个重要组成部分，数据库的应用与发展已经得到我国行业主管部门、技术与解决方案供应商和用户的高度重视，正在成为信息产业的重要发展方向，并将不断渗透到各个领域。

四、总结

如何做好对数据库的有效设计，关键在于对设计方法及步骤的有效掌握。笔者通过对数据库设计及应用实践和多方调研，对数据库设计时各个步骤目标、方法及相关事项进行了研究。认为在对数据库进行设计时，首先要对用户需求进行深入的了解，尤其是用户需要的侧重点，重点及关键重要数据，并充分挖掘用户的潜在延伸需求;其次再进行数据库的概念结构设计及逻辑结构设计，这是数据库设计的关键要素;再次要充分融入以往的设计经验和成功案例。随着信息技术及数据库设计技术的快速发展，相信未来在电子商务及其它领域，数据库能够得到有效的利用及发展。

参考文献

[1]师胜利，董瑞卿，杨彦锡.时态数据库在电子商务中的应用[J].计算机与信息技术[J].2008（03）.

数据分析设计篇（6）

3.3 matlab在数据采集中的应用 

数据采集工具箱集成于matlab中，所以在进行数据采集的同时，可以对采集的数据进行实时分析，或者存储后再进行处理，或者针对数据分析的需要对测试条件的设立进行不断的更新。应用数据采集工具箱提供的命令和函数可以控制任何类型的数据采集。例如，在硬件设备运行时，可以获取事件信息，评估采集状态，定义触发器和回访状态，预览数据以及进行实时分析，可以设置和显示所有的硬件特性以满足用户的技术指标。

4系统设计方案 

声音信号的采集与分析处理在工程应用中是经常需要解决的问题,如何实时采集声音信号并对其分析处理,从而找出声音信号的特征在科学研究中是一项非常有意义的工作。

声卡是多媒体计算机系统中最基本、最常用的硬件之一,其技术发展已经成熟,它具有ad/da转换功能,现已被广泛应用于声音信号采集和虚拟仪器系统的设计。matlab则是一种功能强大、计算效率高、交互性好的数学计算和可视化计算机高级语言,它将数值分析、信号采集与处理和图形显示有机地融为一体,形成了一个极其方便、用户界面友好的操作环境。本文所设计的声音信号采集与分析系统就是充分利用了声卡的ad/da转换功能和matlab强大的数据处理功能,同时,该系统还是建立在matlab软件的图形界面实现的,因而使系统具有良好的交互性。

基于计算机声卡的数据采集系统有以下特点：

（1）价格低廉。在数据采集时，所要采用的是模数转换芯片，对于某些应用场合，可以利用计算机上所附带的声卡实现数据采集任务。

（2）灵活性强。用户不仅可以进行实时监视和控制操作，还可以把数据保存到硬盘，供以后分析使用。在cpu足够快的条件下，还可以实时处理数据，动态显示波形的频谱、功率谱。另外在一台计算机上，可以插若干块声卡，组成多通道数据采集系统。

（3）频率范围较窄，不能测直流。由于受声卡的硬件限制，要得到较好的波形，输入信号的频率最好在100hz～15khz范围内。

    总之，运用廉价的声卡，构成一个较高的采样精度，中等采样频率，且具有很大灵活性的数据采集系统，对于一些应用领域是一种很好的选择。

4.1 系统结构设计 

matlab提供了一个数据采集工具箱(data acquisition toolbox),在该数据采集工具箱中,有一整套的命令和函数,可用来直接控制与pc机兼容的数据采集设备进行数据采集,因此,利用matlab的这一工具箱便可进行声音信号的采集。然后在matlab中直接调用频谱分析函数、功率谱分析函数或数值分析函数等,就可以将采集到的声音信号分别进行频谱、功率谱分析等多种谱分析。因此,在matlab中可以很容易地实现信号采集与分析处理工作。 

 

 

图4-1系统实现的总体框图                                     

从系统框图上看,整个系统结构简单,而且数据的后续分析方便,不需要再进行数据转移,而直接在matlab软件中完成分析处理工作。在该系统中,从硬件上来讲,只需必要的信号预处理电路和一台普通的多媒体计算机(或笔记本电脑)即可;从软件上来讲,则只需使用本文中所编制的程序,便可从声卡获取数据并保存为文件,然后再可根据实际需要进行数据分析处理。

4.2 系统功能设计 

本系统由数据采集和数据分析两大部分组成,数据采集部分是实现信号采集功能,根据用户选择的采样频率和预设的采样样本数从声卡获得用户需要的数据。数据分析部分主要实现以下功能:(1)从信号采集部分获取数据,或者从数据文件读取数据;(2)实现将采集到的声音信号数据进行频谱分析,画出频谱图以图形方式很直观地反映出信号特征;(3)保存数据,包括保存所有数据和部分数据的功能,同时保存对应的频谱数据;(4)显示声音信号数据的时域图和频谱图;(5)其他功能。根据不同的需要,还可以进行修改,以选择合适的实验方案。

4.3 系统设计实现 

声音信号采集功能的实现是由matlab控制计算机声卡将传感器得到的模拟信号转换为数字信号并存储在计算机中;而信号分析功能是将采集得到的数据进行时、频域分析和各项数值分析等。整个系统设计主要包括系统的硬件配置、编制程序实现数据采集、编制程序实现数据分析及系统的界面设计四部分。

4.3.1 声音信号采集的硬件配置 

将声卡插入计算机的pci插槽,安装好相应的驱动程序后,将声音传感器设备与声卡的模拟输入端连接起来,这就构建了声音采集的硬件设备,需要注意的是对声音传感器的选择,应选择音频专用电缆或屏蔽电缆以减小噪声信号的引入,最好能选择单向性声音传感器。在matlab的信号采集工具箱中有专门为声卡生成一个操作对象的函数,初始化该操作对象即能建立matlab与声卡的通信,并为已创建的声卡设备对象增加数据采集通道和触发方式。若缺省设置则系统采用一个数据通道、手动触发方式启动工作。进行数据采集时,根据所配置的声卡的工作特性和信号分析的设计要求,可设置相应的参数来控制声卡在数据采集时的行为,如采样频率、采样时间、预计模拟信号的输入/输出范围、采样的出发方式,采样点数据的存储等。另外需要注意的一点是采样频率是由声卡的物理特性决定的,实际应用中可以根据情况选择一个声卡支持的采样频率.matlab支持电平触发、事件触发和手动触发三种方式来启动数据采集工作。声音信号采集硬件配置的具体实现过程:

sound=analoginput(‘winsound’);% ‘winsound’为声卡的驱动程序

channel=addchannel(sound,1);% 添加通道为单声道

set(sound, ‘samplerate’,44100);% 设置采样频率为44100hz

set(sound, ‘samplespertrigger’,22050);% 设置采样时间为0.5s

set(sound, ‘triggertype’, ‘manual’);% 设置触发方式为手工触发

...% 其它的相关设置

4.3.2 数据采集 

启动设备对象,控制声卡开始采集数据,采集过程中可以向声卡发送控制命令,如暂停采集、退出采集等。采集到的数据被暂时存放在计算机的内存中,理论上可采集的最大数据量是由计算机的内存量所决定的。同时, matlab能够记录采集设备的硬件属性、采集的启动时刻、采集时间、采样频率及采样通道等信息,如果采集过程中出现了错误,则出错的时刻、错误产生的来源等信息也都会被记录下来供后续工作参考。需要注意的是,执行完一次数据采集工作后应删除设备对象,将内存中的数据存储在硬盘上之后释放数据存储所占用的内存空间,以备下一次采集能有足够的内存空间存储新的数据，声音信号采集的实现程序为:

start(sound);% 启动设备对象

try

time=0;data=0;

[data,time]=getdata(sound);% 获取采样数据

catch

time=0;data=0;disp(‘a timeout occurred’);

end

stop(sound);% 停止设备对象

delete(sound);% 删除设备对象

4.3.3 数据分析 

在设计该部分时,不仅要求实现能从数据采集部分直接获取数据,还需实现能从文件中读取以前所保持好的数据。之后,用户可以根据实际研究的需要,在matlab中调用频谱分析函数(periodogram等)、功率谱分析函数(psd等)或数值分析函数(fminbnd等),就可以将采集到的声音信号分别进行频谱、功率谱分析等多种谱分析,并且可方便地将分析结果以图形的形式显示出来,如图4-2所示。在研究蛋壳破损自动检测过程中,通过对所采集的蛋壳声音信号进行频谱分析,找出区分损壳蛋与好壳蛋的特征变量,从而实现蛋壳破损的自动检测。对所采集的声音信号进行频谱分析的程序为:

...% 获取采样数据

px=abs(fft(data,512)) 2/512;% 对所采集的数据进行傅立叶变换

px=px(1:256);

s=60+10*log10(px);

...% 其它功能

图4-2 声音信号的采集与频谱分析

4.3.4 系统界面设计 

利用matlab软件中gui模块进行设计,在matlab中可以方便地设计出基于对话框的图形用户界面,它提供了诸如编辑框、按钮、滚动条等图形对象,通过对这些图形对象的有机组合,再对相应的图形对象编写程序,就可以设计出界面友好、操作方便的系统软件。图4-2所示为声音信号采集与频谱分析系统的运行界面,还可再根据实际需要进行扩展。

建立基于声卡和matlab的信号采集与分析系统,能够实现信号采集、设备控制、数据分析以及结果显示等功能。实践证明该系统具有精度高、实时性好、性价比高、人机界面友好、升级修改简单等优点。在进行项目研究过程中,常常需要进行多次实验,采集大量的数据,并且要求对数据能实时地进行分析处理,该系统能很好地满足这种研究需要。此外,这一系统还可以扩展应用到其他相关的领域中,如在语音识别工作中可以用该系统采集语音信号并且加入语音处理的相关分析等。因此,该系统不仅具有良好的实用性,还可为其他的相关研究提供理论和应用基础。

    语音信号分析处理系统一般由声电传感器(麦克风) 、数据采集卡、处理器(计算机) 、软件系统等几部分组成。商品数据采集卡(a/ d 板) 都包含了完整的数据采集电路和计算机接口电路,并同时提供驱动程序,产品和种类繁多,性能价格各异,价格一般都比较贵。pc 机的声卡本身就是一个廉价同时又非常优秀的语音信号采集系统,它采用直接内存读取方式传输数据,极大地降低了cpu 的占用率;不仅如此,声卡16 位的a/ d 转换精度比普通16 位a/ d 卡要高,能够满足语音信号采集分析要求。

5 应用设计 

一、 对声卡产生的模拟输入对象(ai) 进行操作

声卡是matlab数据采集工具箱所支持的一种硬件，用声卡完成一个简单的数据采集过程，麦克风就成了数据采集系统中的传感器．

1)创建设备对象，这里创建的是一个声卡ai设备对象，硬件设备标示符为2．

ai=analoginput(‘winsound’,2)；

2)给设备对象添加通道，这里添加1个通道．

addchannel(ai,1)；

3)设定设备属性值，控制数据采集．

freq=8 000； ＼采样频率8 000 hz

set(ai，samplerate．freq)

duration=2； ＼采样时间2 s

set(ai，samplespertrigger,duration*freq)；

4)数据采集及结果处理．在这里首先将所采集到的数据进行快速傅立叶变换，然后转化成分贝，并显示结果的实数部分．

start(ai)；

data=getdata(ai)；

fftdata= abs(fft(data))；

mag =20*logl0(fftdata)；

mag= mag(1：end／2)；

5)清除内存中的设备对象．

delete(ai)；

clear ai；

图5-1 采样过程中没有对麦克风讲话

图5-2 采样过程中对麦克风讲话

结果分析：图5-1是在采样过程中打开麦克风，但是没有对麦克风讲话的结果(对不同品牌、质量的声卡，结果可能有所不同)，图5-2是在采样的过程中对麦克风讲话的结果．可以看出，讲话与否(传感器感受端的变化)改变了所采集到的数据的结果．

二、 直接利用matlab数据采集箱中提供的函数命令进行采集

一般的采样过程是对声卡产生的模拟输入对象(ai) 进行操作的,由于计算机配置和模拟通道的运用使得数据采集过程显得烦琐难以理解,有时还不易获得采样数据。实验过程发现一种更为简单实用的方法可以进行数据采集。在阐述之前,首先介绍一下matlab数据采集箱中的几条有关命令:

wavrecord : wavrecord 利用windows 音频输入设备记录声音,其调用形式为:wavrecord (n ,fs ,ch) 。利用windows音频输入设备记录n个音频采样, 频率为fs hz ,通道数为ch。采样值返回到一个大小为n*ch 的矩阵中。缺省时,fs = 11025 ,ch = 1。

waveplay: waveplay 利用windows音频输出设备播放声音,其调用形为:waveplay(y ,fs) 。以采样频率fs向windows 音频设备发送向量信号。标准的音频采样率有:8000、11025、22050 和44100hz。

wavread :wavread 用于读取microsoft 的扩展名为“.wav”的声音文件。其调用形式为: y = wavread (file) 。其作用是从字符串file 所指的文件路径读取wave 文件,将读取的采样数据送到y 中。y的取值范围: [ -1 ,1 ] 。

sound:音频信号是以向量的形式表示声音采样的。sound 函数用于将向量转换为声音,其调用形式为:sound (y ,fs) ,作用是向扬声器送出向量y 中的音频信号(采样频率为fs) 。

应用上述所讲到的matlab数据采集箱提供的函数进行一次简单的语音信号的采集实验。记录5 秒钟的8 位音频语音信号并回放之, 采样频率设为11025hz。

﹥﹥fs = 11025 ; \ 设置采样频率

﹥﹥y1 = wavrecord (5*fs ,fs ,‘uint8’) ; \ 进行无语音采集

﹥﹥plot (y1) ;

﹥﹥y2 =wavrecord (5*fs ,fs ,‘uint8’) ; \ 开始采集8位语音信号,时间为5s

﹥﹥plot (y2) ;

﹥﹥wavplay(y2 ,fs) ; \ 回放所采集的语音

﹥﹥sound (y2 ,fs) ;

﹥﹥y1 =fft (y2) ; \ 做信号的fft 变换

﹥﹥plot (y2) ;

                        图5-3 无声音信号输入波形 

               

 

图5-4  有声音信号输入波形 

                

                       图5-5 声音信号傅里叶变换 

图形分析：用户可以变换采样频率及采样时间,也可以不同的频率回放语音。感受不同函数在相同的频率下回放的语音信号是否一致。此例进行的是实时回放,若要事后回放则可用wavread 函数。从程序语言及实现上可看出此方法简便了许多,而且实验结果与传统方法得到的实验结果完全一致。图5-3为在采样过程中打开麦克风,但是没有对麦克风讲话的结果(对不同品牌、质量的声卡,结果可能不同) ,从图上可以看到除开始采样的极短一段时间内有个信号接收过程产生阶跃外,其余时间内波形都在很小的范围内平稳的波动。图5-4是采样过程中对麦克风讲话的结果,可以看出,讲话(传感器端接收到信号)改变了采集的数据的结果。从图5-4中看出波形发生了很大的变化,波形随声音信号的高低强弱而发生变化,可知计算机已经通过麦克风接收到了语音信号,说明信号采集工作成功。图5-5为对采集到的信号进行的快速傅立叶变换所得到的图形。

上面介绍的基于声卡和matlab的语音数据采集系统,具有实现简单、性价比和灵活度高的特点。经实例分析证明,利用该系统可实现在线连续采集语音信号并进行分析和处理。

应用前文所述的matlab 数据采集工具箱提供的命令函数和系统环境为windows98 的计算机上的板载声卡进行简单数据采集。记录5s的16 bit音频语音信号并回放, 采样频率设为11025 hz。

fs=11025       %设置采样频率

y1=wavrecord( 5*fs, fs, ‘unit16’)     %进行无语音采集

plot( y1)           %画出所采集到的信号的波形

y2=wavrecord( 5*fs, fs, ‘unit16’)     %进行语音采集

wavplay( y1, fs)

sound( y2, fs)      %回放所采集的语音

数据分析设计篇（7）

0引言

商业银行作为经营信用、货币的企业，面向的客户是几乎全方位的，同时银行业的竞争也是异常残酷的[1]。从网点、ATM、POS、网银、手机银行乃至其他网络信息等各类渠道数据信息中，挖掘、分析出有效的数据，可以增加营销效率、加快产品创新，快人一步扩大业务发展空间和市场份额[2]。大数据可以使商业银行决策由经验依赖到数据依赖的转变，实时、深入地把握业务和市场动态，从而更加科学、有效地决策，让商业银行能够稳健、可持续发展[3]。大数据的挖掘、分析可以有效地提高商业银行精细化管理水平，在风险控制、成本核算、资本管理、绩效考核等各个方面发挥出巨大作用，让经营管理能力大幅提升，更理性、更高效、更精确[4]。

1大数据技术

1.1HadoopMapReduce技术

Hadoop是一种分布式系统的平台，通过它可以很轻松地搭建一个高效、高质量的分布系统[5]。Hadoop的最核心的设计思想：MapReduce是Hadoop的核心组件之一，Hadoop主要包括2部分：一是分布式文件系统HDFS,HDFS为海量的数据提供了存储；二是分布式计算框MapReduce，为海量的数据提供了计算。MapReduce是大规模数据计算的利器，Map和Reduce是它的主要思想，Map负责将数据打散，Reduce负责对数据进行聚集。Hadoop采用并行工作模式，同时维护多个工作数据副本，确保失败的节点能够重新分布处理，具有可靠、高效、可伸缩、低成本的优点。

1.2NOSQL数据库技术

NOSQL(NotOnlySQL)数据库是指非关系数据库。这是相对于传统关系数据库提出的概念，随着Web2.0网站的兴起，数据量越来越大，传统关系型数据在处理大数据、实时读写以及多表联查已经越来越力不从心，而NOSQL以键值对存储，机构不固定，每个元组可以根据需要增加、减少键值对，减少了时间和空间的开销，同时NOSQL可以处理大数据，能够良好地运行在廉价的PC服务器机器上，便于扩展[7]。

1.3内存分析技术

内存分析(In-memoryAnalytics)技术是在内存中直接获取分析数据。随着64位操作系统的普及，系统可用内存大幅度提升，同时由于工艺不断成熟，内存容量不断，价格不断下降。由于内存容量暴增，人们开始直接将数据预读到内存中，对内存中的数据进行分析加工，而不用如传统的那样将数据反复不断地读入内存、写入磁盘，从而极大地提升了数据分析效率。

2商业银行数据应用现状

目前，商业银行对于大数据的挖掘还处于起步阶段，没有一个在设计之初就目标明确的定位于大数据挖掘、分析的系统[8]。现有的几个与数据挖掘相关的管理信息系统有PCRM系统（个人优质客户系统）、RPTS系统（综合报表系统）、GDP系统（基础数据平台系统）等，这些系统在设计之初就具有先天的局限性，它们仅仅是针对某个或者某几个业务部门的应用开发的，远远还谈不上大数据分析。同时这些系统由于没有统一的规划设计，物理架构大致相同，一些重要数据，如定期、活期主档及明细表全部重复加工，造成人力、财力的浪费，效率较低[9]。在上面提到的几个管理信息系统中，GDP系统是相对比较典型的应用，现在对GDP系统物理架构和逻辑架构进行分析。如图1所示的GDP物理架构图，采用成熟的3层B/S架构，2台乃至多台PC服务器部署WEB前置服务，做表示层；由1台小型机部署应用服务程序，做逻辑层；1台小型机上运行数据库系统，做数据访问层。数据库由控制库和日终库组成，其中控制库使用SYBASEASE库，将不同的处理任务划分成一个个的作业链，作业链中包含不同的作业，通过对作业和作业链调度次序进行控制；日终库采用SYBASEIQ库，对日终数据进行高效处理。控制库与日终库可在同一台小型机上。2台PC服务器使用IBMWebSphere部署高可用集群，提供WEB服务，包含作业调度服务和前台展示。

3构建商业银行数据分析

系统模型商业银行作为传统金融企业，与新兴的互联网企业不同之处在于：行内的数据中含有许多机密、隐私的信息，同时无论媒体还是客户都关心银行数据的安全性。在数据挖掘、分析包括使用的时候，效率与安全的选择需要慎重考量。为了避免资源的浪费，本文在设计模型前，必须对现有数据进行详尽分析，剔除重复、无效的数据，将有效数据进行分类。商业银行数据应用中大致可以分为2种类型：一类是高可靠数据，以数据的准确性为主，需要提供给统计部门、核算部门及监管部门，对于这类数据我们必须在使用前进行数据清洗、筛选后，才能够真正使用；另一类则不需要很精确，只需要一个大致数量级或者一个大的方向，主要供决策层、管理经营层及产品研发、营销等部门使用，对于这类数据其实才是真正符合现今大数据的概念，无需对数据进行清洗，可以直接进行挖掘。针对侧重于安全可靠和快速高效这2种不同的需求，以及结合商业银行现有技术发展，本文设计出下面2种模型。

3.1高可靠模型

基于商业银行对数据的精度要求较高，在设计模型时首先考虑的是数据的完整性和安全性，其次才考虑效率等其他的问题。因此，本文对现有成熟和完备的商业银行GDP系统3层架构和业务定位深入分析的基础上，进行了一些改进，克服现有GDP系统3层结构的不足。

3.2高效率模型

对于商业银行精度要求不高，但是非常具有时效性和海量的数据，不需要考虑数据的完整性、安全性。为此，本文使用一些互联网的新技术以及开源的软件，抛弃原有3层架构，引入大数据挖掘新技术，实现大数据的挖掘需求。

4数据分析

当将海量的数据挖掘出来后，怎样使用这些数据？投入这么多人力、物力当然是希望它能带来更多的收益，怎样将数据变成收益？这就需要对数据进行分析，结合自身以及行业的现状进行分析。在传统的数据中，以少量的数据为依据，以数据的准确性为目标进行的统计工作，其实这样的统计是有偏差和片面的。而大数据则以海量数据为依托，强调数据的完整性、综合性和复杂性，通过答题轮廓，捕捉发展脉络，确定未来发展方向。从决策层出发，大数据可以为我们更快地找出未来银行的发展方向，最大限度地避免在决策方向上出现偏差。一直以来商业银行的决策是由个人或小团队进行的，但是在这些决策中往往有很多依靠过往的经验、主管判断的，这就带来决策缺少扎实的依据，很多决策适合一些地方，但在另外一些地方却未必很适合。特别是现在科技发展日新月异，对传统银行业带来了巨大的冲击，原来的很多经验不但不能带来帮助，甚至会制约决策层的思维，决策远远满足不了前瞻性、有效性和针对性的要求。

而大数据的分析则可以更准确、更快捷地帮助决策层把握脉络，从而做出具有前瞻性、及时的、精准的决策。从管理执行层来看，通过大数据的分析可以更快捷地推出精品产品，更有效地营销客户，更高效的使用行内各种资源，提高管理能力，创造更多利润。通过大数据的分析，管理层能够分析出哪些产品受哪些客户的喜好，分析各类客户都有什么需求，可以根据这些有针对性地开发一些受客户欢迎的产品。可以对一些高质量的VIP客户进行分析，对他们的资金利用进行跟踪，尽量将资金链锁定在行内，利用资金空闲时段进行中间业务的营销，可以对这些客户在贷款的利率上进行一定幅度的优惠等等。可以对基层行、网点人员效率进行分析、优化，对行内的电子设备，如ATM、POS机等进行分析，在使用量庞大的地方可以加大投放，收回一些效率低下的设备等等。从监管层来看，通过大数据的分析可以更加直观、有效地对商业银行的合规经营做出监管。可以从大数据中对各地的经营、营销费用、采购招标等需要进行监管的地方进行分析，一旦发现某个地方有异常情况，就可以进行重点关注、重点监管，而不是像以前那样无差别的监管，或者靠经验去进行监管，从而能够更快、更有效地进行监管，提前去发现问题，制止问题事件的扩大，为商业银行减少损失，更有效保障商业银行的利益。

5结语

大数据在商业银行决策、生产运行和经营管理中越来越重要，构建商业银行自身的大数据挖掘、分析系统已经迫在眉睫了，如何构建大数据分析系统、利用分析系统实现数据到价值、利润的转化，这需要不断的研究。本文通过深入分析商业银行的数据分析现状，总结其数据分析的优、缺点。并针对侧重于安全可靠和快速高效2种不同需求，以及结合商业银行现有技术发展，设计了商业银行数据分析系统，使商业银行从珍贵数据中分析、挖掘对其战略发展和业务经营有巨大推动作用的信息。

参考文献：

[1]薛良飞.云计算在新型信息化系统中的综合研究[D].济南:山东大学,2013.

[2]李斌,黄治国,彭星.利率市场化会降低城市商业银行投融资水平吗？——基于中国24家城市商业银行数据的实证研究[J].中南财经政法大学学报,2015(1):40-47.

[3]方先明,苏晓珺,孙利.我国商业银行竞争力水平研究——基于2010—2012年16家上市商业银行数据的分析[J].中央财经大学学报,2014(3):31-38.

[4]刘晓茜.云计算数据中心结构及其调度机制研究[D].北京:中国科学技术大学,2011.[5]陆嘉恒.Hadoop实战[M].北京:机械工业出版社,2012.

[6]张世明,徐和祥,钱冬明,等.云架构模式下“网络学习空间人人通”体系探析[J].华东师范大学学报(自然科学版),2014(2):30-39.

[7]江务学,张璟,王志明.云计算及其架构模式[J].辽宁工程技术大学学报(自然科学版),2011(4):575-579.

数据分析设计篇（8）

本文介绍了matlab及其数据采集工具箱,利用声卡的a/d、d/a技术和matlab的方便编程及可视化功能,提出了一种基于声卡的数据采集与分析方案,该方案具有实现简单、性价比和灵活度高的优点。用matlab语言编制了相应软件,实现了该系统。该软件有着简洁的人机交互工作界面,操作方便,并且可以根据用户的需求进行功能扩充。最后给出了应用该系统采集数据的应用实例。

1绪论

1.1课题背景

数据也称观测值，是实验、测量、观察、调查等的结果，常以数量的形式给出。数据采集，又称数据获取，就是将系统需要管理的所有对象的原始数据收集、归类、整理、录入到系统当中去。数据采集是计算机管理系统使用前的一个数据初始化过程。数据采集技术广泛引用在各个领域。比如摄像头，麦克风，都是数据采集工具。

数据采集（dataacquisition）是将被测对象(外部世界、现场)的各种参量(可以是物理量，也可以是化学量、生物量等)通过各种传感元件作适当转换后，再经信号调理、采样、量化、编码、传输等步骤，最后送到控制器进行数据处理或存储记录的过程。wWw.133229.cOM

被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间（称采样周期）对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据测量方法有接触式和非接触式，检测元件多种多样。不论哪种方法和元件，都以不影响被测对象状态和测量环境为前提，以保证数据的正确性。数据采集含义很广，包括对连续物理量的采集。在计算机辅助制图、测图、设计中，对图形或图像数字化过程也可称为数据采集，此时被采集的是几何量数据。

在智能仪器、信号处理以及工业自动控制等领域，都存在着数据的测量与控制问题，常常需要对外部的温度、压力、流量、位移等模拟量进行采集。数据采集技术是一种流行且实用的电子技术。它广泛应用于信号检测、信号处理、仪器仪表等领域。近年来，随着数字化技术的不断发展，数据采集技术也呈现出速度更高、通道更多、数据量更大的发展态势。

数据采集系统是一种应用极为广泛的模拟量测量设备，其基本任务是把信号送入计算机或相应的信号处理系统，根据不同的需要进行相应的计算和处理。它将模拟量采集、转换成数字量后，再经过计算机处理得出所需的数据。同时，还可以用计算机将得到的数据进行储存、显示和打印，以实现对某些物理量的监视，其中一部分数据还将被用作生产过程中的反馈控制量。

数据采集系统是计算机测控系统中非常重要的环节，目前，有各种数据采集卡或采集系统可供选择，以满足生产和科研试验等各方面的不同需要，但由于数据源以及用户需求的多样性，有时并不能满足要求。特别是在某些应用中，需要同时高速采集多个通道的数据，而且为了分析比较各通道信号间的相互关系，常常要求所有通道的采集必须同步。现有的数据采集系统能够满足上述要求的比较少，且价格十分昂贵，体积较大，分量较重，使用十分不方便。

一般模拟量是通过各种数据采集卡进行数据采集。目前常用的是具有isa总线、pci总线等接口形式的a/d采集卡，虽然数据传输率很高，但是还存在整个系统笨重，缺乏灵活性，不能实现即插即用，不适合小型、便携设备采用等缺点。另外这些类型的采集卡在计算机上安装比较麻烦，而且由于受计算机插槽数量、地址、中断资源的限制不可能挂接很多设备。因此，工程师们往往需要花费大量的时间和资源用于系统搭建。

随着现代工业技术的迅猛发展，生产规模的不断壮大，生产过程和制作工艺的日趋复杂，对自动测试和各种信息集成的要求也就越来越高。数据采集系统的好坏将直接影响自动测试系统的可靠性和稳定性，为了满足不同的测试需求，以及减少对资源的浪费，在系统的设计上应该尽量满足通用性和可扩展性。在高度发展的当今社会中，科学技术的突飞猛进和生产过程的高度自动化已成为人所共知的必然趋势，而它们的共同要求是必须建立在有着不断发展与提高的信息工业基础上。人们只有从外界获取大量准确、可靠的信息经过一系列的科学分析、处理、加工与判断，进而认识和掌握自然界与科学技术中的各种现象与其相关的变化规律，并通过相应的系统和方法实现科学实验研究与生产过程的高度自动化。换言之，生产过程的自动化面临的第一个问题就是必须根据从各种传感器得到的数据来检测、监视现场，以保证现场设备的正常工作。所以对现场进行数据采集是重要的前期基础工作，然后再对现场数据进行传输和相应的处理工作，以满足不同的需要。

数据采集卡是中低端数据采集系统设计的必选产品。基于isa、pci的插卡式数据采集设备存在以下缺陷：安装麻烦；价格昂贵；受计算机插槽数量、地址、中断资源限制，可扩展性差；在一些电磁干扰性强的测试现场，无法专门对其做电磁屏蔽，导致采集的数据失真。而现代工业生产和科学研究的发展要求数据采集卡具有更好的数据采集、处理能力，传统的cpu已经不能满足这一要求。针对以上要求，本文将论述一种基于pc机的声卡技术，它安装容易，成本较低。只需利用计算机本身的软硬件资源，而不需添加其他任何设备即可构成数据采集与分析系统，使用matiab语言编制简洁的图形用户界面，该界面操作方便，并且可以根据用户的需求进行功能扩充。

数据分析在整个科研工作中是个重要的必不可少的环节，它的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如，一个企业的领导人要通过市场调查，分析所得数据以判定市场动向，从而制定合适的生产及销售计划。因此数据分析有极其广泛的应用范围。数据分析系统工作的质量和速度如何，对整个科研工作的影响也是很大的。因此研究一种质量性能高的通用数据采集平台具有很大的意义。

在近几十年来ic技术和计算机技术的高速发展，为数据采集与分析提供了非常良好与可靠的科学技术基础，也提出了更高的要求和强有力的推动。如今面临着先进的计算机技术和信息技术与落后的信息采集与分析技术的现实差距，那将大大影响科学技术的高度发展和生产过程的高度自动化。所以，近几十年来世界各国都大量投入进行信息采集与分析的工作，尤其是在经济发达的美、英、德、法日等国与我国，都对这一技术高度重视。

1.2国内外研究动态

数据采集是获取信息的基本手段，数据采集技术作为信息科学的一个重要分支，与传感器、信号测量与处理、微型计算机等技术为基础而形成的一门综合应用技术，它研究信息数据的采集、存储、处理及控制等作业，具有很强的实用性。随着科学技术的发展，数据采集系统得到了越来越广泛得应用，同时人们对数据采集系统的各项技术指标，如：采样率、线性度、精度、输入范围、控制方法以及抗干扰能力等提出了越来越高的要求，特别是精度和采样率更是使用者和设计者所共同关注的重要问题，于是，高速及超高速数据采集系统应运而生并且得到了快速发展。今天，数据采集技术己经在雷达、通信、水声、振动工程、无损监测、智能仪器、工业自动控制以及生物医学工程等众多领域得到广泛的应用并且收到了良好的效果。高速数据采集系统在国防、航天、边缘科学研究中及国民经济的各个领域的成功的应用，进一步引起了各方的关注，推动了它的研制和发展。随着科学技术的发展，数据采集系统得到了越来越广泛的应用。目前，国外很多公司与厂商都投入巨资进行数据采集系统的研制开发与生产销售，其中比较著名的有neff，ni、hp，tek等。

从数据采集系统产品来看，各大公司提供的系列产品都包括了完成数据采集的诸如信号放大、滤波、多路开关、模数转换和接口等各种模块。现有的高速数据采集器件和开发的产品中，目前还没有完全实现高速、高分辨率。在雷达、通信、谱分析、瞬态分析、电视等应用领域，为满足实时检测和高速采集的日益更新的需要，实现数据采集的高速、高分辨率已成为数据采集系统的一个发展方向。现有的高速adc器件和产品价格都比较昂贵，有些高速、高分辨率的器件本身还存在着不稳定性，因此，在数据采集系统向高速、高分辨率发展的同时，开发和研制的器件和产品应不断地提高可靠性，降低成本，提高性价比，以便使之得到更广泛的应用。在国内，由于历史、技术等原因，我们的产品普遍存在：通用性差、用途单一、测点少、测量距离小、环境适应性差等缺点，远没有形成系列化、模块化、标准化的通用产品，根本无法满足国内用户不断增长的需要，也远远不能与国外产品抗衡，正因此使得价格高昂的国外产品占有了相当大的市场份额。

1.3数据采集系统的现状及发展

数据采集与分析一直是生产实践研究与应用领域的一个热点和难点。随着微电子制造工艺水平的飞速提高及数据分析理论的进一步完善与成熟，目前国内外对数据采集系统的高性能方面的研究上取得了很大的成就。就a/d转换的精度、速度和通道数来说，采样通道从单通道发展到双通道、多通道，采样频率、分辨率、精度逐步提高，为分析功能的加强提供了前提条件。而在数据分析的微处理器上，最初的数据采集系统以8位单片机为核心，随着微电子技术的不断发展，新兴单片机的不断问世，十六位、三十二位单片机也为数据采集系统研制厂家所采用，近年来采用具有dsp功能的数据采集系统也己投入市场。同时，通用pc机的cpu用于数据处理也较为常见。总之，伴随着高性能微处理器的采用和用户技术要求的不断提高，数据采集系统的功能也越来越完善。数据采集系统的发展主要体现在以下几个趋势：

首先，在专业测控方面，基于pc计算机的数据采集系统越来越成熟和智能化。在过去的二十年中，开放式架构pc机的处理能力平均每十八个月就增强一倍。为了充分利用处理器速度的发展，现代开放式测量平台结合了高速总线接口，如pci和pxi/compactpci，以便获得性能的进一步提升。计算机的性能提升和由此引起的基于计算机的测量技术的创新，正在持续不断地模糊着传统仪器和基于计算机的测量仪器之间的界线。

其次，在通用测控方面，采用嵌入式微处理器的方案也由早期的采用a/d器件和标准单片机组成应用系统发展到在单芯片上实现完整的数据采集与分析，即目前极为热门的soc(systemonchip)。通常在一块芯片上会集成一个，可以采样多路模拟信号的a/d转换子系统和一个硬cpu核(比如增强型80_52内核)，而且其cpu的运算处理速度和性能也较早期的标准cpu内核提高了数倍，而且有着极低的功耗。这种单芯片解决方案降低了系统的成本和设计的复杂性。

此外，为了解决soc方案中数据处理性能的不足，采用dsp作为数据采集系统的cpu的研究与应用目前也逐渐引起业内重视。但是这类产品目前仅仅处于发展的初级阶段，在精度、速度或其它性能指标上并不能很好的满足要求。因此，国内外以dsp作为数据采集系统的采样控制和分析运算的研究与应用正在展开。

近年来随着芯片技术、计算机技术和网络技术的发展，数据采集技术取得了许多新的技术成果，市场上推出了繁多的新产品。高速数据采集技术的发展一方面是提高采集速率，另一方面不断向两端延伸。一端是输入的信号调理，另一端是采集后的数字化信号的实时处理与事后处理。20世纪90年代末，随着数字技术快速发展，数据采集技术已向着并行、高速、大量存储、实时分析处理、集成化等方向发展。

(1)采样方式

①过采样（oversampling）。采样方式中最早是过采样，根据采样定理，采样频率fs必须高于被采信号最高频率fch的两倍，才不致产生频率混叠现象。例如信号最高频率为10khz，采样频率必须高于20khz。

②欠采样（undersampling）。在通信和动态数据的采集中，发展了一种欠采样技术，即采样频率fs可以低于信号频率fch，但信号的频带宽度不得大于0.5fs，利用采样信号产生的高次谐波，将采样后的信号移至第二或者更高的奈奎斯特区。例如采样频率fs为10khz，可对频带fch落于11～14khz的信号(频带宽度为3khz，低于0.5fs=5khz)进行欠采样。于是在采样频率2次谐波两边产生的采样后的信号频带为f2ch=2fs±fch=20khz±(11～14khz)=31～34khz，或9～6khz

③等效时间采样（equivalenttimesampling）。主要是对于重复的周期波形进行等效时间采样。例如美国泰克公司的tds784d数字存储示波器，其实际的采样频率为1gs/s(1ghz)，对于重复的周期信号，采取周期微差法，可以达到250gs/s(250ghz)的等效时间采样。例如对于1ghz的方波，进行周期微差法采样，每个周期的采样只有微小的时差，将若干个周期中的样点集中排列，即可测出方波上升沿和下降沿的波形。对于单次瞬态信号，这种方法是无效的。

④变速率变分辨率采样。

(2)采集方式的发展

①扫描式采集（scanningacquisition）：时分制、多通道巡回采集。

②并行式采集（parallelacquisition)：多个通道同步并行采集，每个通道采用一个独立的a/d转换器，通道采集速率只取决于a/d的转换速率，与通道数无关。

③交替采集（internativeacquisition）：一个通道由多个a/d转换器交替采集，使每个通道采样速率等于多个a/d的转换速率之和，可以高于单个a/d的转换速率。

(3)采集数据的实时分析与处理软件

目前国外的测试仪器或系统生产厂家，在生产硬件的同时，推出其相应的支持软件或软件开发平台，如为产品开发者提供的软件工具；为系统集成者提供系统应用软件的集成的环境；为终端用户提供编写自己的用户应用程序的手段。

1.4本文主要内容和章节安排

本文完成了一种基于matlab的数据采集系统的方案的设计，实现了在matlab环境下利用声卡和matlab数据采集工具箱进行的数据采集与分析。

全文的结构安排如下：

第一章绪论，说明了研究背景、意义、国内外现状，以及系统的发展现状。

第二章主要介绍了系统结构特点及性能

第三章主要介绍了声卡、matlab软件及其工具箱的使用

第四章主要讨论了系统结构功能设计与实现，以及数据采集与分析的具体过程

第五章主要对数据采集进行了举例

2数据采集系统结构特点

2.1系统组成结构

数据采集系统主要由两部分组成：采集子系统和计算机子系统，即下位机智能数据采集系统和上位机hmi（humanmachineinterface）系统。采集子系统实现将客观世界被测对象信号采集和转换为能被计算机处理的数字信号的功能等；计算机子系统实现对采集数据的控制、存储和处理等功能，计算机起着对采集数据的存储和处理、统计分析、提供人机接口与其他计算机的数据通信和交换的功能。

数据采集系统涉及多学科，所研究的对象是物理或生物等各种非电或电信号。根据各种非电或电信号的特征，利用相应的归一化技术，将其转换为可真实反映事物特征的电信号后，经a／d转换器转换为计算机可识别的有限长二进制数字编码，以此作为研究自然科学和实现工业实时控制的重要依据，实现对宏观和微观自然科学的量化认识，典型的数据采集系统组成如图2-1所示。

图2-1典型数据采集系统的组成

而一般的外置式数据采集系统结构如图2-2所示。模拟信号由传感器采得经过信号调理模块送入数据采集硬件设备。在数据采集设备中完成a／d转换，包括采样、量化、编码，转化成数字信号后送入与之相连的pc机中。根据不同的要求，在pc机上利用matlab以及二次编程实现数据的实时分析与处理。用户可以通过人机交互界面修改、设定各项参数来控制数据采集硬件设备的工作状态，同时可以得到数据的采集与分析结果，从而实现数据采集与分析的自动化。

图2-2一般的外置式数据采集系统结构

利用声卡在windows环境下开发数据采集系统时，由于受编程语言的限制，其数据分析与处理的功能非常有限。例如，为了对所采集的数据进行功率谱分析，则需要用户以vb或c语言来编写功率谱分析的子程序，这显然增加了开发的难度，并且也极不利于分析功能的进一步扩展。

而利用声卡作为a／d转换工具，经过衰减和取样电路得到的模拟信号送至声卡的线路输入端linein，并利用matlab中提供的数据采集工具箱，可满足控制声卡进行数据采集的要求。用户通过调用matlab命令，可对采集的数据进行分析和处理。

整个系统可分为数据采集和数据分析两大部分，以友好的图形界面与用户进行交互沟通。数据采集部分实现数据采集功能，根据用户选择的采样频率和预设的采样时间，从声卡获得用户需要的数据；数据分析部分对采集到的数据进行频谱分析。全部数据的时域和频域波形以图形方式直观地呈现于用户面前。此外，还提供保存数据以及回放数据的功能。

图2-3给出了基于matlab的数据采集系统的简图，主要部件数据采集工具箱提供了硬件驱动程序和matlab环境之间“对话”所需的硬件驱动程序适配器、数据采集引擎和m-文件函数．

图2-3基于matlab的数据采集系统简图

硬件驱动程序适配器在硬件驱动程序和数据采集引擎之间交换属性数值、数据和事件；数据采集引擎用来存储各个设备对象，以及每个设备对象的属性值；对采集到的数据进行存储并且使不同事件同步；m-文件用来创建设备对象、采集或输出数据、配置属性值和检测数据采集状态和数据采集设备。

2.2系统的特点和性能指标

现代数据采集系统发展到今天，一般来说具有如下主要特点：

（1）现代采集系统一般都由计算机控制，使得数据采集的质量和效率等大为提高，也节省了硬件投资。

（2）软件在数据采集系统中的作用越来越大，增加了系统设计的灵活性。

（3）数据采集与数据处理相互结合的日益紧密，形成数据采集与处理系统，可实现从数据采集、处理到控制的全部工作。

（4）数据采集过程一般都具有“实时”特性，实时的标准是能满足实际需要；对于通用采集系统一般希望有尽可能高的速度，以满足更多的应用环境。

（5）随着电子技术的发展，电路集成度的提高，数据采集系统的体积越来越小，可靠性越来越高，甚至出现了单片数据采集系统。

（6）总线在数据采集系统中有着广泛的应用，总线技术它对数据采集系统结构的发展起着重要作用。

评价一个数据采集系统的性能有很多指标，但是一般采用以下几个比较常用的指标进行评价。

（1）系统分辨率

系统分辨率是指数据采集系统可以分辨的输入信号的最小变化量。通常可以用如下几种方法表示系统分辨率：

使用系统所采用的a/d转换器的位数表示系统分辨率；

使用最低有效位值（lsb）占系统满度值的百分比表示系统分辨率；

使用系统可分辨的实际电压数值表示系统分辨率；

使用满度值可以分的级数表示系统分辨率。

（2）系统精度

系统精度是指当系统工作在额定采集速率下，整个数据采集系统所能达到的转换精度。a/d转换器的精度是系统精度的极限值。实际上，系统精度往往达不到a/d转换器的精度。因为系统精度取决于系统的各个环节（子系统）的精度，如前置放大器、滤波器、模拟多路开关等。只有当这些子系统的精度都明显优于a/d转换器的精度时，系统精度才有可能达到a/d转换器的精度。系统精度是系统的实际输出值与理论输出值之差，它是系统各种误差的总和，通常表示为满度值的百分数。

（3）采集速率

采集速率又称为系统通过速率或吞吐率，是指在满足系统精度指标的前提下，系统对输入的模拟信号在单位时间内所能完成的采集次数，或者说是系统每个通道、每秒钟可采集的有效数据的数量。这里说的“采集”包括对被测物理量进行采样、量化、编码、传输和存储的全部过程。

（4）动态范围

动态范围是指某个确定的物理量的变化范围。信号的动态范围是指信号的最大幅度和最小幅度之比的分贝数。

2.3系统常见的几种结构形式

（1）多通道共享采样/保持器和a/d转换器数据采集系统

这种系统构成如下图所示，这种结构形式采用分时转换工作的方式，多路被测信号共用一个采样/保持器和一个a/d转换器。当采样保持器的输出已充分逼近输入信号（按给定精度）时，在控制命令的作用下，采样保持器由采样状态进入保持状态，a/d转换器开始进行转换，转换完毕后输出数字信号。在转换期间，多路开关将下一路信号切换到采样/保持器的输入端，系统不断重复以上的操作，可以实现对多通道模拟信号的数据采集。采样方式可以按顺序或随机进行。

多通道共享采样保持器和ad转换器数据采集系统图

这种采集系统结构形式最简单，所用芯片数量少，适用于信号变化率不高、对采样信号不要求同步的场合。如果被测信号变化速率较慢，可以不用采样保持器，直接进行a/d转换。如果信号很弱而干扰噪声强，需要在系统电路中增加信号放大电路和滤波环节。

（2）多通道同步数据采集系统

多通道同步型数据采集系统图

其结构如上图所示，也属于分时转换系统。

多路模拟输入信号共用一个a/d转换器，但是每个通道各有一个采样/保持器，在同一采样指令控制下对各路信号同步进行信号采样，得到各路信号在同一时刻的瞬时值。模拟开关分时将各路采样/保持器切换到a/d转换器上，进行模数转换。这些同步数据可以描述各路信号的相位关系，所以这种结构被称为同步型数据采集系统。

由于各路信号必须串行的在共用的a/d转换器中进行转换和计算，若采样信号回路过多时，这种采集结构的速度仍然较慢。

（3）多通道并行数据采集系统

多通道并行数据采集系统框图如上图所示。这种结构形式中，每个通道都有自己的采样保持器和a/d转换器，经过a/d转换的数据经过接口电路送到计算机中。相对于前两种数据采集系统，这种结构形式的数据采集速度最快，但所用的硬件电路复杂，成本较高。

通用型模拟量数据采集模块则属于这一类的数据采集子系统。数据采集模块是属于单片机的智能器件，在整个数据采集系统中，每个模块可以认为是实时、并行地工作，每个模块仅完成几路信号的检测和采集，实时响应性能优。

（4）分布式数据采集系统

以上介绍的三种结构形式中，系统各部件之间的空间距离很近，逻辑上耦合程度紧密，都可以称之为数据采集系统。这种系统的优点是：结构简单，容易实现，能满足中小规模的集中数据采集的要求。在市面上均有成熟产品可供选用。系统的体积和设备量小，造价低。

由于工作原理、结构形式和性能设计等原因，这类系统也存在不少缺点：

因为系统结构不灵活，不易扩展，所以不适合大规模的数据采集应用场合。抗干扰能力差，尤其对于被测对象物理位置分散、传感器输出的微弱信号需要长距离传输时，所受的干扰不容忽视的。可靠性差。系统结构中某一部件出现故障会导致整个系统工作崩溃。由于各部件之间紧密耦合，导致系统的可扩展性和灵活性差。分布式数据采集系统是数据采集技术、计算机技术和通信技术综合和发展的产物，基于“分散采集、集中管理”的思想设计的系统结构形式，由若干个“数据采集点”和上位机以及通信接口组成。分布式数据采集系统结构如下图所示：

分布式数据采集系统图

处于分散部位的数据采集点相当于小型的集中数据采集系统，位于被测对象的附近，可独立完成数据采集和预处理任务，并将采集的数据转换为数字信号的形式传送给上位机，采用数据传输的方法可以克服模拟信号传输的固有缺陷。分布式数据采集系统的主要特点是：

（1）系统适应能力强。因为可以通过选用适当数量的数据采集点来构成相应规模的系统,所以无论是大规模的系统，还是中小规模的系统，分布式结构都能够适应。

（2）系统可靠性高。由于采用了多个数据采集点，若某个数据采集点出现故障，只会影响某项数据的采集，而不会对系统的其他部分造成任何影响。

（3）系统实时相应性好。由于系统各个数据采集点之间是真正“并行”工作的，所以系统的实时相应性较好。

（4）另外，这种数据采集系统是用数字信号传输代替模拟信号传输，有利于克服常模干扰和共模干扰。因此，这种系统特别适合于在恶劣的环境下工作。目前对于大规模的数据采集场合一般都采用分布式结构，根据不同的数据采集工作原理、结构形式和性能特点，在本系统中采用集中式的数据采集器件作为数据采集终端，采用上下位的连接方式，最终组成整个数据采集系统。

3matlab软件

3.1matlab简介

matlab是美国mathworks公司开发的一种功能极其强大的高技术计算机语言和内容极其丰富的软件库，它适合于工程各领域的分析设计与复杂计算的软件，该软件包括基本部分和专业扩展两大部分．扩展部分称为工具箱，用于解决某一方面的专业问题．它以矩阵和向量的运算以及运算结果的可视化为基础,把广泛应用于各个学科领域的数值分析、矩阵计算、函数生成、信号处理、图形及图像处理、建模与仿真等诸多强大功能集成在一个便于用户使用的交互式环境中,为使用者提供了一个高效的编程工具及丰富的算法资源。对于信号处理和图像处理等数字处理领域,matlab更是得天独厚,它丰富的m文件和强大的绘图可视功能为使用者带来了极大的方便,被广泛的应用于信号与图像处理、控制系统设计、通信、系统仿真等诸多领域，尤其对初学者可起到事半功倍之效。

matlab是一种解释语言，所有的程序和指令都必须在matlab解释器中读入后才能运行，因而极大地限制了代码执行速度。matlab强大的计算功能只能在其平台上才能使用，也就是说，必需在安装了其解释器的机器上才能使用matlab的m文件，这样就给工程应用带来了很大不便。对于一般用户来讲，matlab只能作为离线的计算和分析工具，而不能作为实时的工程工具。幸运的是，开发matlab的mathworks公司为广大的应用者提供了应用程序接口(api，applicationprograminterface)和编译器(compiler)。利用matlab和c语言交互，也可以开发基于matlab的数据采集系统。如果配上数据采集线路，该系统就可以作为一个虚拟仪器来使用。

3.2数据采集工具箱及声卡简介

matlab自带的数据采集工具箱(dataacquisitiontoolbox,daq)能更容易地将实验测得的数据进行分析和可视化操作。数据采集设备包括:多媒体声卡、美国国家仪器e系列和1200系列接口板、hewlett-packard-vxie1432-系列接口板及其他各种数据采集硬件设备。数据采集硬件设备的内部特性对matlab的接口完全透明,无论是使用一个或几个硬件设备,数据采集工具箱都会向所有硬件设备提供单一和统一的接口。通过调用matlab命令和函数可对与计算机兼容的数据采集硬件设备进行访问并对其属性进行可视化监控。

数据采集工具箱是一种建立在matlab环境下的m函数文件和mex动态链接库文件的集合，包含3大区域的组件：m文件函数、数据采集引擎及硬件驱动适配器。它具有如下特点：是一种通过使用与pc机兼容的、即插即用的数据采集设备在matlab环境中的架构；支持模拟信号的输入输出以及数字信号的输入、输出，子系统还包括同步模拟输入输出的转换；支持声卡；事件驱动采集。

在matlab数据采集工具箱里集成了数据采集的m文件格式的函数和mex文件格式的动态链接库。其主要特征如下：

(1)提供了将实时测量数据从数据采集硬件采集到matlab中的框架。

(2)支持模拟量输入(ai)、模拟量输出(a0)以及数字量i／0子系统，包括模拟量i／o实时变换。

数据分析设计篇（9）

本文介绍了matlab及其数据采集工具箱, 利用声卡的a/ d、d/ a 技术和matlab 的方便编程及可视化功能,提出了一种基于声卡的数据采集与分析方案,该方案具有实现简单、性价比和灵活度高的优点。用matlab 语言编制了相应软件,实现了该系统。该软件有着简洁的人机交互工作界面,操作方便,并且可以根据用户的需求进行功能扩充。最后给出了应用该系统采集数据的应用实例。

1绪论

1.1 课题背景

数据也称观测值，是实验、测量、观察、调查等的结果，常以数量的形式给出。数据采集，又称数据获取，就是将系统需要管理的所有对象的原始数据收集、归类、整理、录入到系统当中去。数据采集是计算机管理系统使用前的一个数据初始化过程。数据采集技术广泛引用在各个领域。比如摄像头，麦克风，都是数据采集工具。

数据采集（data acquisition）是将被测对象(外部世界、现场)的各种参量(可以是物理量，也可以是化学量、生物量等)通过各种传感元件作适当转换后，再经信号调理、采样、量化、编码、传输等步骤，最后送到控制器进行数据处理或存储记录的过程。

被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间（称采样周期）对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据测量方法有接触式和非接触式，检测元件多种多样。不论哪种方法和元件，都以不影响被测对象状态和测量环境为前提，以保证数据的正确性。数据采集含义很广，包括对连续物理量的采集。在计算机辅助制图、测图、设计中，对图形或图像数字化过程也可称为数据采集，此时被采集的是几何量数据。

在智能仪器、信号处理以及工业自动控制等领域，都存在着数据的测量与控制问题，常常需要对外部的温度、压力、流量、位移等模拟量进行采集。数据采集技术是一种流行且实用的电子技术。它广泛应用于信号检测、信号处理、仪器仪表等领域。近年来，随着数字化技术的不断发展，数据采集技术也呈现出速度更高、通道更多、数据量更大的发展态势。

数据采集系统是一种应用极为广泛的模拟量测量设备，其基本任务是把信号送入计算机或相应的信号处理系统，根据不同的需要进行相应的计算和处理。它将模拟量采集、转换成数字量后，再经过计算机处理得出所需的数据。同时，还可以用计算机将得到的数据进行储存、显示和打印，以实现对某些物理量的监视，其中一部分数据还将被用作生产过程中的反馈控制量。

数据采集系统是计算机测控系统中非常重要的环节，目前，有各种数据采集卡或采集系统可供选择，以满足生产和科研试验等各方面的不同需要，但由于数据源以及用户需求的多样性，有时并不能满足要求。特别是在某些应用中，需要同时高速采集多个通道的数据，而且为了分析比较各通道信号间的相互关系，常常要求所有通道的采集必须同步。现有的数据采集系统能够满足上述要求的比较少，且价格十分昂贵，体积较大，分量较重，使用十分不方便。

一般模拟量是通过各种数据采集卡进行数据采集。目前常用的是具有 isa 总线、pci 总线等接口形式的 a/d 采集卡，虽然数据传输率很高，但是还存在整个系统笨重，缺乏灵活性，不能实现即插即用，不适合小型、便携设备采用等缺点。另外这些类型的采集卡在计算机上安装比较麻烦，而且由于受计算机插槽数量、地址、中断资源的限制不可能挂接很多设备。因此，工程师们往往需要花费大量的时间和资源用于系统搭建。

随着现代工业技术的迅猛发展，生产规模的不断壮大，生产过程和制作工艺的日趋复杂，对自动测试和各种信息集成的要求也就越来越高。数据采集系统的好坏将直接影响自动测试系统的可靠性和稳定性，为了满足不同的测试需求，以及减少对资源的浪费，在系统的设计上应该尽量满足通用性和可扩展性。在高度发展的当今社会中，科学技术的突飞猛进和生产过程的高度自动化已成为人所共知的必然趋势，而它们的共同要求是必须建立在有着不断发展与提高的信息工业基础上。人们只有从外界获取大量准确、可靠的信息经过一系列的科学分析、处理、加工与判断，进而认识和掌握自然界与科学技术中的各种现象与其相关的变化规律，并通过相应的系统和方法实现科学实验研究与生产过程的高度自动化。换言之，生产过程的自动化面临的第一个问题就是必须根据从各种传感器得到的数据来检测、监视现场，以保证现场设备的正常工作。所以对现场进行数据采集是重要的前期基础工作，然后再对现场数据进行传输和相应的处理工作，以满足不同的需要。

数据采集卡是中低端数据采集系统设计的必选产品。基于 isa、pci 的插卡式数据采集设备存在以下缺陷：安装麻烦；价格昂贵；受计算机插槽数量、地址、中断资源限制，可扩展性差；在一些电磁干扰性强的测试现场，无法专门对其做电磁屏蔽，导致采集的数据失真。而现代工业生产和科学研究的发展要求数据采集卡具有更好的数据采集、处理能力，传统的 cpu 已经不能满足这一要求。针对以上要求，本文将论述一种基于pc机的声卡技术，它安装容易，成本较低。只需利用计算机本身的软硬件资源，而不需添加其他任何设备即可构成数据采集与分析系统，使用matiab语言编制简洁的图形用户界面，该界面操作方便，并且可以根据用户的需求进行功能扩充。

数据分析在整个科研工作中是个重要的必不可少的环节，它的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程，以提升有效性。例如，一个企业的领导人要通过市场调查，分析所得数据以判定市场动向，从而制定合适的生产及销售计划。因此数据分析有极其广泛的应用范围。数据分析系统工作的质量和速度如何，对整个科研工作的影响也是很大的。因此研究一种质量性能高的通用数据采集平台具有很大的意义。

在近几十年来 ic 技术和计算机技术的高速发展，为数据采集与分析提供了非常良好与可靠的科学技术基础，也提出了更高的要求和强有力的推动。如今面临着先进的计算机技术和信息技术与落后的信息采集与分析技术的现实差距，那将大大影响科学技术的高度发展和生产过程的高度自动化。所以，近几十年来世界各国都大量投入进行信息采集与分析的工作，尤其是在经济发达的美、英、德、法日等国与我国，都对这一技术高度重视。

1.2 国内外研究动态

数据采集是获取信息的基本手段，数据采集技术作为信息科学的一个重要分支，与传感器、信号测量与处理、微型计算机等技术为基础而形成的一门综合应用技术，它研究信息数据的采集、存储、处理及控制等作业，具有很强的实用性。随着科学技术的发展，数据采集系统得到了越来越广泛得应用，同时人们对数据采集系统的各项技术指标，如：采样率、线性度、精度、输入范围、控制方法以及抗干扰能力等提出了越来越高的要求，特别是精度和采样率更是使用者和设计者所共同关注的重要问题，于是，高速及超高速数据采集系统应运而生并且得到了快速发展。今天，数据采集技术己经在雷达、通信、水声、振动工程、无损监测、智能仪器、工业自动控制以及生物医学工程等众多领域得到广泛的应用并且收到了良好的效果。高速数据采集系统在国防、航天、边缘科学研究中及国民经济的各个领域的成功的应用，进一步引起了各方的关注，推动了它的研制和发展。随着科学技术的发展，数据采集系统得到了越来越广泛的应用。目前，国外很多公司与厂商都投入巨资进行数据采集系统的研制开发与生产销售，其中比较著名的有 neff， ni、hp，tek 等。

从数据采集系统产品来看，各大公司提供的系列产品都包括了完成数据采集的诸如信号放大、滤波、多路开关、模数转换和接口等各种模块。现有的高速数据采集器件和开发的产品中，目前还没有完全实现高速、高分辨率。在雷达、通信、谱分析、瞬态分析、电视等应用领域，为满足实时检测和高速采集的日益更新的需要，实现数据采集的高速、高分辨率已成为数据采集系统的一个发展方向。现有的高速 adc 器件和产品价格都比较昂贵，有些高速、高分辨率的器件本身还存在着不稳定性，因此，在数据采集系统向高速、高分辨率发展的同时，开发和研制的器件和产品应不断地提高可靠性，降低成本，提高性价比，以便使之得到更广泛的应用。在国内，由于历史、技术等原因，我们的产品普遍存在：通用性差、用途单一、测点少、测量距离小、环境适应性差等缺点，远没有形成系列化、模块化、标准化的通用产品，根本无法满足国内用户不断增长的需要，也远远不能与国外产品抗衡，正因此使得价格高昂的国外产品占有了相当大的市场份额。

1.3 数据采集系统的现状及发展

数据采集与分析一直是生产实践研究与应用领域的一个热点和难点。随着微电子制造工艺水平的飞速提高及数据分析理论的进一步完善与成熟，目前国内外对数据采集系统的高性能方面的研究上取得了很大的成就。就 a/d 转换的精度、速度和通道数来说，采样通道从单通道发展到双通道、多通道，采样频率、分辨率、精度逐步提高，为分析功能的加强提供了前提条件。而在数据分析的微处理器上，最初的数据采集系统以 8 位单片机为核心，随着微电子技术的不断发展，新兴单片机的不断问世，十六位、三十二位单片机也为数据采集系统研制厂家所采用，近年来采用具有 dsp 功能的数据采集系统也己投入市场。同时，通用 pc 机的 cpu 用于数据处理也较为常见。总之，伴随着高性能微处理器的采用和用户技术要求的不断提高，数据采集系统的功能也越来越完善。数据采集系统的发展主要体现在以下几个趋势：

首先，在专业测控方面，基于 pc 计算机的数据采集系统越来越成熟和智能化。在过去的二十年中，开放式架构 pc 机的处理能力平均每十八个月就增强一倍。为了充分利用处理器速度的发展，现代开放式测量平台结合了高速总线接口，如 pci和 pxi/compact pci，以便获得性能的进一步提升。计算机的性能提升和由此引起的基于计算机的测量技术的创新，正在持续不断地模糊着传统仪器和基于计算机的测量仪器之间的界线。

其次，在通用测控方面，采用嵌入式微处理器的方案也由早期的采用 a/d 器件和标准单片机组成应用系统发展到在单芯片上实现完整的数据采集与分析，即目前极为热门的 soc (system on chip)。通常在一块芯片上会集成一个，可以采样多路模拟信号的 a/d 转换子系统和一个硬 cpu 核(比如增强型 80_52 内核)，而且其cpu 的运算处理速度和性能也较早期的标准 cpu 内核提高了数倍，而且有着极低的功耗。这种单芯片解决方案降低了系统的成本和设计的复杂性。

此外，为了解决 soc 方案中数据处理性能的不足，采用 dsp 作为数据采集系统的 cpu 的研究与应用目前也逐渐引起业内重视。但是这类产品目前仅仅处于发展的初级阶段，在精度、速度或其它性能指标上并不能很好的满足要求。因此，国内外以 dsp 作为数据采集系统的采样控制和分析运算的研究与应用正在展开。

近年来随着芯片技术、计算机技术和网络技术的发展，数据采集技术取得了许多新的技术成果，市场上推出了繁多的新产品。高速数据采集技术的发展一方面是提高采集速率，另一方面不断向两端延伸。一端是输入的信号调理，另一端是采集后的数字化信号的实时处理与事后处理。20世纪90年代末，随着数字技术快速发展，数据采集技术已向着并行、高速、大量存储、实时分析处理、集成化等方向发展。

(1)采样方式

①过采样（over sampling）。采样方式中最早是过采样，根据采样定理，采样频率fs必须高于被采信号最高频率fch的两倍，才不致产生频率混叠现象。例如信号最高频率为10khz，采样频率必须高于20khz。

②欠采样（under sampling）。在通信和动态数据的采集中，发展了一种欠采样技术，即采样频率fs可以低于信号频率fch，但信号的频带宽度不得大于0.5fs，利用采样信号产生的高次谐波，将采样后的信号移至第二或者更高的奈奎斯特区。例如采样频率fs为10khz，可对频带fch落于11～14khz的信号(频带宽度为3khz，低于0.5fs=5khz)进行欠采样。于是在采样频率2次谐波两边产生的采样后的信号频带为f2ch = 2fs±fch = 20 khz±(11～14 khz)= 31～34 khz，或9～6 khz

③等效时间采样（equivalent time sampling ）。主要是对于重复的周期波形进行等效时间采样。例如美国泰克公司的tds784d数字存储示波器，其实际的采样频率为 1 gs/s ( 1ghz )，对于重复的周期信号，采取周期微差法，可以达到250gs/s(250ghz)的等效时间采样。例如对于 1 ghz 的方波，进行周期微差法采样，每个周期的采样只有微小的时差，将若干个周期中的样点集中排列，即可测出方波上升沿和下降沿的波形。对于单次瞬态信号，这种方法是无效的。

④变速率变分辨率采样。

(2)采集方式的发展

①扫描式采集（scanning acquisition）：时分制、多通道巡回采集。

②并行式采集（parallel acquisition)：多个通道同步并行采集，每个通道采用一个独立的a/d转换器，通道采集速率只取决于a/d的转换速率，与通道数无关。

③交替采集（internative acquisition）：一个通道由多个a/d转换器交替采集，使每个通道采样速率等于多个a/d的转换速率之和，可以高于单个a/d的转换速率。

(3)采集数据的实时分析与处理软件

目前国外的测试仪器或系统生产厂家，在生产硬件的同时，推出其相应的支持软件或软件开发平台，如为产品开发者提供的软件工具；为系统集成者提供系统应用软件的集成的环境；为终端用户提供编写自己的用户应用程序的手段。

1.4 本文主要内容和章节安排

本文完成了一种基于matlab的数据采集系统的方案的设计，实现了在matlab环境下利用声卡和matlab数据采集工具箱进行的数据采集与分析。

全文的结构安排如下：

第一章 绪论，说明了研究背景、意义、国内外现状，以及系统的发展现状。

第二章 主要介绍了系统结构特点及性能

第三章 主要介绍了声卡、matlab软件及其工具箱的使用

第四章 主要讨论了系统结构功能设计与实现，以及数据采集与分析的具体过程

第五章 主要对数据采集进行了举例

2数据采集系统结构特点

2.1 系统组成结构

数据采集系统主要由两部分组成：采集子系统和计算机子系统，即下位机智能数据采集系统和上位机 hmi（human machine interface）系统。采集子系统实现将客观世界被测对象信号采集和转换为能被计算机处理的数字信号的功能等；计算机子系统实现对采集数据的控制、存储和处理等功能，计算机起着对采集数据的存储和处理、统计分析、提供人机接口与其他计算机的数据通信和交换的功能。

数据采集系统涉及多学科，所研究的对象是物理或生物等各种非电或电信号。根据各种非电或电信号的特征，利用相应的归一化技术，将其转换为可真实反映事物特征的电信号后，经a／d转换器转换为计算机可识别的有限长二进制数字编码，以此作为研究自然科学和实现工业实时控制的重要依据，实现对宏观和微观自然科学的量化认识，典型的数据采集系统组成如图2-1所示。

图2-1 典型数据采集系统的组成

而一般的外置式数据采集系统结构如图2-2所示。模拟信号由传感器采得经过信号调理模块送入数据采集硬件设备。在数据采集设备中完成a／d转换，包括采样、量化、编码，转化成数字信号后送入与之相连的pc机中。根据不同的要求，在pc机上利用matlab以及二次编程实现数据的实时分析与处理。用户可以通过人机交互界面修改、设定各项参数来控制数据采集硬件设备的工作状态，同时可以得到数据的采集与分析结果， 从而实现数据采集与分析的自动化。

图2-2 一般的外置式数据采集系统结构

利用声卡在windows环境下开发数据采集系统时，由于受编程语言的限制，其数据分析与处理的功能非常有限。例如，为了对所采集的数据进行功率谱分析，则需要用户以vb或c语言来编写功率谱分析的子程序，这显然增加了开发的难度，并且也极不利于分析功能的进一步扩展。

而利用声卡作为a／d转换工具，经过衰减和取样电路得到的模拟信号送至声卡的线路输入端linein，并利用matlab中提供的数据采集工具箱，可满足控制声卡进行数据采集的要求。用户通过调用matlab命令， 可对采集的数据进行分析和处理。

整个系统可分为数据采集和数据分析两大部分，以友好的图形界面与用户进行交互沟通。数据采集部分实现数据采集功能，根据用户选择的采样频率和预设的采样时间，从声卡获得用户需要的数据；数据分析部分对采集到的数据进行频谱分析。全部数据的时域和频域波形以图形方式直观地呈现于用户面前。此外，还提供保存数据以及回放数据的功能。

图2-3给出了基于matlab的数据采集系统的简图，主要部件数据采集工具箱提供了硬件驱动程序和matlab环境之间“对话”所需的硬件驱动程序适配器、数据采集引擎和m-文件函数．

图2-3 基于matlab的数据采集系统简图

硬件驱动程序适配器在硬件驱动程序和数据采集引擎之间交换属性数值、数据和事件；数据采集引擎用来存储各个设备对象，以及每个设备对象的属性值；对采集到的数据进行存储并且使不同事件同步；m-文件用来创建设备对象、采集或输出数据、配置属性值和检测数据采集状态和数据采集设备。

2.2 系统的特点和性能指标

现代数据采集系统发展到今天，一般来说具有如下主要特点：

（1）现代采集系统一般都由计算机控制，使得数据采集的质量和效率等大为提高，也节省了硬件投资。

（2）软件在数据采集系统中的作用越来越大，增加了系统设计的灵活性。

（3）数据采集与数据处理相互结合的日益紧密，形成数据采集与处理系统，可实现从数据采集、处理到控制的全部工作。

（4）数据采集过程一般都具有“实时”特性，实时的标准是能满足实际需要；对于通用采集系统一般希望有尽可能高的速度，以满足更多的应用环境。

（5）随着电子技术的发展，电路集成度的提高，数据采集系统的体积越来越小，可靠性越来越高，甚至出现了单片数据采集系统。

（6）总线在数据采集系统中有着广泛的应用，总线技术它对数据采集系统结构的发展起着重要作用。

评价一个数据采集系统的性能有很多指标，但是一般采用以下几个比较常用的指标进行评价。

（1）系统分辨率

系统分辨率是指数据采集系统可以分辨的输入信号的最小变化量。通常可以用如下几种方法表示系统分辨率：

使用系统所采用的 a/d 转换器的位数表示系统分辨率；

使用最低有效位值（lsb）占系统满度值的百分比表示系统分辨率；

使用系统可分辨的实际电压数值表示系统分辨率；

使用满度值可以分的级数表示系统分辨率。

（2）系统精度

系统精度是指当系统工作在额定采集速率下，整个数据采集系统所能达到的转换精度。a/d 转换器的精度是系统精度的极限值。实际上，系统精度往往达不到a/d 转换器的精度。因为系统精度取决于系统的各个环节（子系统）的精度，如前置放大器、滤波器、模拟多路开关等。只有当这些子系统的精度都明显优于 a/d 转换器的精度时，系统精度才有可能达到 a/d 转换器的精度。系统精度是系统的实际输出值与理论输出值之差，它是系统各种误差的总和，通常表示为满度值的百分数。

（3）采集速率

采集速率又称为系统通过速率或吞吐率，是指在满足系统精度指标的前提下，系统对输入的模拟信号在单位时间内所能完成的采集次数，或者说是系统每个通道、每秒钟可采集的有效数据的数量。这里说的“采集”包括对被测物理量进行采样、量化、编码、传输和存储的全部过程。

（4）动态范围

动态范围是指某个确定的物理量的变化范围。信号的动态范围是指信号的最大幅度和最小幅度之比的分贝数。

2.3 系统常见的几种结构形式

（1）多通道共享采样/保持器和 a/d 转换器数据采集系统

这种系统构成如下图所示，这种结构形式采用分时转换工作的方式，多路被测信号共用一个采样/保持器和一个 a/d 转换器。当采样保持器的输出已充分逼近输入信号（按给定精度）时，在控制命令的作用下，采样保持器由采样状态进入保持状态，a/d 转换器开始进行转换，转换完毕后输出数字信号。在转换期间，多路开关将下一路信号切换到采样/保持器的输入端，系统不断重复以上的操作，可以实现对多通道模拟信号的数据采集。采样方式可以按顺序或随机进行。

多通道共享采样保持器和 ad 转换器数据采集系统图

这种采集系统结构形式最简单，所用芯片数量少，适用于信号变化率不高、对采样信号不要求同步的场合。如果被测信号变化速率较慢，可以不用采样保持器，直接进行 a/d 转换。如果信号很弱而干扰噪声强，需要在系统电路中增加信号放大电路和滤波环节。

（2）多通道同步数据采集系统

多通道同步型数据采集系统图

其结构如上图所示，也属于分时转换系统。

多路模拟输入信号共用一个 a/d 转换器，但是每个通道各有一个采样/保持器，在同一采样指令控制下对各路信号同步进行信号采样，得到各路信号在同一时刻的瞬时值。模拟开关分时将各路采样/保持器切换到 a/d 转换器上，进行模数转换。这些同步数据可以描述各路信号的相位关系，所以这种结构被称为同步型数据采集系统。

由于各路信号必须串行的在共用的 a/d 转换器中进行转换和计算，若采样信号回路过多时，这种采集结构的速度仍然较慢。

（3）多通道并行数据采集系统

多通道并行数据采集系统框图如上图所示。这种结构形式中，每个通道都有自己的采样保持器和a/d转换器，经过a/d转换的数据经过接口电路送到计算机中。相对于前两种数据采集系统，这种结构形式的数据采集速度最快，但所用的硬件电路复杂，成本较高。

通用型模拟量数据采集模块则属于这一类的数据采集子系统。数据采集模块是属于单片机的智能器件，在整个数据采集系统中，每个模块可以认为是实时、并行地工作，每个模块仅完成几路信号的检测和采集，实时响应性能优。

（4）分布式数据采集系统

以上介绍的三种结构形式中，系统各部件之间的空间距离很近，逻辑上耦合程度紧密，都可以称之为数据采集系统。这种系统的优点是：结构简单，容易实现，能满足中小规模的集中数据采集的要求。在市面上均有成熟产品可供选用。系统的体积和设备量小，造价低。

由于工作原理、结构形式和性能设计等原因，这类系统也存在不少缺点：

因为系统结构不灵活，不易扩展，所以不适合大规模的数据采集应用场合。抗干扰能力差，尤其对于被测对象物理位置分散、传感器输出的微弱信号需要长距离传输时，所受的干扰不容忽视的。可靠性差。系统结构中某一部件出现故障会导致整个系统工作崩溃。由于各部件之间紧密耦合，导致系统的可扩展性和灵活性差。分布式数据采集系统是数据采集技术、计算机技术和通信技术综合和发展的产物，基于“分散采集、集中管理”的思想设计的系统结构形式，由若干个“数据采集点”和上位机以及通信接口组成。分布式数据采集系统结构如下图所示：

分布式数据采集系统图

处于分散部位的数据采集点相当于小型的集中数据采集系统，位于被测对象的附近，可独立完成数据采集和预处理任务，并将采集的数据转换为数字信号的形式传送给上位机，采用数据传输的方法可以克服模拟信号传输的固有缺陷。分布式数据采集系统的主要特点是：

（1）系统适应能力强。因为可以通过选用适当数量的数据采集点来构成相应规模的系统,所以无论是大规模的系统，还是中小规模的系统，分布式结构都能够适应。

（2）系统可靠性高。由于采用了多个数据采集点，若某个数据采集点出现故障，只会影响某项数据的采集，而不会对系统的其他部分造成任何影响。

（3）系统实时相应性好。由于系统各个数据采集点之间是真正“并行”工作的，所以系统的实时相应性较好。

（4）另外，这种数据采集系统是用数字信号传输代替模拟信号传输，有利于克服常模干扰和共模干扰。因此，这种系统特别适合于在恶劣的环境下工作。目前对于大规模的数据采集场合一般都采用分布式结构，根据不同的数据采集工作原理、结构形式和性能特点，在本系统中采用集中式的数据采集器件作为数据采集终端，采用上下位的连接方式，最终组成整个数据采集系统。

3 matlab软件

3.1 matlab 简介

matlab 是美国mathworks 公司开发的一种功能极其强大的高技术计算机语言和内容极其丰富的软件库，它适合于工程各领域的分析设计与复杂计算的软件，该软件包括基本部分和专业扩展两大部分．扩展部分称为工具箱，用于解决某一方面的专业问题．它以矩阵和向量的运算以及运算结果的可视化为基础,把广泛应用于各个学科领域的数值分析、矩阵计算、函数生成、信号处理、图形及图像处理、建模与仿真等诸多强大功能集成在一个便于用户使用的交互式环境中,为使用者提供了一个高效的编程工具及丰富的算法资源。对于信号处理和图像处理等数字处理领域,matlab 更是得天独厚,它丰富的m文件和强大的绘图可视功能为使用者带来了极大的方便, 被广泛的应用于信号与图像处理、控制系统设计、通信、系统仿真等诸多领域，尤其对初学者可起到事半功倍之效。

matlab是一种解释语言，所有的程序和指令都必须在matlab解释器中读入后才能运行，因而极大地限制了代码执行速度。matlab强大的计算功能只能在其平台上才能使用，也就是说，必需在安装了其解释器的机器上才能使用matlab的m文件，这样就给工程应用带来了很大不便。对于一般用户来讲，matlab只能作为离线的计算和分析工具，而不能作为实时的工程工具。幸运的是，开发matlab的mathworks公司为广大的应用者提供了应用程序接口(api，applicationprogram interface)和编译器(compiler)。利用matlab和c语言交互，也可以开发基于matlab的数据采集系统。如果配上数据采集线路，该系统就可以作为一个虚拟仪器来使用。

3.2 数据采集工具箱及声卡简介

matlab 自带的数据采集工具箱(data acquisitiontoolbox, daq) 能更容易地将实验测得的数据进行分析和可视化操作。数据采集设备包括: 多媒体声卡、美国国家仪器e系列和1200 系列接口板、hewlett-packard-vxie1432- 系列接口板及其他各种数据采集硬件设备。数据采集硬件设备的内部特性对matlab 的接口完全透明, 无论是使用一个或几个硬件设备, 数据采集工具箱都会向所有硬件设备提供单一和统一的接口。通过调用matlab 命令和函数可对与计算机兼容的数据采集硬件设备进行访问并对其属性进行可视化监控。

数据采集工具箱是一种建立在matlab环境下的m函数文件和mex动态链接库文件的集合，包含3大区域的组件：m文件函数、数据采集引擎及硬件驱动适配器。它具有如下特点：是一种通过使用与pc机兼容的、即插即用的数据采集设备在matlab环境中的架构；支持模拟信号的输入输出以及数字信号的输入、输出，子系统还包括同步模拟输入输出的转换；支持声卡；事件驱动采集。

在matlab数据采集工具箱里集成了数据采集的m 文件格式的函数和mex文件格式的动态链接库。其主要特征如下：

(1)提供了将实时测量数据从数据采集硬件采集到matlab中的框架。

(2)支持模拟量输入(ai)、模拟量输出(a0)以及数字量i／0子系统，包括模拟量i／o实时变换。

数据分析设计篇（10）

航空设备数据分析一直是一个难题，因为数据按ICD协议上传，需要转化为可读数据才能分析设备的运行状态。但是设备的上传速率一般在毫秒级，所以设备运行一个小时可以输出上百兆的数据，人工分析这些数据费时费力且错误率高，容易错过关键数据。

针对这种情况，作者设计了一种专门分析设备上传数据的软件（简称数据分析软件）。使用数据分析软件处理百万行的数据只需要不到一分钟的时间，而且该软件可以将数据制成曲线，可以更容易地捕捉到关键数据。

1 数据分析软件

数据分析软件包含两个模块：数据转换模块和数据绘制模块。

1.1 数据转换模块

1.1.1 时间类

航空设备上传的数据一般以时间为基准，因此数据转换时需要保留原始数据的时间信息，这样才能将数据绘制成以时间为X轴的曲线。时间类的定义如图1：

基类Time继承了IComparable接口，所以Time类重载了 “！=”，” ”，”==”四个操作符，这样Time类的对象之间可以比较大小，所以转换后的数据可以按时间前后排序。

1.1.2 数据类

在数据分析软件中，数据是以行为单位的，每一行数据有多个域，不同行数据的域名相同，域内的数据不同。数据行类定义如图2。

DataLine的对象代表一行转换后的数据，ToString接口可以将DataLine里存储的数据以文本的形式输出。DataLine是一个抽象类，需要用他的子类实例化对象。由图可见，MLSData集成了DataLine类，在成员变量中加入了一个MLSTime的对象_time用以表示该行数据的上传时间，并且可以用CompareTo接口比较两个MLSData对象的时间先后。其实MLSData的CompareTo接口只是调用了成员变量_time的CompareTo，如图3。

1.1.3 翻译器类

翻译器实现的功能是将一行原始数据转换为可读数据，翻译器定义如图4。

Translator是一个抽象类，其中定义了一个抽象函数Translate，这个函数有一个类型为String的形式参数data，并返回一个DataLine类（或其子类）的对象。其中data表示一行文本格式的原始数据，返回值DataLine表示转换后的数据。当需要分析按新版本ICD协议上传的数据时，只需创建一个新的Translator子类，并按ICD协议重写Translate函数即可。

1.2 数据绘制模块

数据绘制模块类关系图如图5：

父类DataDrawer是一个抽象函数，他实现了绘制曲线的一些基本功能。子类MLSDrawer集成了DataDrawer的基本功能，并添加了数据段放大功能。MD_WarningLine添加了告警线的显示功能，分析人员可以清晰地看到数据告警的位置，并针对该段数据进行分析。MultiLineDawer添加了多曲线绘制弄能，可以将多组数据的曲线绘制在同一坐标系内，让分析人员可以进行多组数据间的交叉比对。

2 实际应用

如图6，设备上传数据经数据转换模块处理后输出可读数据。

数据绘制模块读取分析结果数据后，可以将结果中的一组或多组数据绘制成曲线。

在曲线绘制区域内拖动鼠标可已放大局部数据，如图9。