数据处理论文

导言：作为写作爱好者，不可错过为您精心挑选的1篇数据处理论文，它们将为您的写作提供全新的视角，我们衷心期待您的阅读，并希望这些内容能为您提供灵感和参考。

数据处理论文:三维足部扫描系统中数据处理的基本设置

摘 要：三维激光扫描技术是近年来出现的新技术，在国内越来越引起研究领域的关注。它是利用激光测距的原理，通过记录被测物体表面大量的密集的点的三维坐标、反射率和纹理等信息，可快速复建出被测目标的三维模型及线、面、体等各种图件数据。由于三维激光扫描系统可以密集地大量获取目标对象的数据点，三维激光扫描技术也被称为从单点测量进化到面测量的革命性技术突破，具有高效率、高精度的独特优势。三维激光扫描技术能够提供扫描物体表面的三维点云数据，因此可以用于获取高精度高分辨率的数字模型。

关键词：三维激光扫描；数据；点云；模型

三维足部激光扫描系统的数据处理包括主控计算机、图像识别、畸变差更正、建模。通过计算机控制平移采集图像，采用黑白棋盘格标定靶和张正友算法，标定图像中心坐标（Cx，Cy），畸变系数（k1、k2、p1、p2）等摄像机内部参数，研制适于足部激光扫描系统标定的细丝标定靶，并在摄像机标定的基础上，采用直接线性变换方法，得到像素坐标（Xf，Yf）与世界坐标（Xw，Yw）的映射关系矩阵，进而通过高斯滤波等除去杂点，最后建模，完成三维足部激光扫描系统的数据处理。

一、主控计算机的基本配置

针对于长度方向的扫描范围是290mm的足部扫描系统，考虑余量，需要行程大于300mm的移动平台。运动分辨率应优于本系统长度方向的分辨率：20μm。同时，本系统需要在平台的台面中轴线下方安装下光机模组（包括CCD和激光器），在台面两侧安装两个支撑臂用来支撑左右光C模组，同时，考虑到成年人的一般体重，这就要求台面允许的承载大于lO0kg（估计值）。随后根据电机的相关参数选择驱动器对电机进行控制。根据图像采集速率，计算得到在不细分的情况下，每秒需要的脉冲数为1500pulse，在上述情况下，分辨率为0.025mm。若采用最大的256细分，每秒需要脉冲数变为384000个，因此需要控制卡能提供的脉冲频率大于该参数。

基于上述计算，选择单轴步进电机控制器。它是一块多轴运动控制卡，可驱动步进/伺服系统，可实现单轴运行或两轴联动插补控制，并由硬件实现机械装置的超限保护。其功能特点有：32位PCI总线（PCI2.1标准）；最高速可达1 MHz（即每秒1000000个脉冲）；自动回原点功能，可读回运动中实际位置。整个系统除了计算机、平移台自身有配套的电源，还需要给运动控制器、CCD摄像机以及激光器配备直流电源。

二、图像的采集和识别处理

图像采集系统由接口、CCD摄像机和控制软件组成，通过控制软件编程实现对图像信号的采集和保存。接口有USB、Net、1394等，根据系统使用要求设置采集参数，采集时先将图像保存在缓存中，最后再将采集到的图像从缓存中以不同的命名保存到文件中以便于后续的处理和重建。

对图像进行识别时需要首先进行光带中心提取，对灰度图像进行光带提取时采用质心法，分两步来实现：首先对作二值化图像每一列的像素点的进行扫描，对灰度值为1的点（即白像素点）进行质心运算，即可得到当前列的光带中心像素坐标，然后逐列移动，即可得到所有列上的光带中心坐标，此时得到的光带中心坐标只是一个近似值；在第一步得到的像素坐标近似值的基础上，从原始灰度图像上寻找这一坐标在列方向上的一个邻域，然后利用质心法重新计算每一列的光带中心，即可得到更为精确的光带中心坐标。

摄像机标定是从二维图像获取三维空间信息的关键和必要步骤，如基于图像的物体重建，基于图像的测量等。现有的摄像机标定方法大致可以分成两类：传统的摄像机标定方法和摄像机自标定方法。传统的摄像机标定方法是在一定的摄像机模型下，基于特定的实验条件，如形状、尺寸己知的标定参照物，经过对其图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。但在很多情况下，由于存在经常性调整摄像机的要求，且设置己知的标定参数也不现实，这时就需要一种不依赖标定参照物的摄像机自标定方法。用二维平面靶标和张正友算法对摄像机进行标定。

其中为了获得己知的精确的世界坐标，需要设计精密标定靶。标定靶作用是为各视觉传感器提供相应的标定控制点对：即精确的世界坐标和像素坐标。它应满足：标定点的空间范围应该能够近似覆盖整个测量范围，才能保证测量精度；在标定过程中，要对多个传感器进行标定，因此标定靶的设计应该使得标定过程尽量简单，减少标定过程中的工作量。

三、标定方法选取与标定实验

如何实现摄像机和激光器组成的传感器的标定，即标定光平面与摄像机之间的位置关系；如何实现系统全局的标定，即标定各组传感器之间的位置关系。这就要考虑全局标定方法。全局标定要把各个视觉传感器的测量数据统一到一个总体世界坐标系中，也就是确定各个视觉传感器坐标系相对这一总体世界坐标系的位置与方向，即旋转矢量和平移矢量。主要有以下三种常用的全局标定方法同名坐标统一法、中介坐标统一法和世界坐标唯一法。

其中世界坐标唯一法的基本思想是直接利用世界总体坐标系下的标定点对处于测量状态的各个视觉传感器单元进行局部标定，从而将局部标定和全局标定统一到了一起。其优点在于：实现了在测量现场视觉传感器局部标定和全局标定的统一；减少了坐标转换次数，从而减少了由坐标系转换所带来的精度损失；减少了标定点的采集次数，降低了劳动强度。因此采用世界坐标唯一法对系统进行全局标定。

利用平面靶标对摄像机进行标定的关键是含有坐标信息的特征点也称控制点的检测。常用的特征点是黑白棋盘格靶标上的角点。目前的检测方法可以分为两大类：一类是基于图像边缘的特征，通过用轮廓点来拟合直线或计算边缘曲率、夹角，从而判定角点。概括来说，图像处理的整体步骤是：

1.读入拍摄的棋盘格图像，利用Canny算子进行边缘检测；

2.利用BW算子求出边缘区域的CBW响应值，并设置闽值取出前M个；

3.设置角点邻域阈值，将同一角点邻域内的点取均值，最终得出与实际角点数量相同的N个角点的图像坐标。

准确检测了一幅图像的角点像素坐标之后，就能利用张正友算法进行标定，该方法基于以下思想：标定过程中，摄像机的内部参数始终保持不变，发生变化的只是外部参数。所以要求摄像机在两个以上不同的位置对同一平面靶标进行拍摄，摄像机或靶标两者之一可以自由移动，不需要知道它们之间的相互位置关系和运动参数等。像机的标定完成之后，就能将角点的世界坐标结合摄像机内外参数矩阵，将各点投影到图像坐标系中，比较重投影点与实际检测出的角点之g的误差。为了说明角点检测的准确性，对于直线拟合和BW算子检测出的角点也按照张正友方法求解摄像机内外参数，之后投影到图像坐标系中。

四、模型构建

建模需要依次进行以下步骤，进行以下步骤：首先进行机械调整。调整玻璃平台与导轨面平行，即与扫描方向平行；调整两个扫描臂平面与导轨平行，且等高、等间距；然后进行传感器调试。保证脚底面与玻璃平面相交的位置不会超出CCD相机的视场并留有一定余量，保证数据的完整性。可以通过调整CCD安装座的俯仰角度实现。因为图像亮度、对比度的设置如果太低，会使光带的亮度降低，不易于黑暗的背景区分；如果设置太高，会使得噪声点亮度增加，产生误差和多余点云。随后进行运动控制调试。保证CCD在电机匀速运动阶段采集图像。在平台运动过程中，若人为碰触近端的零位开关和远端的限位开关，电机将立即停止运动，这就保证了系统的安全。其次进行激光平面调试。通过调整激光器安装座的俯仰、平移，将三个激光平面调整到完全重合且与扫描方向垂直的状态。最后通过点云真实地还原脚模的外形轮廓变化，多个角度视图清晰。用高斯滤波滤除杂点，进而得到更为完善的模型。

数据处理论文:TTC与LGO在GPS工程控制网数据处理中的应用

摘 要：对两种商业LGO和TTC进行了简要介绍，以GPS工程控制网为基础，采用两种软件处理了基线数据，基线处理后均采用后处理软件CosaGPS进行平差，对两种解算方式的结果进行对比分析，对类似的工程控制网解算有一定借鉴意义。

关键词：GPS 基线；数据处理；工程控制网

1 引言

GPS测量数据的处理是研究GPS定位技术的一个重要内容，选用好的数据处理方法和软件对结果影响很大。在GPS静态定位领域里，几十千米以下的定位应用已经较为成熟，接收机厂商提供的随机软件可满足大部分的应用需要[1]。

目前测绘单位大都采用进口的随机软件解算基线、国产平产软件进行网平差的方式来进行GPS网数据处理[2]。TTC和LGO作为目前工程应用中两种进口的随机商业软件，均能够进行GPS和常规地形测量数据处理、数据质量保证和质量控制[3]。本文结合该工程实例，采用两种软件进行GPS工程控制网的基线处理，基线处理后，采用国产平差软件CosaGPS进行网平差，并围绕两种处理结果展开讨论。

2 软件介绍

LGO，全称Leica Geo Office，是瑞士徕卡测量有限公司开发的用来进行数据传输、数据编辑、浏览及质量控制等的办公软件。一般与该公司的全站仪、GPS等相互配合使用。该软件以统一的方式管理TPS、GPS和水准数据，功能强大，而且对于GNSS的基线解算，在同类软件中处于上等水平[4]。

TTC，全称Trimble total control，是Trimble公司为高端客户定制的集空间信息采集、存储、分析、显示和数据检索于一体的产品，与Trimble公司退出的TGO出具处理软件类似，但不同之处在于TTC软件可以进行上百公里至几千公里长距基线的高精度解算，TTC操作过程简单，近乎傻瓜化，可满足中低档客户掌握高精度GPS数据处理的需求[5]。

3 实例分析

某工程控制网共7个控制点，按《全球定位系统（GPS）测量规范》要求进行D级GPS布网和观测，基线长度0.9～6.0km，数据采集采用leica GX1230，采样间隔30秒，卫星高度截止角15°[6]。控制网图形如下图1所示。分别以TTC和LGO对观测结果进行基线数据处理，下表1为两种软件基线平差结果。

LGO由于软件本身采用的基线精度评定标准与其他软件不同，因此不能直接与其他软件的RMS进行比较[7]。从上表可以看出，两种软件处理的15条基线，二者基线长度差值最小为0mm，最大为17mm。若按基线精度要求及复测基线长度较差进行比对，结果均满足规范要求，说明两种软件解算的基线结果是相吻合的。

CosaGPS软件是武汉大学编写的一套测量控制网通用数据处理软件包。完成任意测量控制网的平差解算和精度评定等工作。该系统最大特点是自动化程度高，通用性强，处理速度快，解算容量大，成果报表自动化输出[8]。本例中利用CosaGPS自动读取TTC/LGO软件输出的基线向量文件，进行三维无约束平差，三维向量无约束平差基线分量改正数结果见表2。

从三维向量无约束平差结果来看，基线分量改正数绝对值均满足规范要求。两种解算方式得到的最弱边相对中误差分别为：TTC/CosaGPS（1/307000））、LGO /CosaGPS（1/664000），这说明基线向量没有明显系统误差和粗差，该控制网内符合精度较高，数据处理质量可靠。从两种解算方式得到的结果对比来看，LGO输出的基线分量改正数整体性优于TTC，说明LGO软件处理的基线结果优于TTC软件处理的结果。

接下来，在三维向量网无约束平差的基础上，为获取控制点在工程控制网下的平面坐标，进行二维约束平差。二维约束平差后，两种解算方式得到的控制点间最弱边相对中误差分别为：TTC/CosaGPS（1/204000）、LGO/CosaGPS（1/322000），满足平面控制网最弱边相对中误差要求。二维平差平面坐标结果见表3。

从上表二维约束平差的点位误差方面可以看出，两种解算方式的坐标分量X方向最大差值为9mm，Y方向最大差值为13mm，点位最大差值为15mm。从两种解算方式处理的精度对比来看，LGO/CosaGPS相较TTC/CosaGPS处理的结果，点位误差较小，精度较高，从《工程测量规范》[9]施工控制点±20mm限差要求来看，两者结果均能够满足需要。

4 结语

本文以某GPS工程控制网为例，通过LGO与TTC两种软件进行基线处理，后处理均采用CosaGPS网平差，对其解算结果进行比较分析。结果表明：LGO软件较TTC软件在数据处理方面占优，但二者处理数据结果相一致，均满足规范要求。在工程应用中，二者均具有操作方便、快捷、处理速度快、结果直观清晰等优点，两种软件均可以用于类似GPS工程控制网的数据处理。

数据处理论文:高中物理实验数据处理中误差理论的应用研究

摘 要：本文主要分析了误差理论在高中物理实验数据中的重要性，阐述了误差理论的具体应用，最后总结了误差理论对物理实验的作用，旨在加强误差理论在物理实验数据中的应用，促进学生对物理的真正认识和理解。

关键词：高中物理实验；数据处理；误差理论；应用

一、误差理论应用的重要性

首先，高中物理实验中的实验是真实存在于现实生活中的，但是仍然必须经过一些严谨的操作步骤才能够完成验证。为了确保实验的正确性，通常会采用大量的数据来证明，数据的可靠性必须达到一定的标准。然而在实验过程中，由于一些不确定因素的影响，常常会让实验数据产生误差，这种误差通常是不可避免的，但是对于实验又有一定的影响。为了让实验准确性更高，必须在实验原理没问题的情况下，科学地使用误差理论的原理来解决这个问题。在物理实验中，误差的存在有其必然性，而实验者对误差的分析也是实验的一个重要环节。

其次，误差理论在物理实验数据处理中有着重要作用。误差理论和实验数据处理属于考试高频考点，但是实验数据处理相对而言不容易被忽视，而误差理论往往容易被忽略，教师在讲解相关理论知识和题目时，对误差理论知识一笔带过，学生掌握得也不够透彻，处于似懂非懂的状态。因此当实验过程中出现误差时，学生容易将误差归结到偶然性的误差和系统的误差上，没有深入研究和探索实验真正存在的问题，对学生处理物理实验数据并没有帮助。另外，在高中物理学习阶段，学生对误差的理解停留在“误差的存在是正常的，不需要对误差进行研究和计算”，这是因为学生对于误差理论没有进行定量分析，从而将误差理论和实验数据理论分割开，实际上这二者是紧密联系的。

最后，误差理论实际包含了许多物理实验数据的处理方法，不仅是对误差的分析，也有严密的法则方便对数据进行处理，主要被广泛应用于工业生产中。而在考虑和处理问题的方法中，误差理论也常常被用到，尤其是处理高级数据，可见误差理论与物理实验数据处理有着不可分割的关系，合理、科学地运用误差理论，能够在高中物理实验数据处理中发挥重要的作用。

二、高中物理实验数据处理中误差理论的具体应用

1.力的平行四边形定则验证实验

力的平行四边形定则验证实验是高中阶段一项重要的基本实验，在实验过程中，需要获得的是：两个共点分力相同作用效果和实际的测量数据的合力，是否和这两个共点力构建的理论合力符合，两个共点力应用的原理是平行四边形定则。这个实验涉及实验的测量数据和理值之间的误差，在合理的误差范围内，两者的合力相同，那么印证了平行四边形的定则。这个实验需要的材料有木板、橡皮、白纸等，原理是如果两个作用力F1和F2的作用效果和一个力F的作用效果一样，那么力F就是F1和F2的合力。实验过程中，由于误差的存在，F1和F2与合力F很难完全相同，数值甚至可能相差甚远，此时教师需要及时引导学生，观察实验过程中的小细节，争取将误差降到最低，确保实验的准确性，完成实验的验证过程。

经过研究分析，误差的来源可能有以下三个方面：第一，运用平行四边形的定则进行作图时，由于作图不准确产生的误差；第二，弹簧测力计没有调零；第三，在使用弹簧测力计时，弹簧外壳与纸张的摩擦以及弹簧与外壳的摩擦造成的误差。

2.探究匀变速直线运动的实验

实验中，匀变速直线运动涉及测量加速度的方法，加速度是一个极为抽象的概念，如果教师简单地通过理论教学，学生不能够将其概念理解得很透彻。因此教师可以通过直观的方式进行实验教学，如通过打点计时器和纸带，将加速度转化为较直观和可以进行测量的具体数值。在实验过程中，教师应该引导学生在加速度实验设计中分析误差，选择合适的实验参数，从而降低误差。误差理论的应用在一定程度上能够培养学生对待实验严谨和细心的态度。教师在这个过程中，通过误差理论教学，提高学生分析问题和误差的能力。在匀变速直线运动实验中，小车带着纸带在轨道上做加速运动，穿过打点计时器会留下一连串的数据点。通过逐差法计算出小车运动的加速度

T是打点计数器的周期，为了让学生处理数据更方便，这里一个周期为五个时间间隔。S1、S2、S3…是纸带上相邻的点的距离，学生可以通过测量得出相邻距离。实验的误差主要有两个部分：第一，测量位移；第二，测量时间。降低纸带测量的误差，能有效提高小车加速度的准确性。

综上所述，误差理论应该广泛应用于高中物理实验数据处理中，让实验的结果和过程更加合理化、科学化，准确性更高，让学生彻底明白误差理论知识的概念，增强学生分析物理实验数据的能力，提高学生处理数据的能力，以后能够以严谨的态度对待相关物理实验。

数据处理论文:正点地面观测数据维护中异常数据处理

摘 要：调整地面气象观测资料报文传输方式后，值班人员应将逐时观测的气象要素数据信息在正点后借助地面测报业务软件“正点地面观测数据维护”来检查观测数据，一旦有异常或错误出现，应及时分析和处理疑误数据，做好自动气象站观测数据质量控制。

关键词：地面观测；数据维护；异常数据；处理对策

科学技术水平快速提升推动了我国气象事业发展和进步，对观测资料完整性、实用性和时效性提出了更高要求。在实际观测工作中，采集的各个气象要素数据质量受外界因素影响较大，降低了自动台站观测资料使用价值。一旦发现观测数据异常，可凭借日常工作经验及时分析处理疑误信息，以增强自动气象站观测数据可用性，提升地面气象观测业务质量。

1 基本操作要领

为方便正点时刻进行地面观测工作，在维护软件中设置正点观测值和小时内分钟观测值实时对比功能。当焦点经过当前时次相对湿度、气温、降水量和本站气压等气象要素对应单元格时，工作人员按住“Shift”键，右击对应单元格，该时次内相关气象要素逐分钟观测数据信息和对应曲线图就会显示在“分钟降水量”窗口上方。

台站整点时刻会编发加密天气报和天气报，应在正点时刻点击OSSMO软件对应整点地面观测数据维护功能，在正点5min内将人工观测气象要素数据信息输入系统内，还要认真检查录入数据信息是否完整，若自动台站不能正常运行，应第一时间实施科学合理人工干预。在非天气报或加密天气报时次，观察自动站逐时采集数据情况，当软件运行中有异常，认真分析并针对性处理，同时保存，控制质量完成后会生成新的长Z文件。

取消天气报后，当新型自动气象站观测气象要素值异常时可通过人工方法来干预，单击“数据维护”下拉菜单中“正点地面观测数据维护”，进入界面后在OSSMO窗口中同时点击“Ctrl+T”键，在“正点地面观测数据维护”中查看人工观测数据和本时次相关统计、自动气象站观测数据、应急加密观测、累积降水量值，以滚动表格方式将与本时次统计值相关所有观测资料信息罗列。

2 正点地面观测数据维护中异常数据处理

2.1 数据输入异常

2.1.1 降水量输入

通过人工方法录入降水量数据信息，若“正点地面观测数据维护”窗口上有“降水天气现象无编报降水量”信息提示，此时无法录入降水量数据信息，删除对应天气现象编码信息后根据正确顺序录入即可。

2.1.2 云的输入

可以正确输入云量数据信息，但不能输入云状态时，应检查输入模式是否为英文；如果有“云高不能为空！”提示信息，应在现有云高栏中输入正确云高数据后删除编报栏中云量信息，结合本站实际决定是否删除云高信息。因输入方式错误引起的软件异常也可关闭软件不保存数据信息，再重启业务软件，按正确方法输入气象要素数据信息，有效避免异常。

2.2 记录超出历史极值

2.2.1 观测数据超过极值

在正点地面观测数据维护中，一旦发现气温、气压、相对湿度、降水量数据超过极限值，要通过人工方法J真审核气象要素数据信息，将正点观测气象要素数据和逐时分钟内观测数据信息进行比较，借助操作软件判断气象要素合理性，若发现气象要素值变化与客观规律相符的正常数据信息，在发送数据信息后并做好保存。

2.2.2 地温等其它要素超过极值

若地温等要素值超过极值，应查看逐分地面观测数据文件，分析分钟内数据文件是否合理，如果分钟数据跳变异常而不能使用或超过气候学界限值时，可按缺测处理。要科学合理设置软件中地面审核规则库数据，预审人员可结合预审报表中超过历史极值可疑信息，在审核规则库中设置合适极值。

3 降低地面正点观测数据异常的对策

3.1 做好观测仪器设备维护

做好观测仪器设备保养和维护，确保新型自动气象站长时间稳定运行。新型自动站仪器设备为较敏感元器件制成，在建站选址时，应选择在电磁干扰程度较小区域，避免电磁信号干扰影响地面观测工作。

3.2 做好恶劣天气下地面测报工作

新型自动气象站观测仪器设备运行过程中受恶劣天气影响较大，可借助于先进观测仪器设备加强对特殊天气掌握程度，了解恶劣天气条件对观测仪器设备的危害，采取有针对性防御对策。

3.3 升级测报软件

应做好备份工作并及时保存相关数据信息，详细了解升级后测报软件内容，通过可靠软件网站进行升级，做好补丁安装，防止因软件升级失败造成观测数据信息丢失。

3.4 数据备份

应高度重视数据备份工作，做好新型自动站正点地面观测数据维护，防止观测气象要素数据信息异常。做好人工监测工作，真实、全面记录气象要素数据信息。将20h作为1周期，由测报人员将备份工作做好，一旦发现观测数据异常，可录入备份数据信息。

数据处理论文:大数据时代下的电力自动化系统数据处理

摘 要：我国电力市场发展度较快，电力系统也正逐步向自动化迈进，并且在运行过程中产生了大量数据，我们将其称之为"大数据时代"。本文主要阐述了电力自动系统在运行过程中产生的具体数据情况，并分析了基于大数据时代背景下如何做好电力数据处理工作。

关键词：大数据时代；电力自动化系统；数据处理

电力自动化数据的处理工作中，要针对不同的数据类型以及系统不同部分对数据的不同要求建立起对应的系统数据资源处理体系。通过建立并整合综合数据库、完成电力系统安全防护规范、形成完善的调度数据体现功能等实现对电力自动化系统中数据的有效处理。

一、电力自动化系统的类型分类

1.基础型数据：主要是与电力自动化系统中的电力设施设备属性相关的数据，如，发电机、变压器等电力设施设备的基础数据。对于这些数据一般是电力单位根据相关的数据规划各自进行管理，并通过相关数据服务器对其数据进行数据同步，便于调度中心对这些数据进行集中存储、整理和相关计算。

2.实时数据：大多数是在电力系统运行过程中进行实时采集的数据，其数据量很大，对存储空间的要求比较高。这些数据是在电力系统运行过程中产生的，通过对其进行纠错处理后，能够为调度部门或市场运营提供决策参考依据。目前，我国电力自动化系统在实时数据处理方面比较成熟，对收集到的实时数据不需要进行相关的处理，只需要在数据输入、输出过程中建立一个稳定的接口即可。

3.日常管理的数据：主要是在电力系统运行过程中对各种相关数据进行统计，各部门对在工作中遇到的问题进行相关处理后的数据信息。一般情况下，这些数据只需要在特定的范围内进行同步和共享即可。在电力系统运行过程中，建立这一类型数据同步和共享的数据平台是十分必要的。主要原因表现在以下几个方面：①这些日常管理的数据在某种程度上反映电力系统中电力设施设备的运行情况；②方便电力系统中各个部门对日常管理数据的获取，以便更好的开展部门工作。

4.市场经济数据：随着市场经济的发展，电力系统的经济效益越来越突出，电力系统运行中的相关数据对电力单位的发展具有重要影响，将其作为经济性数据十分有必要。市场经济数据对城市建设规划中的电力规划有很重要的决策参考依据。市场经济数据具有非常大的扩展空间，其数据规划的重点将是实时数据。

二、电力系统化系统中数据的获取

电力系统化系统中数据的获取就是整个数据的采集过程。在电力自动化系统中，主要包括了数据采集、数据处理以及数据转发三个环节。在电力系统中，实现数据传输是进行数据获取与采集的重要目的。在进行数据传输过程中，可以采用有限传输与无线传输两种方式进行。在采用有限传输的过程中，主要通过使用电缆或者光纤进行传输。而在无线传输过程中，则可以使用微波或者无线扩频的方式进行传送。由于有限传输信号稳定可靠，因此，在电力自动化系统当中主要是使用有线传输方式。但是，由于无线传输方式能够减少线路的铺设工作量，而且在较为偏远的地区能够方便的采集数据，而使得其在部分地区得到广泛应用。

三、电力自动化系统中的数据处理

3.1数据共享

数据共享的主要方式主要包括以下几种：（1）内存数据库。利用内存数据库有着安全性高、访问速度快和结构灵活的特点，但是也存在着一些问题，那就是其开放性较低。（2）利用网络进行通讯。网络通讯的方式有UDP、TCP、IP等，在对数据进行打包发送的过程中，网络通讯的方式相应速度较快，而且数据在处理的过程中，使用的是二进制的方式，这种方式在编程的时候较为复杂。（3）直接内存访问。利用直接内存访问的方式进行共享，有着传输速度较高、进入的速度较快的特点，但是在数据处理的过程中，对于整个系统的安全性会造成一定的影响。电力自动化系统使用的是DCOM技术来进行内存数据库的访问的，例如，远程主机在进行数据共享的过程中，可以使用网络映射的方式将远程主机进行映射，使其映射到本地的磁盘中，这样是便于数据的下载与更新的。

3.2数据流

数据流也是电力自动化系统运行中十分重要的组成部分，在数据处理中扮演着关键性得角色。随着计算机技术和网络技术的快速发展，数据流呈现出了连续性、顺序性和实时性，整个过程的起点是在数据进入到了系统中开始，而数据在流动的过程中，那么信息的流动策略就会与整个系统的功能有着紧密的联系。随着电力自动化技术的不断提高，电力系统在运行的过程中，数据量在逐渐的增加，整个系统结构也变得越来越复杂，必须要对相应的数据量进行科学的分析，这样才能够合理的部署，提高数据传输的效率，使数据流在运行的过程中，能够充分的保证其可靠性、安全性和实时性。数据流技术在处理的过程中，一定要将接口的统一性进行相应的处理，在这样的情况下，就要充分的解决各个子系统之间的在接口统一性上的问题。

3.3电力自动化系统中的数据整合

电力自动化系统的建立及发展是基于“建立调度综合数据应用与交换平台，规范和整合调度系统数据”的基本要求，通过数据让你过河、功能完善等方式使得不同的专业技术以及信息安全技术在系统中得到应用和体现。同时，电力自动化系统的整合工作必须基于国家电网调度系统的数据整合原则及基本工作框架进行。当前，系统建设的主要目标在于建立一个综合数据库、形成一个与电力二次系统安全防护要求相一致的信息交换体系，实现通用调度数据的体现。在具体的实施过程中，可以采取如下步骤进行：（1）基于既有系统开发多种分散数据的采集与整合工具，形成统一数据规格的管理规范，建立一个基于对象的数据处理数学模型，进而实现系统信息的相互关联，实现信息区域的管理中心。（2）利用通用调度数据展现技术给电力自动化系统用户提供便捷的数据分析、加工及理途径。同时，开发并实现基于用户自定义规则的调度数据综合处理信息系统，实现对数据的重复利用。（3）开发横向调度数据接口技术，通过完善并统一对外调度接口的方式，避免出现数据多重交叉的以及重复输出问题。（4）形成上、下级纵向调度数据的标准接口，构建起广域范围中的金字塔式形式的立体数据体系。

四、智能电网

1.智能电网中的网络拓扑结构

智能电网中的网络拓扑结构具有坚强、灵活的特点，能够有效的解决电力系统中能源和生产力分布不均匀的问题，满足电力企业大规模生产运输过程中产生大规模数据的处理功能，实现资源的优化配置，减少电能损耗。同时，智能电网中的网络拓扑结构能够有效的应对一些自然灾害，如雨、雪等。

2.开放、标准、集成的通信系统

智能电网能够对电力自动化系统进行及时有效的监控，主要在其具有识别故障早期征兆的预测能力和对故障做出相关的相应的能力。智能电网是电力自动化企业的发展方向，能够为电网规划、建设和运行管理提供全面的数据信息，有利于大数据时代下电力自动化运行系统的稳定、安全和高效的运行。

结语

自动化系统的正常运行，一定要充分考虑到系统运行中数据信息的数量信息，便于数据的维修和存储空间的无限扩展。文章主要是分析了自动化系统的数据类型，并且对其进行了详尽的分析，对于相关问题进行了阐述，给电力自动化系统提供了更加广阔的空间，并探究了智能电网在电力自动化运行系统中运行的优势和未来的发展方向。

数据处理论文:大数据处理平台比较研究

摘要：大数据环境下，传统的数据处理方式不再适用，以云计算技术为支撑的大数据处理平台应运而生。比较了开源Hadoop和Spark平台各自的优缺点，发现各自的适用范围：Hadoop适用于数据密集型任务，并广泛应用于离线分析；Spark因其基于内存计算，在迭代计算和实时分析领域占据优势。二者在功能上有较强的互补性，协同使用可以发挥更大效益。

关键词：大数据平台；Hadoop； Spark；比较研究

1大数据处理平台

1.1大数据特点

目前，大数据还没有一个标准定义，但是把握大数据的特征，有助于加深对大数据内涵的理解。数据具有的3V特征，即规模大（Volume）、种类多（Variety）、速度快（Velocity）。规模大，意味着数据量不断扩张，数据量级从现在的GB、TB增长到PB、EB甚至ZB级；种类多，指数据类型有结构化、半结构化和非结构化，其中文字、图片、音频、视频等非结构化数据占很大比例；速度快，表示大数据有强时效性，数据快速产生，需要及时处理及分析才能实现大数据的经济价值。 大数据的处理过程为数据抽取与集成、数据分析以及数据解释 [1]。巨量的数据往往也意味着噪声较多，这给数据清洗工作造成困难。传统的关系型数据库处理对象单位通常为MB，适合处理存储结构化数据，而面向大数据的数据库技术能够解决海量的非结构数据存储问题。传统的数据分析方法以算法的准确率作为重要的衡量指标，而大数据的高速性要求算法必须牺牲一部分准确性以更高效地处理数据。

1.2大数据处理平台

为从规模巨大、种类繁多、生成快速的数据集中挖掘价值[2]，针对大数据的技术和方法应运而生。GFS、NoSQL、ITHbase、MapReduce等云计算技术发展，使大数据有效存储、管理和分析成为可能。但从众多复杂的大数据技术中进行选择，并搭建完备的大数据处理框架难度很高，不利于挖掘大数据中的经济价值。大数据平台能在用户不了解架构底层细节的情况下，开发大数据应用程序。全球领先的科技巨头纷纷提出了建设与应用大数据处理平台：IBM公司推出了云端版InfoSphere BigInsights[3]；HP推出了HP Vertica6.1分析平台[4]；Google提出的GFS、MapReduce等云计算技术催生了大数据处理平台的事实标准Hadoop。目前，Google使用的是自己开发的Caffeine[2]；Facebook结合自身需求实现了Corona、Prism。完备、高效的大数据处理平台为大数据应用提供一站式基础服务，支持应用系统从清洗、集成、分析到结果可视化展现全过程建设，降低了用户技术门槛[5]。

2大数据处理平台比较

Hadoop的支撑技术（MapReduce等）成熟，实现了海量数据分布式存储和批量处理，应用广泛，成为大数据处理平台的事实标准。Spark以其近乎实时的性能和相对灵活易用而受到欢迎，它同Hadoop一样都是Apache旗下的开源集群系统，是目前发展最快的大数据处理平台之一。

2.1Hadoop与Spark比较

2.1.1Hadoop及特c Hadoop是由Apache开发的开源云计算平台，实现在大量计算机组成的集群中进行分布式存储和计算。Hadoop框架最核心的技术是HDFS和MapReduce。HDFS是可部署在廉价机器上的分布式文件系统，采用主/从结构，将大文件分割后形成大小相等的block复制3份，分别存储在不同节点上，实现了海量数据存储。MapReduce编程模型实现大数据处理，它的核心是“分而治之”[1]。Map任务区将输入数据源分块后，分散给不同的节点，通过用户自定义的Map函数，得到中间key/Value集合，存储到HDFS上。Reduce任务区从硬盘上读取中间结果，把相同K值数据组织在一起，再经过用户自定义的Reduce函数处理，得到并输出结果；将巨量资料的处理并行运行在集群上，实现对大数据的有效处理。 Hadoop具有如下优点[69]： （1）高扩展性。Hadoop的横向扩展性能很好，海量数据能横跨几百甚至上千台服务器，而用户使用时感觉只是面对一个。大量计算机并行工作，对大数据的处理能在合理时间内完成并得以应用，这是传统单机模式无法实现的。 （2）高容错性。从HDFS的设计可以看出它通过提供数据冗余的方式提供高可靠性。当某个数据块损坏或丢失，NameNode就会将其它DataNode上的副本进行复制，保证每块都有3份。所以，在数据处理过程中，当集群中机器出现故障时计算不会停止。 （3）节约成本。首先，Hadoop本身是开源软件，完全免费；其次，它可以部署在廉价的PC机上；“把计算推送给数据”的设计理念，节省了数据传输中的通信开销。而传统的关系型数据库将所有数据存储起来，成本高昂，这不利于大数据产业发展。 （4）高效性。Hadoop以简单直观的方式解决了大数据处理中的储存和分析问题。数据规模越大，相较于单机处理Hadoop的集群并行处理优势越明显。 （5）基础性。对于技术优势企业，可以根据基础的Hadoop结合应用场景进行二次开发，使其更适合工作环境。比如，Facebook从自身应用需求出发，构建了实时Hadoop系统。 Hadoop系统局限性 [1011]：①不适合迭代运算。MapReduce要求每个运算结果都输出到HDFS，每次初始化都要从HDFS读入数据。在迭代运算中，每次运算的中间结果都要写入磁盘，Hadoop在执行每一次功能相同的迭代任务时都要反复操作I/O，计算代价很大。而对于常见的图计算和数据挖掘等，迭代计算又是必要的；②实时性差。Hadoop平台由于频繁的磁盘I/O操作，大大增加了时间延迟，不能胜任快速处理任务；③易用性差。Hadoop只是一个基础框架，精细程度有所欠缺，如果要实现具体业务还需进一步开发。MapReduce特定的编程模型增加了Hadoop的技术复杂性。

2.1.2Spark及特点 Spark的整个生态系统称为BDAS（伯克利数据分析栈），包括Tachyon、Spark Streaming、Spark Core、MLlib等。其核心框架Spark是为了实现大数据的快速处理而设计的，可以用来构建低延迟应用。Spark以RDD（弹性分布数据集）为基础，实现了基于内存的大数据计算。RDD是对数据的基本抽象，实现了对分布式内存的抽象使用。由于RDD能缓存到内存中，因此避免了过多的磁盘I/O操作，大大降低了时延。Tachyon是分布式内存文件系统，类似于内存中的HDFS，基于它可以实现RDD或文件在计算机集群中共享。Spark没有自己的文件系统，通过支持Hadoop HDFS、HBase等进行数据存储。Spark更专注于计算性能，其特点如下[1113]： （1）高速性。Spark通过内存计算减少磁盘I/O开销，极大缩小了时间延迟，能处理Hadoop无法应对的迭代运算，在进行图计算等工作时表现更好。高速数据处理能力使得Spark更能满足大数据分析中实时分析的要求。 （2）灵活性。较之仅支持map函数和reduce函数的Hadoop，Spark支持map、reduce、filter、join、count等近80多种操作类型。Spark的交互模式使用户在进行操作时能及时获得反馈，这是Hadoop不具备的。Spark SQL能直接用标准SQL语句在Spark上进行大数据查询，简单易学。尽管在Hadoop中有Hive，可以不用Java来编写复杂的MapReduce程序，但是Hive在MapReduce上的运行速度却达不到期望程度。

2.1.3Hadoop与Spark特点比较分析 Hadoop具有高扩展性、高容错性、成本低、高效性、不适合迭代运算、实时性差、易用性差等特点，与之相比，Spark最突出的特点是高速性和灵活性，基于这些特点分析总结如下：Hadoop更注重存储性能，而Spark更专注于计算，可以形象地将二者的处理方式比作“大砍刀”和“剔骨刀”，前者可以胜任更加繁重的任务，但难免粗糙，后者则胜在快速、灵巧上。

2.2Hadoop与Spark应用场景比较

2.2.1Hadoop应用场景 Hadoop的高扩展性、高容错性、基础性等优点，决定了其适用于庞大数据集控制、数据密集型计算和离线分析等场景。针对Hadoop的局限性，为提高Hadoop性能，各种工具应运而生，已经发展成为包括Hive、Pig、HBase、Cassandra、YARN等在内的完整生态系统。HBase新型NoSQL数据库便于数据管理，Hive提供类似SQL的操作方式进行数据分析，Pig是用来处理大规模数据的高级脚本语言……这些功能模块在一定程度上弥补了Hadoop的不足，降低了用户使用难度，扩展了应用场景。

2.2.2Spark应用场景 与Hadoop不同，Spark高速、灵活的特点，决定了它适用于迭代计算、交互式查询、实时分析等场景，比如，淘宝使用Spark来实现基于用户的图计算应用[11]。但是，其RDD特点使其不适合异步细粒度更新状态的应用[1]，比如，增量的Web抓取和索引。RDD的特点之一是“不可变”，即只读不可写，如果要对RDD中的数据进行更新，就要遍历整个RDD并生成一个新RDD，频繁更新代价很大。

2.2.3Hadoop与Spark的互补竞争关系 Hadoop与Spark同榇笫据处理平台，必然在市场中存在一定的竞争替代关系，二者在功能上有较强的互补性。Hadoop解决了如何将大数据储存起来的问题，Spark在此基础上考虑的是更快速、易用地实现大数据分析，这点从Spark仍采用HDFS作为文件系统就可看出。它们适用于不同的应用场景，有时协同工作会达到更理想的效果，在Spark和Hadoop的许多发行版（如CDH、MapR、InfoSphere BigInsights）中，它们都已经互相支持实现。

3结语

本文分析了大数据的3V特点，论述了大数据处理与传统数据处理的不同，指出了传统处理方式在大数据环境下的局限性。通过分析常用的大数据处理平台，并分析Hadoop和Spark的核心技术，对其优缺点进行了归纳。Hadoop实现了海量异构数据的存储和处理，虽然在处理速度和易用性方面存在缺陷，但由于它的基础性还是得到广泛应用，企业可根据自身应用特点进行改进。虽然Spark不适合异步细粒度更新状态的应用，但在处理性能和易用程度上较Hadoop优势显著，发展也十分迅速。通过比较两者的优缺点，可以发现它们在功能上有较强的互补性，协同使用可以带来效益优化。目前Spark和很多Hadoop发行版都已经互相支持。期望本文对大数据处理平台的选择、利用和研发有所启发。

数据处理论文:公路工程试验检测的数据处理与分析

[摘要]为了确保公路工程的质量，需要在施工的各个环节实行试验检测工作，在材料、施工工艺和技术、工程验收等方面进行检查，形成的数据资料经过分析和处理，是公路工程质量的重要保障。本文着重分析介绍试验检测的数据处理以及相关分析。

[关键词]公路工程；数据；试验检测；分析和处理

在施工中要保证建筑材料不使用劣质产品，施工工艺和技术是否符合工程建设标准，工程的实用性是否满足投入使用后的需求，都需要专业的试验检测来验证和把关。在我国大多数公路工程中，试验检测在其中都发挥重要的监督和鞭策作用。对于试验检测的数据要进行科学客观的处理和分析，得到最公正的检测试验报告，工作人员要认真履行试验检测职责，为公路工程的质量负起责任。

1.公路工程试验检测数据分析

在进行公路工程试验检测数据的相关分析时，要注意选择正确有效的分析方法。数据分析需要大量的精密运算、绘图与建立表格来开展数据的分析。工作人员要掌握专业的W科知识，并灵活运用于试验检测工作当中。根据精密运算和解析得到的重要参数以及图表等分析依据，才能为工程的各项施工技术和功能去粗存精，找出问题发生所在以及制定整改措施。

1.1图示法

概括来讲，图示法就是应用图形具体表现检测数据，能够使人们清晰的看出函数的变化趋势和规律。但图示法仍有它的缺点，在图形中不能很清晰的表现函数关系，使得无法进行精确的科学分析。如果用图示法对数据进行处理，首先要准确把分度值、名称和有效数字的位数等重要数据标注在坐标轴上，在书写过程中，要尽量将文字的书写方向和坐标轴保持平行。第二点值得注意的是，要让测量数据的精度和记录分度相对应，作图时一定要采用平滑曲线的连接方法，坚决杜绝绘制成一条没有任何意义的工程折线，而是要使其成为一条平滑曲线。

1.2表格法

表格是一种直观、全面的工具，对于试验检测工作来说，表格法是通常在实际工作中使用的方式，企业的报表、工程各项参数以及各项试验数据都可以转化为表格的形式表现出来，让人一目了然，清晰陕速的了解事物的属性和重要数据分析。但是，在表格法的使用过程中我们发现了一些问题：表格是一种标准设计，其内容和重要的数据都放置于规定的方格内，空间有限，如果有其他重要的数据，就会出现遗漏或者错漏，导致试验检测的数据分析出现问题，精确度下降，对于事物的了解虽然迅速高效，但是只能做到初步粗浅的理解，深入的反映事物的关联和内在联系是很难通过表格呈现出来的，在施工中就无法进行很好的衔接，会造成施工环节的不连贯，给施工进度造成一定的影响。表格法所呈现的数据虽然简易明了，通俗易懂，但数据都是孤立性的存在，表格无法体现我们通常需要的一般线性规律，其重要程度大打折扣，虽然通过表格数据分析可以知道工程检测的结果，但相关的具体分析和前因后果都无法做到全面的了解和补充。

1.3经验公式法

我们在绘制完成曲线后，可以很直观的发现它与一些特定函数有相似之处，我们把这种与曲线对应的函数称之为经验公式。实际上，要想简明扼要的表达所有数据之间的关系，最简单的方法就是用一个公式来表达，这样可以直接得到自变量和应变量的关系。

2.公路工程试验检测的误差处理

2.1误差的来源

公路工程的试验检测数据要求精确精准，但是在实际检测工作中，工作人员发现误差是无法避免的，专业知识扎实、检测经验丰富的工作人员也会发生一定概率的误差，再精密的检测设备和仪器都会发生理论上的误差，更何况是人了，所以数据误差的来源是由于工作人员或者设备仪器的本身误差造成的。而在大多数试验检测数据分析和处理工作中，出现一定范围内被允许的误差是正常的。但是检测人员要全力避免误差的扩大，避免对检测结果造成不良影响，延误施工进度。

2.2误差的表示

误差有两种最基本的表达方式，即绝对误差和相对误差。绝对误差指的就是实际测量值和真实值之差。在具体工作中，我们通常把用精度较高的仪器设备测量得到的数据称为实际值。实际值比较接近真实值，所以用它来替代真实值。绝对误差要有单位，要与被测值的单位保持一致，然后是用绝对误差表示实际偏差，但是却不能够得到误差的精确程度。所以，相对误差不单能够表示绝对误差，还能表示精度，同时还可以表示误差的方向。

2.3误差的处理与分析

尽管误差很可能出现或者已经存在于检测结果中，也是有办法可以进行补救的，最常用的办法就是多次进行重复的试验检测，将每次的检测结果进行对比和整理，依靠数学中的统计学原理进行取值，以此方法得到的数据就会更加可靠和准确。在一般情况下误差是普遍存在的，而很有可能是人为过失的因素酿成的，而不是检测设备或者仪器本身存在的误差率造成的，因此，要进行重复试验，找出错误所在，排除第一次错误的数据，然后进行多次试验验证，直到满足检测需求的准确结果。在检测工作中应该全力避免人为失误或犯错导致的数据误差，这就要求检测人员不断提高自身素质和检测水平，检测机构也要加大对硬件设备和先进仪器的维护保养，创造更加专业和适合检测工作的环境氛围。

3.结语

试验检测的数据处理与分析是检测结果的基础和来源，而数据分析的准确度关系到检测结果的公正性与客观性，在工作中要避免误差，保证准确度，从公路工程施工的角度考量，也需要一份专业精准的检测数据来衡量施工技术水平和工程质量的高低，所以，检测机构和人员要不断提升检测能力，增强业务素质和专业技能。

数据处理论文:大数据处理技术在智能电网领域中的应用研究

【摘要】 文章首先对智能电网和大数据处理技术进行了简介，进而分析了智能电网的大数据特点，最后提出了大数据处理技术在智能电网领域中的具体应用。

【关键词】 大数据处理技术 智能电网 具体 应用

前言：随着我国工业的高速发展以及居民生活的丰富化，目前我国的电力行业取得了巨大的发展，跨区联网的规模处于不断扩大中。而就电网结构而言，也处于不断复杂的趋势下，存在的不稳定因素也越来越多，使用中的风险以及故障的机率特增加了很多。进而大数据分析处理技术得以在电网中使用，实现了电网管理的智能化，提升了电网使用的稳定性和安全性。基于此，文章围绕大数据处理技术在智能电网领域的应用为中心，分三部分展开了细致的分析探讨，旨在提供一些该方面的理论参考，以下是具体内容。

一、智能电网和大数据处理技术简介

1.1智能电网

所为智能电网指的是以基本的物理电网为基础，通过应用目前的现代信息技术、通信技术以及计算机处理技术等技术，同时和传感测量技术一控制技术进行结合，进而形成的一种高度集成的新型电网。智能电网在电网运输的安全性和可靠性上都于很大的保障，同时从功能上观察，也具备电网实时信息的处理、分析、集成、安全以及显示等诸多功能[1]。

1.2大数据处理技术

所谓大数据处理技术就是对数量庞大的数据进行分析和处理的技术。目前主要使用的大数据处理技术都是基于互联网的云处理技术的，在社会中的各行各业中均有得到了广泛的应用。

二、智能电网的大数据特点

2.1规模大

就智能电网所产生的大数据而言，其首先存在的一个特点即规模大。在电网的不断发展过程中，其负荷节点和电机节电会不断增加，再加之电网和负荷之间的双向交互因素的影响，就会大大增加电网数据的量，M而所产生和需要储备的数据也就随之大量增加[2]。

2.2速度快

因为在电网的运作过程中，负荷的波动具有极大的随机性，因此在电网的随时监测工作上所产生的随机性就很大。而电网一旦出现故障，导致的进一步事故发展的速度很快，并且造成的事故损失也会很大，因此智能电网的大数据也具有速度快的特点。

2.3多样性

多样性也是电网所具备的一个特点之一。因为智能电网在运作过程中，所涉及到的面很多，因此其所产生的数据，包括内部数据、外部数据等多个方面的数据，其种类十分繁多。

三、大数据处理技术在智能电网领域中的具体应用

3.1支持基建决策

首先大数据处理技术在智能电网的基建决策中起着十分重要的作用。例如可以通过大数据处理技术对电网基建地的天气系统数据进行细致的剖析，并且和电网企业的发电机数据进行综合分析。进而根据企业所累积的数据以及天气系统所提供的风速、风向以及气温、气压湿度等数据作为基础数据，并采用数据建模技术，对这些因素可能导致的对电力的影响，进行模式运算，最后得出电网基建的最佳位置[3]。

3.2进行客户分析

其次在智能电网中，大数据处理技术还被广泛的应用于对客户的分析工作中在电网的运作过程中会产生大量的用户数据，而通过对这些数据的分析和归类可以对电网用户群体有一个清晰的认识，进而就可以展开针对性营销，对于提升电网企业的市场竞争力具有重要的意义。

3.3实现协同化管理

从整体上观察，对于电网企业而言，其在市场中的运作并不仅仅只涉及到电网企业一家，和市场的诸多行业均有一定的涉及，因此要保障电力企业的发展就必须和其他行业的企业做好协同工作。通过大数据处理技术的应用可以提升行业之间的联系，进而可对行业的前景有一个动态的了解。而这不仅仅局限于电力企业一家，同时对其他和电力行业密切相关的企业也有十分巨大的影响，可促进电力企业的内外共同发展。

结束语：综上所述，智能电网指的是以基本的物理电网为基础，通过应用目前的现代信息技术、通信技术以及计算机处理技术等技术，同时和传感测量技术一控制技术进行结合，进而形成的一种高度集成的新型电网。其在自身的大数据上具有规模大、速度快以及种类多样的特点。而大数据处理技术在智能电网领域支持基建决策、进行客户分析、提升智能控制以及实现协同化管理等多个方面都有十分广泛的应用，是保障智能电网运作稳定性和安全性的一个基本技术。

数据处理论文:检重机称重信号的数据处理研究

[摘 要]动态称重是指通过称重设备获得商品的重量。静态称重是固定在称重设备除了商品本身没有其他干扰，所以更容易得到准确的称重值，而动态称重设备更适合快节奏的称重需求。本文首先简要介绍了动态称重的原理，对称重设备的信号采集与数据处理进行了分析研究。

[关键词]称重机；信号；数据处理；研究

使用重型机器设备有：预输送机，称重输送机，剔除下输送机的三部分。称重输送机称重，称重输送机由支撑称重输送机的传感器输送和称重。称重系统收到传感器的称重信号后，得到商品的重量值，然后根据袋装商品的允许误差，对位于剔除输送机上的商品进行剔除或者不剔除处理。

1 动态称重系统工作原理

商品放置在称重平台上时，称重传感器由于压力而变形，传感器内部的电桥平衡被破坏，输出的mv信号和承载的压力与接收到的信号结束时成正比，称重传感器收到收尾信号时说明商品称重完毕，称重设备将信号传输给电子称重仪器并放大传感器信号，通过A/D芯片将转换为数字模拟量，称量仪器后数字滤波器得到商品的实际值，然后通过串口到IPC机主机程序。

1.1 动态系统硬件组成

动态称重系统的组成包括：称重传感器（中航ZEMIC称重传感器）、称重仪表、光电开关、PLC控制仪、数据对比设备等。其部分彼此之间的融合，分别负责将自己的信息传送给PLC控制器，然后由仪器和工业计算机连接确定相关信息。原理图如图1所示。

1.2 PLC控制仪

电子称重仪器是动态称重系统的核心部件，相当于动态称重系统的“大脑”。 主要负责接收传感器数据和其他部件的信息以及控制。基本工作流程为：电子称重仪器接收称重传感器信号、称重传感器信号放大、A / D转换为中央处理器进行刻度转换等；传输给PLC控制器；若合格气缸停止；若不合格传动链停止气缸动作。

2 动态称重设备信号采集

有效信号处理的前提是信号采集准确，信号采集的重要性非常显着，与计算机和传感器蛄接。在称重传感器中使用的动态称重系统，时间轴和振幅轴的输出是连续的模拟量，电子称重仪器在接收模拟信号时需要先对信号进行调节处理，即0-10mv的信号转换为0 -5mv电压信号，然后将模拟负载信号转换为数字信号，这就要求电子称重仪表A/D模块进行处理。

该系统采用EPC系列PC/104嵌入式工业主板，具有接口完整、功耗低、可靠性高、资源丰富等优点，采用8/16位PC/104扩展总线，可稳定运行宽温度范围广泛的工业应用。用于信号采集的模块采用PCM-8208BE，它是基于PC/ 104总线的高精度模拟输入数字输入和输出。主要功能是：8条模拟输入通道；内置6个可调PGA；输入范围为±10V至+0.25 V可选；高达4KHZ采样率；内置1024深度FIFO；具有AD转换中断；可以直接读取单个采集数据组，并具有8个隔离数字输入和8个隔离隔离数字输出的形式。

PCM-8208BE广泛应用于工业现场传感器多通道信号高精度采集。该系统采用PCM-8208BE可以捕获现场的模拟信号功能，实时检测称重传感器信号，通过简单的过滤器对电子称重仪进行进一步的信号分析。

3 称重信号数据处理方法

3.1 加权平均值算法

对于传感器信号的n次连续采样，分别由大到小的加权系数的系列，然后加上有效采样值，这种方法称为加权平均法。每个加权因子要求小于1，所有加权系数的累积值为256，加权运算结果除以256可以很容易地计算出来。假设从数据依次开始，将总共8个采样存储在存储器单元中，所有加权因子都存储在ROM表中，滤波结果保留在累加器A中。

加权平均算法简单，应用范围广泛，但不适用于动态称重传感器信号的处理。当待处理信号被振动扰乱时，结果不能表示商品重量信号的真实值。而加权因子选择不能固定，每次计算都必须根据实际情况选择适当的加权因子，无人值守动态称重系统显然不适用。

3.2 平均值算法

算术平均值滤波方法基于从称重传感器收集的数据。该算法的特征在于，当采样次数少时，波形平稳度不够好；采样次数大时，波形灵敏度降低，系统参数趋势不明显。假设共有8个样本，样本值从DATA开始存储在连续地址单元中，滤波结果存储在累加器A中。在实际应用中，商品通过的时间段很短，因为自身的振动或外部干扰因素的影响，这种算法不能信号的时频域来解决，这让该信号处理方法已不能满足我们的要求。

3.3 傅立叶变换滤波法

传统信号分析的基础是傅立叶变换，这种方法被广泛应用，尤其是信号处理方面和量子物理。假设是的周期函数且满足化里赫利条件：

（1）在任意区间内连续或只有有限个第一类间断点；

（2）在一个周期内，只有有限个极大值或者极小值点；

（3）在单个周期内绝对可积。

由于主要研究了动态称重系统的振动，所以收集的信号是非线性的，非周期性的信号，这就需要在信号分析过程中对频域信息进行分析，但傅立叶变换算法完全没有波形中的时域信息，为了满足动态负载信号处理的需要，可以使用可翻译的窗口函数到原始信号窗口，删除我们称为短时傅里叶变换。傅立叶变换的思想即选择一个窗口函数来获取一段原始信号，如果截获信号是稳定的，则使用傅立叶变换来确定窗口内信号的频率。沿着波形曲线移动窗口函数会给出信号频率随时间的变化，即我们需要的时域分布。STFT算法有两个困难：一是窗口函数的选择，一个是窗口函数长度问题的选择，因为动态称重信号是非线性非平稳信号。

傅立叶变换将概念从一个空间域建立到另一个空间域，从时域或频域的角度对信号进行分析，但也是由于时域和频域信息不能有机地结合的特征，这不是适用于动态称重信号的非平稳信号分析。我们使用短时傅里叶变换来分析频域信息，而不会丢失时域平面中的信号信息。短时傅里叶变换计算简单，可以有效分析非平稳信号。

3.4 小波变换法

小波变换是基于短时傅里叶变换定位思想的新算法。小波变换不仅可以避免不能跟随频率变化的窗口大小的缺点，还可以提供频率变化的“时频”窗口。 小波算法可以分析和处理诸如称重信号的复杂非平稳信号的时间和频率。WT变换中的小波可以是具有有限持续时间的函数，以及突变的频率和幅度，平均值在有限时间范围内。小波变换是基本的小波函数位移，然后在不同的尺度a中用测量信号XW做内积，即：

式五中，称为尺度因子，其作用是对基本小波做伸缩，是位移值。通过调整的该值可用于观察不同时间段的本地信息。 通过调整比例因子a，假设a的调整较大，则视野宽分辨率低，适合观察信号的一般情况。假设a值的调整相对较小，视野窄且分辨率高，适合信号局部信息观察，这种粗细信号分析方法称为多分辨率分析法。

4 结语

本文介绍了信号处理模块的硬件结构，信号采集和处理。然后，通过描述几种常用的信号处理算法来提出称重传感器的非平稳信号数据处理方法，为寻求更高精度，更具成本效益，更可靠的动态称重设备提供借鉴。

数据处理论文:MAPGIS在地质填图及化探数据处理中的应用

[摘 要]在本文中，笔者以MAPGIS技术的应用特点与可实现功能为论述切入点，详细分析了该技术在地质填图与化探数据处理工作中的实际应用情况，旨在为后续的地质工作提供科学参考依据。

[关键词]MAPGIS技术；地质填图；化探数据处理；应用

前言

在当前我国城市化进程持续推进的时代背景下，地质工作的重要性日益凸显，地质工作的环境也日趋复杂，此时，地质技术人员所要应对的地质填图、化探数据处理等具体工作的难度会随之提高，而传统的地质工作技术已远不能满足实际工作的发展需求[1]。为了提高地质工作质量、优化地质填图及化探数据处理准确性，同时进一步加快实际成图速度，相关技术人员则应积极将现代化的MAPGIS技术用到地质填图及化探数据处理中，以数字化、信息化处理手段全面促进地质工作效率的提升。

1.MAPGIS技术的应用特点与可实现功能

MAPGIS技术属于当前最为先进、前沿的地质测绘技术，在该项技术的应用过程中，相关技术人员可轻松实现地质测绘工作的自动化或半自动化，同时，其测绘数据主要以数字化形式呈现，其测绘结果较为规范、测绘精度高且作业速度快误差小相对较小。MAPGIS技术还集成了定位、导航、测量的综合功能，可以将实际工作中所收获的地质数据进行高效的分析、计算、存储等，有效提升了数据管理的工作效率。此外，MAPGIS技术中最为鲜明的特点就是融入了MAPCAD成图功能，技术人员可以利用这一功能轻松实现图幅快速提取、多源图像处理以及图库建立修改等复杂操作。从操作系统上说，MAPGIS技术具有优良的开放性与多层次性，技术人员可以通过编辑ActiveX、VC++、VB、Delphi以及API等函数实现DC Server、RSP、TDE、IG Server以及EMS操作平台的运行在系统辅助工具方面，MAPGIS技术也具有十分强大的特性功能，嵌入式工具、GIS工具、矢量数据处理工具、遥感数据处理工具均能在实际地质工作起到重要的辅助服务作用[2]。与传统的地质测绘技术相比，MAPGIS技术可有效克服地质工作量繁重的难度，并在有效保障数据处理与地质填图质量的同时最大程度地满足当前地质工作需求。

2.MAPGIS技术在地质填图中的运用

地质工作中的地质填图主要是指运用一定的比例尺、按照统一的规范技术要求，将各种地质体以及相关的地质现象在地理地图上进行填充描绘，最终再进行一定的整理加工使之形成地理地质图。地质填图不仅关系这地质图的准确性与信息质量，更会影响到实际的地质找矿工作，但由于填图区地质地貌情况往往相对复杂，所有收集的地质资料较为繁琐，因此，在技术人员的实际地质填D工作中，其工作量与复杂性也相对较高[3]。相关工作实际表明，在地质填图工作中积极应用MAPGIS技术，便可实现对上述问题的轻松解决。具体来说，在应用MAPGIS技术时，技术人员应先以GPS对所观察的地质进行定位，再将具体的观察点投放指矢量地图中进行填图操作。通常情况下，GPS定位形成的文件数据可以存放在EXCEL文件里，当要运用到GPS定位数据后，技术人员则可以通过文本转换实现对数据的即时编辑，此后，数据编辑完成后则可以利用文件批量生成功能讲GPS点位添加到已经矢量化的地形图中。其中，在进行GPS数据转换操作时，所处理的第一行数据一般定性为定位属性字段，这一字段并不能够作为数据转换的起始位置，因此，技术人员一般会将第二行作为数据起始位置，同时，根据具体的情况适当地设置分隔符，并以工作设置合适的读取方式，设定详细的图元参数并生成图像结构。值得注意的是，所应用到的GPS数据必须要符合相应地理地质信息的实际情况，在选取适当读取方式以及合理设置分隔符的情况下保障所生成地质填图的结构质量与数据准确性。

3.MAPGIS技术在化探数据处理中的应用

化探数据处理属于地质工作中的重要组成内容，更是地质研究中不可或缺的一个重要环节，在这一工作中，相关技术人员可以完成对地球化学数据的分析、解释以及加工等重要工作，并为地质找矿、资源勘探等诸多地质工作提供准确而科学的参考依据。由于化探数据处理难度相对较大，在进行相关数据处理过程中又极易出现分析偏差事故，传统的地质信息处理技术已经难以满足化探数据处理工作中复杂性与专业性需求，此时，积极应用更为先进、高效处理技术的重要性也不言而喻[4]。对于MAPGIS技术而言，其融入的DTM模块与GRD模块对提升系统化探数据处理性能具有极大的促进作用，技术人员只需要在原始的化探数据背景值上确定好相关的化学异常分布图后，就能够通过DTM模块实现地形模型的自动绘制与形成，同时，DTM模块还能自动进行量测值计算，无论是地质化学元素含量值还是地质特征信息都能够依靠该模块的数据处理功能得以全面反映。具体来说，技术人员可以先对采样点文本文件进行批量生产收集，利用“投影转换”使得点位文件转换为点位投影文件，此时，将点位数据文件通过DTM模块打开后以GRD模块进行离散数据分析，最后实现成图输出这一化探数据处理效果。

4.结语

MAPGIS技术是未来地质工作发展主流方向，该技术集成了前沿的地理信息处理系统软件平台，含括GPS、GIS、数字制图以及数据库管理等一系列功能，在地质勘查、地质测绘、地质找矿、城市规划以及建筑测量等诸多领域均具有优良应用价值。此外，在地质工作中应用MAPGIS技术不仅能够有效提升地质工作效率与工作水平，更能够为地质工程项目提供勘察误差低、准确性高的优质地质信息。

数据处理论文:一种面向航天领域的实时数据处理框架研究

【摘 要】提出一种面向航天领域的实时数据处理框架，采用插件式框架设计方法，实现行业数据的高效实时处理。

【关键词】实时；数据处理；框架

1 引言

信息与通信技术的飞速发展，已深刻影响到航空、航天、能源、钢铁、电力等工业领域的生产模式与流程，促使行业生产模式由传统的粗放式的以人工为主向精确化、自动化、智能化方向转变。通过信息系统对工业生产过程中产生的大量数据进行实时处理分析，实时监控，为生产决策提供自动化智能化的数据支撑。

航天领域的实时数据处理一般以实时传感与实时采集的数据为数据源，包括各类传感器采集的数据、现场各类控制终端的数据等，数据量大，数据采集的频率高。特别是随着物联网概念的出现与技术的应用，航天领域实时产生的数据量在成倍增加。随着云计算与大数据等IT技术的出现与发展， 互联网领域中产生了诸多数据处理框架，如Hadoop、Spark等，此类框架采用批处理方式的MapReduce技术，实现海量数据的实时处理，数据处理的延时一般为秒级，能够满足互联网领域大部分数据实时处理需求。但在工业领域，由于监测与控制的精度更高，一般要求在毫秒级完成数据的实时处理，现有批处理方式的MapReduce大规模数据处理技术难以满足此类计算需求。本文提出一种面向行业应用的实时数据处理框架，实现满足多种数据源、多种数据类型的实时数据处理。

2 数据处理方法

在航天领域中，测量系统作为飞行器、航天测控系统中的重要组成部分，用于获取飞行器内部各系统的工作状态参数和环境数据，为评定飞行器的性能和故障分析提供依据[1]。而数据处理是测量过程中的一个重要环节，其任务是将接收到的原始信息，经过挑路、拼接和运算，完成各类参数的处理，处理结果以时间函数值表或时间函数曲线提供[1]。数据处理包括从数据块中提取数据帧、对数据帧进行后处理、处理数据帧中的参数、输出处理结果。

3 实时处理框架设计

3.1 软件框架的概念

软件框架是整个系统或系统的一部分的可重用性设计，由一组抽象出来的类及其实例间的相互作用方式组成。框架把一个系统有机地分解成一组相对独立的构件，并定义了各个构件间的接口和作用关系，符合软件工程中设计的模块化、独立化和信息隐藏等特征。框架提供了一个大粒度的重用技术，即不仅支持源代码级的重用，而且支持分析和设计以及体系结构的重用，因而被认为是一种最有前途的面向对象技术。

框架必须是健壮的、可扩展的、灵活的，它要求基于开放或共享标准。框架的设计要力求做到完备性、灵活性、可扩展性、可理解性，同时抽象能用于不同的场合；用户能轻松地添加和修改功能，定制框架；用户和框架的交互清晰，文档齐全。框架设计的一个核心问题就是发现可重用的设计和“热点”，以保证框架具备充分的灵活性，使用户能在已有构件的基础上生成应用程序，实现“零代码编写”的理想目标。

3.2 实时处理框架设计原则

实时处理框架设计采用框架与插件相结合的设计方式，把数据处理各功能从框架中剥离出来，降低框架的复杂度，让框架更容易实现。数据处理功能与框架以一种很松的方式耦合，两者在保持接口不变的情况下，可以独立变化和。采用该设计原则，具有以下好处：

①无需更改或编译程序就可以扩展程序的功能；

②可以在不需要源代码的环境下扩展程序的功能；

③在一个程序的业务逻辑在不断发生变化仍能灵活适应。

4 实时处理框架实现

4.1 框架接口

框架对各插件进行统一管理，软件启动时，自动识别并加载指定目录下的所有插件。框架共抽象出数据提取器、帧提取器、数据处理器、输出器共4类插件接口，各类插件需要实现相应类型的插件接口，才能被框架正确的调用。框架与插件之间的关系如下图所示。

4.2 框架实现

程序框架包括主程序模块、数据源模块、缓冲区管理模块、数据处理模块、状态管理模块、配置管理模块、插件管理模块与日志管理模块共8个模块。主程序模块负责管理各模块中的对象，并完成各对象的创建与初始化工作。通过调用数据源与数据处理模块的启动与停止接口实现对两个模块的控制。数据源模块通过调用缓冲区管理模块的写入数据接口向缓冲区中写入数据，数据处理模块调用缓冲区管理模块的读取数据接口从缓冲区中读取数据进行数据处理。各模块均可调用日志记录模块的记录日志接口写操作日志或错误信息。

主框架模块类关系如下图所示，main函数是整个软件的入口函数，调用日志录模块中的相应接口完成日志初始化工作，并将命令行参数传递给CMainApp类，调用CMainApp类的Execute接口启动软件。

CMainApp类通过ProgramOption对象解析命令行参数，获得命令行中设置的各个选项，创建插件管理模块中的CPluginManager对象，完成所有插件的加载工作，并将CPluginManager对象传递给CMultiAddrDataSource类，调用CProgressTimer类的对象实现程序计时工作。

4.3 插件实现

数据处理软件总体框架采用插件式架构，抽象出数据提取器、帧提取器、数据处理器、输出共4类插件接口，插件采用统一接口设计，每一个插件均是实现了标准接口的动态链接库（Windows平台为.dll文件、Linux平台位.so文件），由插件管理器进行统一管理，实现自动识别与加载。实时处理框架根据系统配置创建若干个数据处理线程，根据配置中插件的类别，数据处理线程对象向插件管理器请求创建插件服务，生成所需的各插件，各插件相互协作，完成数据处理与输出的功能。