大数据应用论文

导言：作为写作爱好者，不可错过为您精心挑选的1篇大数据应用论文，它们将为您的写作提供全新的视角，我们衷心期待您的阅读，并希望这些内容能为您提供灵感和参考。

大数据应用论文:医疗卫生系统中大数据的应用

摘要：近年来医疗卫生信息化发展迅速，医疗卫生领域也迎来了大数据时代的潮流。简述了医疗卫生系统中数据资源现状，分析了通过大数据平台构建临床决策支持系统、提高医药产品研发效率、疾病监控防治等方面的应用前景。

关键词：大数据；医疗卫生系统

1数据管理问题

医疗数据是持续、大量增长的大数据。根据估算，中国一个中等城市50年所积累的医疗数据量就会达到10PB级。并且，随着时间的推移和业务系统的不断升级换代，医疗数据模式的一致性也无法保证。因此，每天都会有大量的数据持续不断地导入区域医疗数据中心，并且每当有数据模式的更改，相关的历史数据也需要做相应的调整。由于医疗数据是多种数据源数据的汇总，医疗数据是关系复杂的多维数据。医疗数据的多维度多粒度为各种信息服务的多角度多层次分析提供了可能，但同时也为大数据分析带来了挑战。Hadoop基于开源分布式数据处理平台，通过特殊的方式组织网络级数据，可以解决数据存储水平扩展的挑战。利用MapReduce并行处理批量事务的能力，从多个数据源（主要是医疗机构的各个业务系统）抽取数据、转换格式、并导入基于HBase的数据存储模型。使用Hadoop进行多维分析，利用数据平台中多维数据非结构化的特征，将大量冗余的维度信息整合到事实表中，可以在冗余维度下灵活地改变问题分析的角度。并结合Hadoop,MapReduce强大的并行化处理能力，无论分析中的维度增加多少，开销并不显著增长，不会显著影响分析的性能。

2大数据应用

2.1构建临床决策支持系统

临床决策支持系统可以提高工作效率和诊疗质量。通过分析疾病的模式和趋势，临床决策支持系统分析医生输入的条目，比较其与医学指引不同的地方，从而提醒医生防止潜在的错误，如药物不良反应。通过部署这些系统，医疗服务提供方可以降低医疗事故率和索赔数，尤其是那些临床错误引起的医疗事故。共享的医疗大数据分析技术将使临床决策支持系统更智能，首先，大数据中心存储的海量、高维和非结构化的数据能够被检索，由于对非结构化数据的分析能力的日益加强，从而获取更多的决策支持信息。比如可以使用图像分析和识别技术，识别医疗影像(X光、CT、MRI)数据，结合患者的电子病历信息，得到辅助的治疗信息。或者挖掘医疗文献数据建立医疗专家数据库和医学知识仓库，为医生提供一个决策和清单，在录入症状和检验结果后，做是非判断等集合算法，根据不同病种，建立决策树算法，逐渐得出诊断结果和治疗方案，为医生的临床操作提供建议，防止医生忽略可能存在的罕见疾病，防止误诊。此外，临床决策支持系统还可以使医疗流程中大部分的工作流流向护理人员和助理医生，将常规的医生问诊程序化和模式化，结合检验化验等技术手段，医生只需参与最后的决策和治疗环节。使医生从耗时过长的简单咨询工作中解脱出来，从而提高治疗效率。

2.2提高医药产品研发效率

2.2.1预测建模

医药公司在新药物的研发阶段，可以通过数据建模和分析，确定最有效率的投入产出比，从而配备最佳资源组合。模型基于药物临床试验阶段之前的数据集及早期临床阶段的数据集，尽可能及时地预测临床结果。评价因素包括产品的安全性、有效性、潜在的副作用和整体的试验结果。通过预测建模可以降低医药产品公司的研发成本，在通过数据建模和分析预测药物临床结果后，可以暂缓研究次优的药物，或者停止在次优药物上的昂贵的临床试验。除了研发成本，医药公司还可以更快地得到回报。通过数据建模和分析，医药公司可以将药物更快推向市场，生产更有针对性的药物，有更高潜在市场回报和治疗成功率的药物。

2.2.2提高临床试验设计的统计工具和算法

使用统计工具和算法，可以提高临床试验设计水平，并在临床试验阶段更容易地招募到患者。通过挖掘病人数据，评估招募患者是否符合试验条件，从而加快临床试验进程，提出更有效的临床试验设计建议，并能找出最合适的临床试验基地。比如那些拥有大量潜在符合条件的临床试验患者的试验基地可能是更理想的，或者在试验患者群体的规模和特征二者之间找到平衡。

2.2.3临床实验数据的分析

分析临床试验数据和病人记录可以确定药品更多的适应症和发现副作用。在对临床试验数据和病人记录进行分析后，可以对药物进行重新定位，或者实现针对其他适应症的营销。实时或者近乎实时地收集不良反应报告可以促进药物警戒(药物警戒是上市药品的安全保障体系，对药物不良反应进行监测、评价和预防)。或者在一些情况下，临床实验暗示出了一些情况但没有足够的统计数据去证明，现在基于临床试验大数据的分析可以给出证据。

2.3基于大数据的疾病监控防治

大数据的使用可以改善公众健康监控。首先，随着移动互联网现在的不断发展，越来越多的用户开始选择把业务和使用习惯都转移到了移动端，那么，在基于海量数据用户搜索的社交APP以及LBS等技术层面，可以建立结合原有疾病监控系统中的流行疾病法定报告数据、流行疾病病例，结合疾病、环境数据，及时发现并绘制出流行病风险地图。在基于搜索数据和LBS数据方面，分析不同时空尺度人口流动性、移动模式和参数进一步结合病原学、人口统计学、地理、气象和人群移动迁徙、地域之间等因素和信息，建立流行病时空传播模型，确定流感等流行病在各流行区域间传播的时空路线和规律，得到更加准确的态势评估、预测。并且，通过医疗云和大数据中心，公共卫生部门可以通过覆盖全国的患者电子病历数据库，分析疾病的模式和趋势快速检测大规模传染性疾病进行全面的疫情监测，并通过集成疾病监测和响应程序，快速采取措施进行响应。这基于大数据的疾病监控防治能使传染病感染率降低，卫生部门可以更快地检测出新的传染病和疫情。通过提供准确和及时的公众健康咨询，将会大幅提高公众健康风险意识，同时也将降低传染病感染风险。大数据共享在疾病监控防治中可以做到以下几点：

（1）提前确定一定规模的未知疾病，为疫情控制争取时间。传统检测无法监测到任何没有临床症状的病例的，这些经验在医院的临床经验中都是空白。但大数据可以通过医院的共享信息以及搜索监控指定地区的用户的频繁搜索关键词，可以检测到某个地区已经出现的疫情。比如不明原因的肺炎，某地餐馆让多少人出现呕吐腹泻等异常状况等，然后再通过与疾病控制中心的病毒库中的病毒分析，寻找吻合的病毒，进行比对分析将其找出，为判断疾病赢取时间。建立大数据中心后，疾病预防可以真正在第一时间内去判断出疫情的病毒源，进而为控制争取时间。疾病监控防治的目的是及时制止其传播的范围，而大数据则是目前唯一的也是最佳的途径。

（2）判断人员流向，控制疫情。在疫情发生后，虽然国家可以第一时间控制住当地疫情，但是人员流动则是无法控制的。利用大数据的监控分析就能监测到传染源区人员的主要流向目的地，疾控中心可以拿出对应的医疗技术和对应的治疗药品以及疫苗来防治，第一时间赶到相应地点，实施接种疫苗，这样一来就减少了盲目的广撒网式的全面布局情况，通过大数据分析的提供人员流动数据，让控制疫情在效率上大幅度提升。

（3）传播动力学模型建立。拥有了大数据的全面监控后，疾控中心也就有了更多的实践支持，就可以开始真正从实践中建立有关疫情的复杂动态网络的传播动力学。

作者:林青 单位:西安培华学院

大数据应用论文:4G移动网络的大数据与云计算技术应用

摘要：

本文通过对云计算以及4G网络的定义和特点进行分析，提出了在4G移动网络平台上采用云计算技术处理城市智能交通系统中的大数据问题，主要是结合二者的优势分析智能交通系统的功能，并加以实现，这将给缓解交通压力、提高行车效率等提供便利。最后对未来智能交通系统开发与应用进行展望。

关键词：4G网络；大数据；云计算；智能交通；交通云

随着人们生活水平的提高，汽车逐渐进入到普通家庭，这无疑对道路交通的要求也越来越高，为提高道路行车效率，迫切需要建设一个高性能的智能交通系统（IntelligentTransportationSystems，ITS），以满足大家的需求。

1智能交通系统的概念

智能交通系统（IntelligentTransportationSystems，ITS）指的是建立在较完善的基础设施之上，将先进的信息技术、计算机处理技术、数据通讯传输技术、电子传感技术及电子控制技术等有效组合在一起，并运用于整个交通运输管理体系中，从而能够在大范围、全天候发挥作用，建立起的一种准确、实时、高效的综合运输和管理系统[1]。依据智能交通系统的概念，我们可以看出，为了解决社会不断增加的交通需求与有限的道路资源之间的矛盾，使有限的道路资源能被充分利用，提高人们的出行效率，保障人们出行安全，智能交通系统作为信息、通信、传感与控制技术综合运用的产物，能给人们带来便捷。但目前，我国城市交通仍面临着许多严重问题，如成都，作为西南地区的一个大型城市，虽然其承载能力越来越强，路网体系也日趋完善，但随着汽车保有量的强劲增长，道路供需关系依然非常严峻。据成都市交管局数据显示，截至2014年3月，成都地区的汽车保有量突破268.59万辆大关，中心城区突破114.18万辆，这个数据仅次于北京。而且成都已月均增2万新车，并持续了62个月。一天就会产生数百亿条GPS数据，而车牌识别信息、交通监控视频信息等数据量更大，交通相关的数据量也早以从TB级跃升到PB级[2]，因此，如果要实现对城市道路的交通流量信息、交通状况、交通违法行为等的全面监测，特别是承担在交通高峰期采集、处理及分析大量的实时监测数据的工作，整个平台的运行压力将会非常巨大，大数据（bigdata）就此产生，大数据分析交通除了流量及车辆的相关信息外，还必须包括路面情况、天气、突发情况、周边环境等诸多因素，传统的交通数据分析法已很难有效处理如此庞大的数据的问题。城市智能交通应具备的特点和需求分析如下。

1.1数据信息海量化

整个城市的交通行为主体作为城市智能交通的分析对象，海量数据必然成为固有特性。

1.2应用负载变化大

城市交通流特性呈现出区域关联性强，随时间变化大的特点，系统需要根据实时的交通流数据，做出全面采集、分析、处理等。而传统的智能交通方案由于无法在全局上统筹，往往会因此陷入彼此孤立的情形。

1.3高稳定性和高可用性

只有要求城市智能交通系统具有高可用性和高稳定性，才能更好地、更快捷地提供畅通、安全、高品质的行程服务，以保障交通运输的高安全、高时效和高准确性，让政府、社会和公众感觉到方便。而目前的很多方案中，由于各生产厂商繁杂、设备类型众多、质量参差不齐，而国内也缺乏统一的标准，这样不仅系统维护成本高，而且也很难做到保持智能交通系统的高稳定性。

1.4数据共享需求

目前，正在建设中的智能城市交通系统，大量的终端设备出自不同的厂商或不同平台，这样就形成了许许多多的信息孤岛，彼此间很难实现共享数据。这在很大程度上影响了系统功能的充分实现，智能交通系统在硬件、接口上应做的统一，从而使行业信息资源的全面整合与共享成为智能交通发挥整体方案优势、整体统筹资源、统一协调的基础。

1.5信息实时处理性能要求高

随着城市交通的拥堵日趋严重，人们在出行时要求能随时随地通过熟悉的方式获取所需的出行计划和实时的出行信息，因此，未来的智能交通需要满足高效性、实时性的要求。

2大数据与云计算技术对智能交通系统的影响与应用

云计算（cloudcomputing）是将计算任务分布在大量互联的计算机构成的资源池上，使各种应用系统能够根据需要获取存储空间、计算力和各种软件服务，该资源池被称为“云”。“云”是指一些可以自我管理和维护的虚拟计算资源，通常包括宽带资源、计算服务器、存储服务器等大型服务器集群[3]。而云计算（cloudcomputing）是一种基于互联网平台的计算方式，为计算资源提供全新的计算模式，其服务方式可动态、伸缩且虚拟化，云计算技术还会将所有的计算资源汇集在一起，并通过软件实现对资源的自动高效管理。这使用户能更加专注于自己的业务，无需为繁琐的处理细节感到烦恼。云计算技术之所以能有效处理和应对交通数据量大、可用性高、稳定性要求高、信息实时处理要求高、应用负载波动大、数据共享需求大等问题，并能实现应用的灵活性，高效整合资源，降低运维成本和总能耗，很大程度上是源于其自身的高可靠性、弹性扩容性好、快速部署及按需服务的特性。云计算技术以其高度的信息部署、优异的扩展性以及自动化IT资源调度，成为解决智能交通面临的问题的关键技术手段，成为一种全新概念的信息服务模式，有助于智能交通系统的快速实现。建设基于“云计算”的智能交通系统，要实现交通信息的动态采集、分析、处理及，并及时向用户提交动态交通信息，报告路况动态变化信息，指导用户出行计划，规划用户行车线路，从而有效提前进行分流拥堵流量，从而提高交通通行效率[4]。其具体应用如下。

（1）城市中的车、人或设备等每个交通终端节点，均可以实时地通过交通云得到基于整个城市交通信息智能分析后提供的服务。

（2）通过综合整个城区的交通流信息及汽车的运行计划信息，每个交通信号灯都得到高效控制，并在面控、立体多维的基础上进行相关预测；城市交通引导系统也可以与交通信息个性化服务进行无缝结合。

（3）为了更智能地提高交通运行效率，拓展一个智能交通信息服务市场，运营商要相应地通过手机基站定位，向用户提供实时的交通信息服务，这些信息与交通控制、引导相结合。随着移动通信网络的发展，从早期的2G网络到3G网络，再发展到当前的4G移动通信网络，4G网络使图像视频传输更加稳定，决策也更具有时效性，并为智能交通系统提供了更多应用的可能，移动网络在智能化交通信息系统中的运用日趋娴熟、准确，使智能交通系统真正、全面、高效地服务于社会，为缓减交通压力做出了更大的贡献。移动网络技术还有效地为智能交通系统的发展提供了新的发展思路。

34G移动网络的网络结构的核心技术及优点

3.14G移动网络的网络结构的核心技术

4G移动网络体系结构从下往上可分为物理网络层、中间环境层、应用网络层。正交频分复用（OFDM）技术是这一代移动通信网络的核心技术，该技术可以为用户提供速率高、时延小的数据交换服务，能达到下行50Mbit/s与上行100Mbit/s的峰值速率。OFDM技术特点包括：具有良好的抗噪声性能及抗多信道干扰能力，可扩展网络结构。

3.24G移动网络的优点

3.2.1通信速度高、灵活性好4G移动通信系统速率可以高达到l00Mbps，甚至是150Mbps。由于4G网络不仅是面向手机，还面向智能手表、控制器、眼镜等移动智能终端设备，这些终端设备极大丰富了人们的生活，使通信变得更加灵活多样。

3.2.2系统兼容性好未来的4G移动网络要面向全球发展，可以预测4G移动网络一定会开放出更多标准化的接口，并与全世界各种网络进行高速通讯、互联。

3.2.3网络采用宽频谱4G移动网络的每个信道会占有100MHz的频谱，是3G移动网络的20倍左右。

3.2.4通讯费用低目前，很多3G移动网络用户之所以能方便地过渡到4G移动网络进行通信，是因为4G移动网络与3G移动网络的兼容性较好，且4G移动网络的系统采用灵活的操作方式。在加上4G移动网络通讯费用相对较低，为4G移动网络的快速部署创造了条件。

3.2.5网络通信质量高4G移动网络通信时代是高质量通信的时代，与3G移动网络通信技术相比，4G移动网络通信技术将在很大程度上提升大数据的交互、处理能力，特别是跟云计算技术的结合，大大提高了效率，4G移动网络让广大人们拥有了前所未有的、便捷的移动网络交互体验，面对越来越复杂的网络环境，通信质量也得到了较好的保障，4G移动网络通信也能满足3G移动网络通信尚不能覆盖的区域。

4基于云计算的智能交通的关键技术

上述的需求，使大数据与云计算技术成为城市智能交通系统的重要支撑。为了有效地将云计算技术与跟4G网络相结合，提升信息传递的准确性和可达性，还需解决以下几个主要技术问题。

4.1最优路径规划问题

云计算技术在智能交通系统中的另一个重要应用是智能交通系统中的最优路径规划，它在各类应急系统及车辆路径导航系统中具有重要作用。智能交通最优路径规划是以交通运行数据为基础，在云计算数据中心对各交通影响因素进行分析、处理和判断后，再通过短讯、车载终端、GIS电子地图等各类终端帮助信息，为道路的使用人员提供最优路径，引导信息及各类实时交通帮助服务信息，以提高车辆的通行效率及行车安全。

4.2智能交通流预测与出行引导问题

基于云计算的智能交通流预测与出行引导可通过物联网对交通流量数据进行实时采集，对这些数据进行分析和快速处理，以便对道路交通流进行实时动态判别和准确预测，从而正确指导用户出行，这样必须建立起智能交通流量采集数据库及非结构化的数据库。

4.3智能交通事故预警处理问题

道路交通中的突发事故严重影响城市道路交通运行的安全性和可靠性，因此，面对突发事故，必须快速做出反应，提出处理预案，然后对其进行有效、及时地处置。基于大数据分析的交通事故应急处置方案的形成，是通过物联网技术快速采集和分析交通突发事件及整个道路流量信息，迅速地进行事故故障处理，并及时发出预警信息，提前、有效和安全地疏散车流，达到不影响交通正常运行的目的。

5我国智能交通系统发展趋势

众所周知，我国4G移动网络牌照已经发放，围绕4G移动网络的各项业务也快速展开，但目前，网络通讯费用并没有下降，这对基于4G移动网络智能交通系统的开发与使用具有较大影响，相信随着4G网络的普及、通信环境的改善、资费的下调，大数据的交互平台将有望在许多移动设备（如手机、平板电脑）上实现，云计算技术也将得到更广泛的应用。例如，未来的智能交通系统将会出现自动驾驶系统、大数据与智能交通、生态智能交通系统、移动互联网与智能交通等。近年来，基于移动网络智能终端的与交通相关的APP得到飞速发展，因而，移动互联网技术在人们出行中的作用将越来越大。

6结语

基于4G移动网络的大数据和云计算技术的智能交通系统是一个复杂的系统工程，它涵盖了网络构建、信息采集、系统集成及应用开发等多方面内容，同时也涉及城市交通运行管理中的许多领域。要在4G移动网络平台上加快推进大数据和云计算技术在城市智能交通系统中的研究及应用，必须不断加强技术革新、保障云安全、完善基础设施建设，并将政府构建的基础性开放平台与引导科研机构、高校、企业参与应用研发相结合。

作者：邓波 黄同成 刘远军 单位：邵阳学院信息工程系

大数据应用论文:高校管理会计大数据的应用

2015年1月，“管理会计之中国实践”走进高校第一站（北京大学站）在北京大学光华管理学院成功举办。研讨会的主题是“大数据时代，CEO需要怎样的管理会计”，会上财政部会计司副司长刘光忠强调了管理会计的重要性，并指出管理会计不仅适用于企业，也适用于行政事业单位。作为理论界的先行者和行政事业单位的典型代表，高校在注重管理会计的同时，还要充分发挥大数据在管理会计中的作用。大数据是网络信息技术发展的产物，具有数据量大、价值高、更新快、类型多的特点，人们通过新技术对大数据进行处理分析，从中提取出有价值的信息，这些信息为相关机构做决策分析提供数据支持，有利于增强决策正确性，提升自身竞争力水平。近几年我国高校的办学规模日益扩大，高等教育越来越大众化，高校与高校之间关于招生、就业、发展的竞争不断加剧。高校要想在竞争中提升自身竞争力水平、实现长远稳定的发展目标，就必须善于利用大数据这一工具，让大数据在高校的管理中发挥作用。管理会计为高校领导作决策提供参考建议，而大数据可以为管理会计提供巨大的数据支持，只有在高校满足一定的前提条件之后，才能更好地把大数据应用在高校管理会计中。

一、大数据在高校管理会计中的应用前提

（一）增强高校领导对大数据与管理会计关系的认识

高校领导在学校的日常管理中起着模范带头作用，领导重视的问题、强调的内容，是全体干部队伍工作的方向和重点，全体方向一致才能完成目标。在信息化发展迅速的今天，要让管理会计在高校中真正发挥作用，需要高校领导意识到管理会计就是管理和会计的结合，管理会计人员呈现的不是单纯的财务信息，而是从校园大数据中提取的有利于领导决策的数据信息。国内国外的实践经验表明，管理会计对于管理的重要性已经不言而喻，作为高校的领导尤其要紧跟时代步伐，善于利用大数据加强管理会计的应用。一旦高校领导意识到大数据可以为管理会计提供数据支持，就会开始注重大数据在管理会计中的应用，那么从各二级学院到各行政部门都会贯彻执行具体应用，就能很大程度改进管理会计在高校的应用效果。在海量大数据的支撑下，管理会计提供的决策建议更具有说服力，领导作出决策再也不用靠直觉、凭经验了。

（二）注重管理会计人才的引入和培养

敏锐的洞察力、良好的沟通能力、专业的知识素养、严谨的职业修养是一个管理会计人员必备的素质。管理会计不同于财务会计，不是仅仅做账和处理数字那么简单，而是需要管理会计人员利用专业的知识素养对财务信息和其他信息进行统计分析，利用敏锐的洞察力洞察高校发展中存在的阻碍和优势、利用良好的沟通能力把分析出的数据、洞察的结果跟领导进行汇报，利用严谨的职业修养对一些需要保密的决策三缄其口。当今时代下，大数据对管理会计的应用产生了很大影响，而且大数据理论与技术在逐渐发展，管理会计理论与体系也逐步走向成熟，更需要管理会计人才对大数据发展、高校发展进行全视角观察，保持清晰的逻辑思维方式对海量数据进行分析整理。所以为了更好地促进管理会计的应用，在招聘管理会计人才时高校要严格考察，逐步筛选出高素质、高水平的管理会计人才，随着市场竞争的变化，还需要定期对管理会计人才进行培养。

（三）引进并更新管理会计信息系统

现在管理会计已逐步实现了信息化，管理会计信息系统以现代管理科学和信息技术为基础，以财务管理和管理会计提供的模型为基本方法，把管理会计的实务操作与信息化系统结合，不仅可以实现信息传递的实时性，还能极大程度地节约物力人力。高校引进管理会计信息系统有利于管理会计工作的开展，在大数据作用于管理会计过程中，大数据的分析利用需要借助管理信息系统，而且随着大数据量的不断增加，对信息系统的要求也会越来越高，所以为了确保管理会计的应用效果，就要定期更新管理会计信息系统。

二、大数据在高校管理会计中的应用领域

在高校的行政管理中，即时报账产生的财务信息、随时变化的学费缴纳情况、新增科研项目的经费登记、基建项目的进度变化、资产的购置与报废情况变化、随时变化的水电费使用情况以及毕业生就业情况等构成了实时产生的大数据，这些数据信息对于学校的管理与发展来说具有很大价值。所以学校应根据信息化管理技术，建立一个涵盖财务处、审计处、资产管理处、科研处、教务处、基建处、发展规划处等部门的，并且与市场公开信息相连接的“大数据库”，确保学校行政管理各部门间信息的沟通与传达，为管理会计实现评价与分析提供基础。下文将详细分析大数据在管理会计中的预算管理、本量利分析、决策分析和绩效管理中的应用。

（一）预算管理中的应用

高校预算管理的效果决定了高校行政资金的使用效率，关系到高校年度内各项事业是否能正常运行。在编制预算时，有的高校根据“增量预算”方法编制，有的高校根据“零基预算”方法编制，还有部分高校采用“零基预算”与“增量预算”相结合的方法编制，这几种预算编制方法都不能解决超预算的支出问题，容易造成财务资金沉淀，不能适应目前高校教育事业发展的需要。“滚动预算”法是不规定预算的数额，在预算执行过程中，随着预算的执行不断延伸补充预算，逐期向后滚动的预算编制方法，利用这种方法编制预算加大了对预算监督的难度，所以在实际应用中较少用到。但是在当今信息化时代，对数据信息的实时掌握不再是一个不可及的目标，它可以促进高校使用“滚动预算”法编制预算，使用过程中可以将滚动周期缩短到以月或者周为单位，也可以根据各部门重大资金支出周期为单位，通过大数据库，实现周期性的对部门预算的审批与监督。在审批与监督过程中，要结合学校实际情况和市场公开信息进行分析，例如对于部门某资产的购置预算方案，要先结合部门情况分析其购置必要性和购置数量合理性，再结合市场同类价格信息分析部门报价是否合理，如果不符合这几项规定之一，该预算方案就不能审批通过。

（二）本量利分析中的应用

高校在确定年度招生计划时，可以采用本量利分析方法，根据生源总体情况、往年招生计划、学校容量等数据信息进行综合考量，结合学校的运营成本进行分析，确定最优的决策方案。假设学校的运营成本分为固定成本和变动成本，固定成本是不随学生人数增减而变化的成本，包括学校的教学楼、宿舍楼、图书馆等长期固定资产成本，教学设备设施等短期固定资产成本，学校维护安全的治安管理成本，学校职工的工资和福利等薪酬成本等；变动成本是随着学生人数的增减而变动的成本，包括学生的水费、电费，各院系的报刊费、电话费、网络费等。假设学校的收入总额是国家拨款和学费（假设没有校办企业和其他资金来源），那学校的盈利就是收入总额减去固定成本和变动成本后的差额，从理论上分析招生越多，学校的盈利就越多。但是高校终归是非盈利组织，不以盈利为目的，我们利用本量利分析的最终目的不是寻求利益最大，而是考虑如何在充分利用学校资源和保证生源质量的前提下，实现学校成本较小的目标。基于大数据资源库，高校可以充分利用学校的成本数据信息、学校容量数据信息，往年招生情况信息，历年分数线信息、历年各省名额分配信息等对招生计划进行综合考量，确立一个可以实现校园资源优化配置又能保证学校健康稳定发展的招生计划。

（三）基建决策中的应用

随着高等教育的大众化进程加快，高校扩建已成为一种必然趋势，但是在哪里扩建、如何扩建、扩建到什么规模则是需要高校管理者深思熟虑的问题。到底是在原来的校园内建设教学楼或宿舍楼等固定资产，还是另寻新址进行扩建；要怎样进行扩建，是教学楼、宿舍楼和其他教辅设施一起建设，还是分批次按重要性依次建设；到底扩建到什么规模，是不是扩建的越大越好等这些问题，可以根据大数据信息得到解决。在做这些决策时，高校要结合“大数据库”中的学校财务数据信息、招生计划信息、国家政策信息、融资渠道信息等进行综合考虑，做到不盲目扩建、有目的有根据的做出有利于学校发展的决策。

（四）重大采购决策中的应用

每年新生入学，学校都要大批量购置床上用品和学校校服，采购这些物资的原则都是质优价廉，采购方式多是招标。但是以往参与招标的供应商往往受限于地域范围，例如山东省的供应商不会到海南的高校进行招标，正如海南供应商也不会到山东省高校进行招标一样，这导致参与招标的供应商每年都是固定的几家，学校对于采购物资的议价能力不高，很大程度上加大了学校的采购成本。但是现在招标信息是完全公开信息，不管哪里的供应商都可以看到都能参与，学校也可以向产品质量较高但从未参与过学校招标的供应商发送招标邀请，这样参与学校采购物资招标的供应商就会增多，学校就有较大的议价能力，在诸多供应商中选择一家或几家为学校生产采购物资，节省学校的采购成本。在大数据时代，物流发展也同样迅速，完全不必担心生产厂家和高校间的距离，也完全不必担心远距离下的物流成本，可以结合几十家物流运输费用的信息数据进行选择，选择一家安全快速的物流公司进行物资运输。

（五）绩效管理中的应用

有效的绩效管理可以促进学校与教职工的“双赢”发展，能让学校了解教职工的工作状态，便于发现人才、留住人才，能让教职工通过考核结果的反馈与对比，清楚地看到自身的优势与不足。在以往的绩效管理中，对教职工的考评流于形式，绩效计划制定不详细、绩效实施缺乏监督、绩效考核与反馈不及时。但是大数据的出现可以促进绩效管理有效性的实现，通过层级传递，各级领导把行政人员和教师人员的详细岗位职责、工作任务、工作目标等录入绩效管理数据系统。专人负责定期将教职工的教学成果、学术成果、工作业绩等数据进行统计并上传到绩效管理数据系统中，为保证绩效考核结果的可比性，需要在考虑不同专业、不同学科性质的基础上将工作成果进行量化。教职工（只有查看权限）可以登陆绩效管理系统，查看自己阶段性的绩效考评结果，并可以向系统提交查看其他教职工绩效结果的申请，便于进行横向对比，在这个过程真正缩短绩效考核与反馈的时间间隔，提高了绩效管理的效率。在大数据的推动下，教职工的绩效考评结果用数字表示，清晰的评价标准和流程让教职工感受到绩效管理的公平公正，这样的情况下再与学校的奖惩机制相联系，能极大地促进教职工的工作热情和积极性。

作者：张咏梅 穆文娟 单位：山东科技大学经济管理学院

大数据应用论文:计量工作大数据应用与发展

目前，我国计量行业对大数据的理解和应用相对滞后，政府行政部门应通过相关数据收集、统计和挖掘，获得有价值信息，为产品质量的提升和发展提供更科学的依据。运用大数据推动计量行业快速发展，进而推动产品质量提升，已经成为计量行业未来发展的必然趋势。

一、计量信息数据整合是做

好质监大数据运用的基础计量工作中的量值传递、产品检定、测试与校准中，产生了大量有价值的数据信息，所以推进计量工作数据清理整合工作，在建立计量信息数据库的基础上，再将产品检验、执法系统数据、重点行业、企业、产品的质量数据，以及各个领域涉及产品质量的相关数据进行整合，最终完善整个质监领域的大数据库。充分运用大数据相关技术，提高质监部门的服务水平，为产品质量监督管理、产品质量提升、国家质量战略和相关法律法规的制定提供更可靠的依据。

二、大数据运用在计量领域的初步探索

1.建立计量器具数据库。建立统一的数据库，将计量器具实行赋码化管理，逐步完成计量器具的生产、使用等多环节的监管。目前，西安市已经在全国率先将强检计量器具实行赋码化管理，赋码系统建立后，大幅度减少了强检计量器具瞒报、漏报、不报、拒检、超期未检等现象的发生，强化了强检计量器具在使用中的监管。笔者认为，下一步应组织相关部门逐步将计量器具的生产企业纳入数据库中，实行“一器一码”制，最终实现通过编码查询到计量器具的所有信息，包括生产信息（企业信用信息、生产许可证、出厂合格证、质保信息等）、使用过程中的管理信息（使用方的维修信息、相关检测机构的检测报告等）。2.将大数据技术应用于复杂环境下的计量检测中。计量测试未来发展趋势是将在保持更高准确度的前提下，回归到现场环境条件里的计量校准和计量溯源。随着大规模现代化工业、国防工业和军事计量的发展，解决复杂环境下的计量校准问题，成为当今计量检测中的难题和挑战。建立计量测试仪器设备在每一种环境因素变化情况下的有效数据和变化情况数据的数据库，并对不同因素的相互作用（包括线性叠加、非线性叠加、交叉调制、加权耦合等）进行仿真模拟（包括模型仿真、数据仿真、半物理仿真、全物理仿真等）。最终通过模仿系统模型和大数据进行处理，以获得在任何复杂环境条件下的计量校准结果。3.用大数据帮助企业解决计量器具的管理。计量检测作为企业产品和服务质量控制的重要组成部分，企业对服务机构计量检测的综合服务能力要求越来越高。通过大数据技术全面切入客户质量管理、技术研发环节，为客户提供全方位解决方案，已成为计量检测技术服务市场和拓展能力的方向。例如，为医院提供计量检测服务的过程中，利用大数据分析、评估医院计量器具的整体性能，帮助医院发现医疗设备性能和使用中存在的各种问题，提出相应解决方案，从而提升医院设备质量控制的整体水平，避免因为医疗设备性能的问题造成医疗事故，为病人的生命安全保驾护航，也更好地体现了民生计量工作中执政为民、全心全意为人民服务的宗旨。4.用大数据可以为计量助推供给侧结构性改革和精准服务产业发展，找到准确的发力点和切入点。通过建立区域内计量基标准和社会公用计量标准动态数据库，努力实现信息资源区域共享、结果互认，从而统筹技术资源，避免重复购买计量标准器具，提高检测标准器的利用率，从而充分发挥区域计量标准器具资源的价值。同时通过大数据交流，增加部门之间的横向联系，实现良好的合作，促使国民经济联合成一个完整的体系，将计量与全社会各部门、各企业联系在一起。5.用大数据为“一带一路”计量服务。通过大数据，积极推进与沿线国家计量领域全方位的务实合作，共同促进国际计量体系的创新发展，推动国际计量互认进程，促进贸易便利化水平，服务区域经济社会可持续发展。通过建立计量领域政策信息数据互换和交流平台，提升计量法规的透明度，实现沿线国家资源共享。通过建立计量领域技术信息数据互换和交流平台，加强各国计量技术机构的战略规划、科学研究、业务拓展等方面的信息交流。加快计量双边、多边合作和互认进程，促进量值国际等效，不断扩大互认国和互认产品范围，最终实现“一次测试、一张证书、全球互认”，从而促进国际贸易的便利化，更好地提升计量服务经济发展的能力。

三、结束语

计量大数据的服务与应用可以加速计量行业信息化进程，加快质监部门信息共享，提高质监部门服务能力。当然，数据安全是质监系统做出分析和决策的重要依据，大数据在存储、处理、传输等过程中面临安全风险，具有数据安全和隐私保护需求。尤其是计量大数据，都是与生产、生活、安全相关的数据，保护这些数据的安全，防止数据系统受到不法分子的攻击显得尤为重要。

作者：付磊 单位：陕西省计量科学研究院

大数据应用论文:大数据在高校教育信息化的应用

【摘要】随着我国经济的发展，科学技术的迅猛提高，信息技术已经逐渐融入到社会的每一个角落，21世纪开始步入信息化时代。随着信息技术的渗透，作为社会生活的重要阵地，高校自然也不会置身事外，信息技术在高校教育中的应用愈发普遍。本文主要阐述了大数据在当前信息化时代中的一些特点，并结合实际探讨了大数据在高校教育信息化中的应用。

【关键词】大数据；高校教育；信息化

信息化时代的到来，使得曾经被人忽视的各种媒介中的数据爆发出惊人的价值和影响力。数据成为了信息化时代独有的传递媒介，人类将迈入一个深度挖掘数据的大数据时代。随着信息技术的渗透，人们的生活、工作已离不开大数据。将信息化技术融入高校教育中不仅可以帮助高校发展教育还可以为信息化时代做一份贡献。在21世纪这场大数据的浪潮中，高校在其中扮演的角色不仅仅是参与者更是推动者。为顺应大数据时展的趋势，在高校教育中推行信息化教育势在必行。

一、大数据

作为信息时代的产物，人们对大数据往往有着不同的定义，简而言之，大数据是信息数据的总和，是以信息形式表达的多种信息的融合。可以说它是一种新型的力量，有着不可估量的价值和影响力，现代技术是它的载体。凭借其自身蕴藏的无限价值，大数据已经成为现代化社会的象征。与传统数据不同的是，大数据主要讲究的是数据之间的相关性，而对于数据间的因果关系却不再关注。大数据可以通过分析数据间的相关性来实现对信息的优化，帮助人们进行决策分析。在高校教育中，大数据也可以通过对高校的信息数据进行分析整合，为高校的发展提供数据参考。与传统数据不同，传统数据仅仅只是实现了对数据的存储并未完全实现数据的价值，因此虽然传统数据为中国的社会发展做出了贡献，也给人们带来了很多便利，但它仍存在很多瑕疵。反观大数据，大数据主要讲究的是数据之间的相关性，它不仅可以实现数据的存储，还可以利用这些数据达到预知发展趋势的目的，与传统数据相比，它更实现了对数据价值的深入挖掘。传统数据与大数据应用的方向也不相同，传统数据主要进行信息的存储，针对的是过去的数据，已过去的数据为核心。而大数据是对传统数据的提取和分析，以达到预知发展趋势的目的，是以事物未来的发展为核心。凭借其自身蕴藏的无限价值，大数据已经成为现代化社会的象征。随着信息技术的发展，大数据也将渗透到人们生活的每一个角落，大数据必将在高校的教育中发挥重要的作用。

二、大数据在高校教育信息化中的应用探析

1、对教学质量进行评价。为了提高高校的教学质量并能够帮助教师在教学过程中不断地发现问题、解决问题，高校的每年期末都会对教师的教学质量进行评估检查。在教学评价中应用大数据可以使教学评价形成有效的管理机制，其实能够安全有序的进行。而且大数据可以根据教学评估中提供的各项数据进行有效的分析整合，使教学评估工作更加高效可靠。2、综合分析教师的职业技能。传统的数据仅仅能起到信息存储的功能而无法利用数据的附加价值，而大数据不仅可以实现信息的存储更强调了信息之间的相关性。将大数据应用于高效教育中，还可以实现对教师职业技能的分析，而在高校教育中，最能够决定高校教育质量高低的便是教师的职业技能。将大数据应用于教师的职业技能分析时，大数据可以通过对教师以往教学经历的分析、观察，从而找出最适合该名教师的教学方法，并能够帮助其在课堂上扬长避短，提高高校的教学质量。将大数据应用于教师的职业技能的分析还可以提高课堂的利用率，为学生的下一步学习制定计划。3、个性化课堂的开展。将大数据应用于高校教育中，大数据可以完美的将学习内容与数据资源结合起来，从而帮助学生完成学习目标，实现个性化学习。高校教学改革最重要的目标便是个性化学习。大数据主要强调信息之间的相关性，将大数据应用于个性化课堂的开展时，大数据可以根据某个学生学习成绩然后从已毕业的学生中调取有相似学习经历的学生的资料，分析待选课程与学生之间的相关性，为学生提供可靠的待选课程的课程分析。4、满足学生的需求。大数据可以通过学生在高校时使用校园一卡通的情况分析出学生的消费情况甚至其家庭的经济情况，对于实在贫困的学生，学校可以采取资助，使得国家助学金的发放更加的公平、公正。

三、结语

随着信息技术的渗透，人们的生活、工作已离不开大数据，作为社会生活的重要阵地，高校自然也不会置身事外。在21世纪这场大数据的浪潮中，高校在其中扮演的角色不仅仅是参与者更是推动者。将大数据应用于高校教育中，不仅可以实现对高校教学质量进行评价、教师的职业技能的综合分析，还可以开展个性化课堂，使得国家助学金的发放更加的公平、公正等等。为顺应大数据时展的趋势，在高校教育中推行信息化教育势在必行。

作者：刘键 单位：辽宁省教育厅教育信息中心

大数据应用论文:大数据在区域品牌营销的应用

［摘要］从我国目前市场经济的发展趋势来看，区域品牌营销与其他品牌的营销相比，其在市场环境中还处于刚刚起步的阶段。但随着信息技术的快速发展，区域间的竞争也日益激烈，这就需要区域品牌在营销中广泛应用大数据，抢占商机。基于此，本文分析和研究大数据在区域品牌营销中的应用，并探讨大数据平台、客户的需求及营销规律。

［关键词］大数据；区域品牌；营销

引言

在当今信息技术发展越来越迅速的局势下，大数据的发展也受到了各个行业的关注，许多企业为了能够在信息环境中抢占商业先机，对大数据整合技术及信息处理技术进行了探究。由此可见，不管是从经济发展的角度，还是从信息技术的应用情况进行分析，大数据显然已成为促进社会发展的重要因素。大数据可以借助移动终端设备和网络技术构建多元化的结构数据，也能构建出一些半结构化及非结构化的数据。如今大数据技术已经在各行各业中有了广泛应用，区域品牌营销市场中大数据的应用，改变了传统的商业营销模式以及工作人员的管理理念，区域品牌在营销中利用数据分析市场的发展情况，获得商业的先机，从而有效促进自身发展。

1大数据营销及区域品牌概述

1.1大数据营销

当前，各个企业将大数据带来的商业机会分为两种，一种是由微软、惠普等公司开发的硬件和软件以及数据，还有一种是来自海量的用户信息，并且这些信息能够为企业提供精准营销平台以及个性化的广告推介等商业宣传活动。而大数据营销就是第二种，这种营销方式通过搜寻并分析各种相关数据，充分了解市场发展的需求，从而帮助企业改变竞争形态，把依据客户的生活方式以及价值取向等主观信息，推测客户需求导向的这种传统营销模式，转变为通过对客户的各种信息行为以及购买历史等方面进行分析，满足客户的需求，并根据这个导向进行营销的模式。大数据营销不仅要实现线上和线下的互通，也要确保在各大媒体、互联网站及移动终端等的数据是相通的，这些都大数据有效实行的前提条件。当然，由于现实生活中不同领域及行业局限性，大数据会受到许多因素的影响，如公司的隐私保护、信息伦理等。对于政府数据及科研管理数据，应该多多提倡数据的重复利用，由此可见，大数据想要在各个领域中分布是比较困难的。另外，有部分企业为了保护公司的隐私，便采取封闭式的数据开发和搜寻，并从中牟取利益，事实上这种形式无法满足整合化营销的要求。所以，企业在面临大数据带来的发展前景的同时，也要注重对企业能否实施大数据营销的基础条件进行科学合理的评估，要对市场营销人员进行技能考核，从而确保工作人员能够具备相应的营销技能，除此之外，企业也要制订应用大数据的营销方案。

1.2区域品牌

随着我国经济市场的逐步发展以及经济管理秩序的改变，经济市场的竞争也日益激烈。由于外部环境和内部因素的大幅度变化，整个市场的格局也有很大变化，以往的商品竞争已逐渐被区域品牌竞争所取代，并且商业竞争的主体也由传统的企业竞争转变为区域竞争。随着竞争形势的变化，竞争局面也变得越来越复杂。为了能够适应这种竞争形势，许多企业都由过去的商业竞争关系转变为竞争合作的关系，在这个的发展趋势下也可以有效利用区域文化来促进市场发展。在这种发展形势下，许多先进的企业已经选择区域品牌作为商业竞争的主体。建立区域品牌也成为促进现代化经济发展的重要工作。目前，关于区域品牌并没有一个具体的定义或者界定，对于区域品牌，不同的人有不同的看法，但不管怎么说，区域品牌一定要在一定区域范围内才能产生，且在市场的知名度、市场份额及名誉等方面都会比其他商业经济更有优势。区域品牌是以集团品牌的形式而存在的，并且在发展的过程中也逐渐成为市场竞争的核心内容。企业想要提高区域品牌的竞争力，首先要增强区域性的竞争力，因为区域品牌才是提高区域经济的有效方法。

2大数据在区域品牌营销中应用的方式

2.1通过动态化的形式监控市场环境

随着技术的发展以及经济效益的增长，区域品牌的竞争也变得愈加激烈，而市场经济的环境也随之变得复杂起来。在这样的发展环境中，区域品牌营销的方案更加难以实行，但是利用大数据可以分析，使区域品牌营销发现新的商机和市场。通过对大数据的集中分析，可以快速了解到某个区域环境中的商机，也可以分析某个阶段的消费群体的需求，这时企业就可以根据客户的需求研发相应的区域品牌。与此同时，区域品牌的营销也可以借助大数据的技术，对区域内外的环境进行动态化监察，这样就可以为企业的策划人员提供参考信息，也能面对市场的变化，使区域品牌营销作出相应的调整。

2.2通过改善用户的体验促进区域品牌营销的发展

以往的区域品牌营销人员在推广和宣传品牌时，常常会轻视消费者的主观意识及消费体验，在过去的区域品牌营销宣传或与消费者沟通时，都是利用比较简单的形式进行，这样会导致宣传的效果不太理想。而区域品牌营销在如今大数据的环境中，可以充分利用大数据分析消费者对区域品牌的了解程度，并通过实时解答消费者的一些疑问作出相应的评价和定位。其实就是通过消费者与区域品牌营销之间的沟通，提升消费者的认同感，使消费者对区域品牌产生相应的兴趣。企业想要留住消费者，就要不断完善区域品牌的形象，或者说企业可以根据消费者的特性绘制出相应的图像，并根据图像进行现实还原，这样就可以有效增强消费者的体验感。

2.3利用大数据分析并观察竞争对手

大数据技术在区域品牌营销中不仅可以分析消费者对品牌的了解程度，还能分析和观察自己的竞争对手。企业利用大数据技术可以分析竞争对手对产品的研发以及服务的感知力，这样就可以根据与竞争对手的比较，发现自身的不足和优势，然后帮助营销主体有目的地改变营销策略。这样的营销方式对于企业来说具有重要意义。企业通过对竞争对手的分析，可以对整个行业的发展进行掌握，也可以对市场的外部环境有个大致了解，从而有效降低营销的风险，进一步实现区域品牌营销效益得而最大化。如，企业在推广和运营或者招商的过程中对信息进行研究和分析，就可以根据商户的具体情况进行适当调整，并制订可以增加客户量的营销方案。区域品牌营销中利用大数据分析竞争对手，可以了解到对手的发展趋势及状况，从而对自身的发展战略进行合理调整，并抢占商机。

3结语

随着信息技术的快速发展，区域间的竞争也日益激烈，而大数据也在区域品牌营销中得到了广泛应用，笔者相信区域品牌营销中应用大数据会发展得更为长远。大数据技术的存在有效促进了区域品牌营销的发展，且在经济市场的实践营销中也真实地证明了大数据的价值。区域品牌营销要合理利用数据的优势，精确定位每一位消费者，并从繁杂的信息中提炼出对自身有利的信息，从而获得良好的营销效果。相关企业要建立有效合理的大数据营销机制，并对数据的管理以及区域营销费用的有效控制加强实行力度，通过提升客户的品牌体验提升营销效率。虽然，目前在区域品牌营销过程大数据的应用还存在一些问题，但笔者相信在今后的发展中大数据能发挥出更大的作用。

作者：彭秋生 单位：中海油信息科技有限公司深圳分公司

大数据应用论文:大数据在煤矿安全生产的应用

摘要:煤炭行业经过多年的信息化应用，积累了大量的安全生产数据，但对这些数据的深度利用还远远不够。大数据提升了信息的获取与处理能力，基于大数据处理技术，将安全生产数据进行有效整合，深度挖掘，对煤矿安全生产意义重大。本文阐述大数据的技术和发展趋势，总结目前煤炭安全生产中大数据的应用现状，探讨大数据在安全生产中的应用方向。结果表明，大数据的应用有助于提高煤炭安全生产的效率、节省成本和减少损失。

关键词:煤矿;大数据;安全生产;应用研究

大数据的概念于2008年在美国《自然》提出［1］。大数据概念的提出，是对大量数据处理的一个突破。它可以从纷繁复杂的数据中提取有效信息，并对有效信息进行分类、分层次处理。基于计算机等硬件设备，在对巨量有效信息进行深入挖掘之后，对之间因果关系进行分析，找出一些事件之间的因果关系。因此，大数据分析可掌握一些事件的规律，并对事件的走向进行预测。

1煤炭安全生产大数据现状与问题

近年来，安监及煤监等部门通过监测平台的引入及应用，已经建立一定数量的数据库。但是由于缺乏深入的整理和利用，仍存在很对问题。(1)数据量偏小，数据质量低。由于在前期煤矿的生产中，并未提及大数据的理念，各个煤矿对自身矿区数据整理收集不够。尤其是涉及矿难及事故方面，更是较少涉及。因此，导致有效数据少，可用数据欠缺。(2)未能与大数据技术统一标准，缺乏依据。新技术在传统领域的应用必然会出现一些新问题，大数据技术也是如此。传统的数据收集未能与大数据技术统一标准，数据收集依据不足。(3)基于煤矿生产行业的特色，井下生产中防爆防火用具要求较高。因此，限制了一些高效、实时数据收集智能设备在该行业的使用。在大量的数据实时收集及整理时，困难较多。(4)煤矿安全生产及事故隐患分析主要依靠安全生产管理者分析，难以形成有效数据。专业智能设备在煤矿安全生产中使用不足或较少，难以完成大量数据收集任务。(5)专业人才欠缺。由于大数据理念较新，在实际应用中偏向于高新产业及国家优先发展产业。煤矿产业由于最近经济影响，专业人才储备不足。

2煤炭行业安全现状

目前，通过政府部门及企业的共同努力，安全投入到位，安全文化氛围浓厚，煤炭行业事故率明显降低，伤亡人数亦有较大回落。但是，该行业依然存在一些问题:(1)自动化水平低，近年来，煤炭行业先进机械及自动化监测设备引进率较高。但是，相对于发达国家，还是有一定差距。主要表现在过于依靠工人经验，随着煤炭进入深部开采，地质情况复杂，经验越来越受限。(2)煤矿现在对事故的分析依然偏向于“事后分析型”，而真正有效的应该是“事前预测型”。专业有效的事故分析工具在煤矿中使用较少也是造成此结果的原因之一，煤矿开采难度加大，以往经验不一定能够适用。(3)信息共享率低。目前，矿难尤其是重特大伤亡事故是各个部门避而不谈且不愿分享的数据，从而导致样本有效性差。

3大数据在煤炭行业安全生产的关键地位

3．1数据收集、整理、分析及整合

人工数据和开源数据是煤矿安全生产管理者获得大数据基础的重要方法。人工数据虽然准确率高，但其具有成本较高、自动化水平较低、易发生人为原因错误的天然缺点。与之形成对比，开源数据自动化水平较高，成本较低。尤其在信息化综合系统越来越多的应用于煤炭行业，国家安监局、煤监局等各部门通力合作，建立综合信息化平台。这对大数据的收集、整理、分析、整合及预测都会起到积极的影响。

3．2大数据存储平台为煤炭安全生产提供及时的舆情信息

当矿难发生后，在处理矿难的过程中，大数据平台为安全生产的管理者及民众告知详细信息。一方面，政府部门及监督管理部门通过官方渠道及新发展的信息通道(如Wechat等)，及时有效的将相关真实信息传递给大众，此举可有效防止谣言误传。更可避免政府部门的工作陷入被动应付状态，保证灾难性事件发生之后社会的和谐稳定;另一方面，每次事故也是一次珍贵的失败实验，对此次事故详细分析，录入大数据平台，增加数据平台丰富性的同时，对类似事故的预防、发生具有重要的参考价值。

3．3大数据拓展了煤炭安全生产的综合分析能力

新技术在传统行业的应用是对传统行业的一次产业升级，尤其是在煤炭行业。长期以来，我国煤炭行业生产安全性较差，生产效率较低，安全预警能力较差。通过引入大数据综合分析平台，可有效提高煤炭安全生产能力。有效改变煤炭行业事故率高、矿难频发的状况，如离层分析仪等数据平台的引入，可有效预警顶板事故，大大降低顶板事故伤亡率。

4大数据在煤炭安全生产中的应用

基于大数据分析理念，结合煤矿安全生产历史及现状，应从以下四方面入手，提升大数据在煤矿安全生产中的整合能力。

4．1结合互联网和云计算，建设煤矿安全综合信息平台

提升在线监测能力，贵州省近年高薪招聘高素质驻矿安全员，实现煤矿安全数据的实时更新及有效登录，有利于建设煤矿综合信息监测平台。全国也在提升煤炭行业对高素质人才的吸引力，大力建设全国综合监测平台。2010年美国某矿发生事故，引起网民广泛关注［3］。网民通过数据监测及政府安全监督平台，深入挖掘出事故背后利益关系，有效推动了美国矿业管理制度的完善及事故预防能力。

4．2逐步提高智能化监测设备在煤矿使用比例

由于煤矿行业对安全标准的高要求及煤矿行业富含瓦斯及地压等影响因素，大量有效监控设备在煤矿安全生产中使用受限。随着大数据理念的发展及技术的发展，各种智能化技术也会在煤矿得到应用。目前，煤矿六大系统都已建设完成，部分煤矿已采用了在线监测设备及内部通信设备，有效提高了智能化监测设备在煤矿使用比例。

4．3加强管理，保证数据安全

如果不能有效安全使用大数据，会带来意想不到的风险。大数据的使用改变了传统煤炭行业的分析方法，有效整合资源。在发展历程中，也要防范数据滥用、恶意篡改等。大数据是珍贵的资源，要采取技术措施保证安全。个人不得随意查看或用于其他用处，尤其是利用大数据做违法行为。政府与人民要联动，确保大数据安全，真正服务于煤矿安全生产。

5结论

大数据在煤矿安全生产中的应用，是一个新的领域与尝试。在此历程中，数据会越来越规范、有效，随着此技术的普及，也将对现有安全管理模式产生有利影响。大数据的应用必然引起传统行业安全管理的一场变革，也将提高煤矿安全管理的技术能力。以技术促进管理，提高安全管理的自动化能力。政府管理部门及企业要联动，形成合力，深入挖掘数据之间的关系，不拘泥于表面，发现数据之间的内在联系，从而为数据的整合及预测提供有效技术支持。通过大数据在煤炭行业中的深入应用，为安全管理者及政府部门决策提供有效的理论依据，更好地服务于煤矿安全生产。

作者：苏东毅 于迪 李胜男 单位：三门峡龙王庄煤业有限责任公司

大数据应用论文:大数据技术在烟草数据中心的应用

摘要：以大数据技术的发展为背景，结合江苏烟草数据中心建设的实际情况，分析了江苏烟草数据中心以Hadoop及Impala等大数据技术为核心，辅以Kettle和JSP等数据处理及展现技术共同构建基于大数据技术的自定义数据查询平台的架构设计和实现方案。展现了大数据技术带来的远超传统技术平台的灵活性以及对于大数据量查询的快速响应能力。

关键词：烟草；数据中心；大数据；Hadoop；Impala

1.大数据技术现状

当前许多企业都已基本实现了信息化建设，企业积累了海量数据。同时企业间的竞争日益加剧，企业为了生存及发展需要保证自身能够更加准确、快速和个性化地为客户提供产品及服务。而大数据技术能够从海量的数据中获取传统数据分析手段无法获知的价值和模式，帮助企业更加迅速、科学、准确地进行决策和预测。

1.1大数据技术现状

广大企业的迫切需求反之也促进了大数据技术的飞速发展，涌现出了诸如Hadoop、Spark等实用的架构平台。其中，目前最主流的就是Hadoop。Hadoop的分布式处理架构支持大规模的集群，允许使用简单的编程模型进行跨计算机集群的分布式大数据处理。通过使用专门为分布式计算设计的文件系统HDFS，计算的时候只需要将计算代码推送到存储节点上，即可在存储节点上完成数据本地化计算。因此，Hadoop实现了高可靠性、高可拓展性、高容错性和高效性，可以轻松应对PB级别的数据处理。

1.2大数据技术对烟草数据中心建设的影响

当前，烟草企业基于多年的信息化建设已经积累了海量数据，同时每天还不断有新的各种数据产生。在高并发、大体量的情况下，需要在数据采集、存储和运算方面采用与以往完全不同的计算存储模式，这就不可避免地需要采用大数据技术。同时，除了购进单、卷烟交易数据、货源投放数据等结构化数据外，还产生越来越多的非结构化数据，利用大数据技术，对非结构化数据进行预处理，可为人工判断和机器学缩减范围。对海量数据以及非结构化的信息进行分析统计，仅仅依靠传统的技术手段很难实现，只有引入大数据技术才能充分的将所有的数据资源利用起来，成为企业决策的助力。

2.江苏烟草数据中心应用现状

2.1江苏烟草数据中心体系架构

目前江苏烟草数据中心以一体化数据中心、一体化数据管理和一体化数据分析三个部分为核心，构建了一套完整的数据中心架构。一体化数据中心是整个数据中心最核心的部分。通过数据仓库模型、数据存储、ETL工具等组成部分，构建了业务数据的收集、加工、存储、分发的总体架构。建立了按ODS（SODS、UODS）、DW、DM三层结构设计建设的数据仓库。一体化数据管理通过主数据管理、信息代码管理、ESB平台构建了企业主数据收集、标准化、同步分发过程。结合指标管理，全面管控企业的公用基础信息。通过数据质量管理，全面有效管控数据质量。通过数据服务管理，有效提升数据中心的对外服务能力与水平。通过元数据管理来管理数据中心元数据。一体化数据分析通过构建移动信息、业务分析、数据挖掘三大模块，针对性解决当前不同人员的决策、管理以及操作需求，发挥数据中心的数据、技术、平台优势。通过移动信息模块为各级领导提供决策支持；通过业务分析模块为业务人员的日常工作提供支撑；通过数据挖掘模块，发掘数据所蕴含的隐性价值。基于上述一整套架构的支撑，目前数据中心构建了全省范围的数据集成、交换体系，一方面提升了全省基础数据、业务数据的规范化程度和数据质量，另一方面为在建业务系统的实施、已有系统的改造提供了标准化的高质量数据保障。

2.2大数据技术的应用场景分析

随着江苏数据中心的不断运行，一些基于传统技术架构的功能逐渐暴露出种种问题。其中较为突出的问题有：一是使用者对于大数据量数据的查询需求。基于传统技术架构的查询功能响应较慢；二是分析支持灵活性的不足。传统统计分析应用的数据结构大多是预先定义好的，面对灵活的非传统的统计查询需求难以支撑，需要进行额外的加工处理。江苏烟草数据中心结合互联网大数据技术特性，引入Hadoop平台以及Impala等工具，搭建基于大数据的自定义数据查询平台，以补充基于传统技术架构的功能不足，并为未来进一步发展建设基于大数据技术和云环境的数据中心做好准备。

3.基于大数据的自定义数据查询平台实现

3.1设计思路及架构

基于大数据的自定义数据查询平台是在现有数据中心的建设成果之上，以数据中心的数据存储为基础，以Hadoop、Hive、Impala等大数据技术工具为手段，以简单灵活、快速高效的查询展现为目标，建立的数据查询分析支持平台。

3.2技术方案

自定义数据查询平台的建设主要涉及数据存储架构、后台数据加工准备、前端展现三块内容。自定义数据查询平台的数据存储分为两部分。一部分为KETTLE、Impala等工具以及自定义查询相关的元数据存储，另一部分则是查询所需的各种统计数据的存储。元数据的存储根据元数据库的不同主要分为两部分。第一部分为基于Mysql数据库的元数据存储。这部分元数据主要包括有ETL工具KETTLE的元数据，以及前端自定义查询需要定义的权限、数据源、表、列和表列关系等信息。第二部分为基于Hive的元数据存储。这部分存储的是前端查询需要使用的Impala工具的元数据。统计数据的存储则是使用Hadoop的HDFS实现的。根据Hadoop平台架构，自定义数据查询平台的HDFS建立在6台虚拟主机构建的集群上的。其中：2台虚拟主机作为NameNode，一台为主节点，另一台为备份节点；其余4台虚拟主机都作为DataNode用于存储数据。所有数据将会统一分块自动分配存储到4个DataNode上。自定义数据查询平台的数据加工，是通过开源ETL工具KETTLE实现的。通过KETTLE从数据中心现有数据仓库及数据集市中读取需要的数据，根据自定义数据查询平台的数据模型定义对数据进行处理，最终加载到Hadoop的HDFS文件系统中。自定义数据查询平台的前端展现功能，主要是基于JSP技术实现页面开发，通过JDBC或者ODBC对后台Mysql数据库进行访问。使用者在查询页面中组织定义查询的内容，查询服务自动根据获取的元数据信息将定义的查询内容拼接转换成为查询SQL，之后通过Impala执行查询SQL对HDFS文件系统中的统计数据进行查询。

3.3系统实现效果

利用大数据技术，自定义数据查询平台较好地解决了目前数据中心所面对的问题，满足了使用人员对于大数据量以及分析灵活性的需求。面对使用人员层出不穷的查询需求，自定义数据查询平台通过预先梳理、分类定义各种维度以及统计指标。使用者可以自由的根据实际需求选择分析所需的维度及统计指标，同时还可以基于这些基础的内容更进一步自定义过滤条件以及计算公式，并指定其展现形式。在大数据量查询效率方面，自定义查询平台相比传统架构的查询功能有了较大提升。

4.结束语

大数据技术的发展方兴未艾，应用前景无比广阔，对各行各业的巨大作用正在逐步展现。江苏烟草数据中心的建设既要看到大数据技术未来的前景，更需要明确地认识到大数据平台的建设并非一朝一夕，需要有明确而长远的规划，不断完善数据环境建设、云计算环境的构建以及数据服务的扩展。

作者：郭文卓 王子豪 单位：中国烟草总公司江苏省公司

大数据应用论文:大数据在公路工程质量监控的应用

摘要：大数据的产生为公路工程质量监控技术带来机遇与挑战。公路工程质量监控大数据具有典型的“4V”特征。为深入分析大数据在公路工程质量监控中的应用，从公路工程质量监控大数据的产生、处理流程与关键技术等方面进行论述。分析了公路工程质量监控大数据的存储结构、计算过程以及数据可视化处理的流程，提出了公路工程质量监控大数据应用时所面临的问题与挑战。

关键词：大数据；公路工程；质量监控；应用与挑战

引言

近年来，随着交通建设的迅速发展，截止2015年我国公路总里程将达到450万公里，其中高速公路通车总里程达到10．8万公里，全国高速公路路网已基本形成规模，促进了区域经济的发展，社会效益较好。在交通部的《国家公路网规划（2013年—2030年）》发展规划中，全国高速公路通车里程预计达到40万公里，我国将基本实现省际多路连通、地市高速通达、县县国道覆盖的目标［1］。从上述规划来看，仅高速公路的建设缺口就近30万公里，其建设任务较重，另一方面，在工程建设过程中的质量监控也提出了新课题。以西部地区为例，交通运输部质量监督局已在2012年3月启动了西部项目“公路工程质量安全过程控制智能化与远程监控技术研究”的研究工作，项目要求采用信息化技术手段，融入现代计算机技术、实时信息传输技术，人工智能化技术到工程监督中，对重点工程、重点部位的实时监控，实现工程质量安全监管的实时化、智能化、远程化，弥补人为管理的漏洞和缺失，提高质量监控和监管效能，以保障公路工程的建设质量［2］。公路工程建设的智慧化监管，需要对在其在建设过程中产生的大数据进行透彻分析，服务于管理者和决策者，便于及时排查和纠正在工程施工过程中潜在安全隐患，为生命和财产提供安全保障。

1公路工程质量监控大数据来源及其特点

就大数据而言，是一个抽象模糊的概念，大部分人也只是从数据量的大小和规模去感知，像TB、PB、ZB、YB这样的数据量存储单位被理解为大数据与传统数据的区别，很显然这仅仅是海量数据，在IT界被公认的具有Volume（容量大）、Variety（种类多）、Velocity（速度快）和Value（价值密度低）特征的数据，才能被称为大数据，简称大数据4“V”特征［3］。

1．1公路工程质量监控中大数据的来源

公路工程建设在开始施工到验收竣工，要产生大量的、类型各异的数据，其主要有以下几种来源：（1）施工试验数据：道路在施工前需要对工程中的各种使用材料在该项目环境条件下做实验，以得出在该环境条件和地理区域条件下相应材料的使用混合比及用量等。如：筑路用土，砂石材抖、石灰和水泥，普通水泥混凝土，稳定土和建筑砂浆，沥青材料，沥青混合料等相关实验数据，用数据来保障施工质量，确保规范施工。（2）施工监控数据：在工程项目施工阶段，人员行为规范、施工操作规范、压力传感数据，施工环境温度（湿度）等产生的文字、图片、声音和视频数据。（3）施工应急数据：在施工过程中会有各种突发事件，如何科学地把突发事件带来的危害降到最低，最大程度减少人员和财产损失，是工程应急处理的难题。在施工过程中，利用各种传感器对突发事件进行动态监测，将对应急处置起到关键性的作用，而该过程中将产生大量的数据。（4）工程竣工检测数据：在工程项目施工验收阶段，需对路基、路面、交安设施、机电系统等进行标准检测，判断各项功能是否能达到标准规范。如路基压实度，路面承载能力、应力数据，标识标线厚度、反光标志系数等相关检测数据。根据《公路工程质量检验评定标准》JTGF80－1－2012和JT－GF80－2－2004相关要求［4］，需产生大量的数据。随着交通建设的快速发展，工程质量监控面临新的挑战，沿用以往“人工＋纸笔”的管理方式，基本不能实现工程质量的科学化管理，根据工程质量“终身制”的相关要求，在工程设计使用年限内，承担相应的质量终身责任，如沿用以往的管理方式也不便于责任的追溯。当今“互联网＋”时代，利用云计算对工程施工中产生的大数据进行分析，用数据来实现工程项目中全过程跟踪管理和全方面实时监测监管，实现工程实体和质量行为的实时自动监管巡查和预警，将有助于提高工程质量，保障国家财产安全。

1．2公路工程质量监控中大数据的特点

（1）数据规模在工程质量监控中，以施工人员行为监控为例，一个质量监督点采用720P高清视频图像采集设备，每小时图像采集数据经压缩处理后可达到3GB左右的大小，全天候采集一个月，产生的数据量约为2．16T［5］。在工程施工过程中隧道掘进、路基路面、桥梁结构、材料搅拌、设备操作等等都需要对施工人员行为和过程进行视频监控，按上述计算，每月产生的数据能至少为PB级以上，按照交通部的《国家公路网规划（2013年—2030年）》发展规划，监控视频数据就将产生海量的数据。（2）数据类型在公路工程施工过程中产生的数据类型种类繁多，除工程质量视频监控数据外，有影响工程施工质量的环境检测数据（如：温度、湿度），施工材料检测数据，工程质量试验检测数据，潜在地质灾害等数据，数据类型多样。（3）数据价值密度对于在公路工程质量监控中产生的数据本身而言，数据量大，但其价值密度较小。如施工人员操作不符合规范，通常情况下就只有几秒或几分钟，在PB级以上的数据量里，其占有的价值密度较低。（4）高速性在公路工程质量监控中，除对工程质量本身监督外，还应对工程质量进行把控和预警。如：路面未达到养护期要求而强行进行下一周期施工，此时系统就应快速地对大数据进行分析，并及时发出预警提示。

2大数据的处理

随着“互联网＋”时代的发展，人们对各行各业中产生的大数据进行分析，给众多决策者提供了有力的决策支持［6］。如：沃尔玛超市通过大数据分析在超市行业中曾经取得的辉煌成就；阿里巴巴通过大数据分析在电子商务行业取得的突破；滴滴打车或Uber通过大数据分析在出租车行业中取得的地位等等；均是基于大数据分析或处理而取得的成功案例［7］。然而在公路工程施工质量监控方面，大数据的应用还较薄弱，通过对公路工程质量监控中产生的大数据进行分析，对不合格或不符合规范的工程质量及时的启动预警机制，将减少国家的财产损失，保障交通参与者的生命安全，为公路工程建设提供技术支撑。

2．1云计算

公路工程质量监控大数据中，核心是对于数据的分析和处理。“云计算”是大数据处理的基础，为数据分析提供技术保障。云计算利用Internet和虚拟技术把计算机各种软、硬件资源融为一体，形成大规模的共享资源池，为用户提供IaaS（基础设施即服务），PaaS（平台即服务），SaaS（软件即服务）［8］。云计算是典型的分布式模型，为公路工程质量监控大数据并行处理提供平台。Google、IBM、阿里云等知名公司大数据分析处理和应用都是基于云计算为基础，最典型的应用就是分布式文件系统、批处理技术、分布式数据库等［9］。

2．2大数据存储技术

公路工程质量监控中产生的大数据在PE级以上，怎样降低存储成本、提高数据并发吞吐量是大数据存储的关键。分布式文件系统，是大数据在存储中的一种关键技术，Google公司研发的GFS（GoogleFileSystem）分布式文件系统是大数据在存储中的典型应用。其与后来研发的MapRe－duce、BigTable技术构成了Google搜索引擎大数据存储的三大核心技术［10］。公路工程质量监控中产生的海量异构数据，存储架构分为存储层、基础管理层、应用接口层、访问层。存储层主要完成数据接入与信息集成、存储虚拟化存储设备；基础管理层主要包括集群数据、并行数据仓库盒实时数据库；应用层接口主要完成任务管理、调度与监控；访问层主要包括视频监控系统、环境监测系统、应急指挥系统、实验检测系统和工程档案系统等，如图1所示。公路工程质量监控大数据与其它类型的大数据有所不同，有的数据需要急时处理，响应急时的特点，以便于做出急时的应急响影决策，否则会造成重大经济损失和人员伤亡。故需要研究公路工程质量监控大数据在存储结构上的特点，为后续的数据分析提供支撑。

2．3实时数据处理技术

在公路工程质量监控产生的大数据，类型多样，包括声音、图像、文本等结构化和非结构化数据，通过数据清洗来消除数据不一致是非常有必要的，也是数据处理的关键因素。在大数据实时处理流程中数据分析（DataAnalysis）是核心，为提高数据的访问速度，建立分布式数据库，利用各种类型的大数据分析技术，对各种异构的数据进行分析，最终利用可视化技术，把数据分析结果展现给用户，以满足公路工程在施工过程中监督和决策的需求。传统数据，一般采用关系数据库来进行存储，OLTPT和OLAP是传统数据的主流应用，SQL是传统关系数据库存系统的存取标准［12］。但在公路工程质量监控中产生的数据，有很多不具有关系数据库的条件，很多数据是非关系数据，故需要其它方式的数据分析管理技术。Google公司于2004年推出的MapReduce技术，它的并行数据处理方式是大数据分析和处理的典型应用，其主要包括分布式文件系统（GFS），并行编程和并行执行三个方面。GFS为大数据的储存和并行计算提供平台基础支撑，采用键／值（key／value）方式对数据进行分布式存储［12］。MapReduce是一个通过将任务独立化进行计算的一种模型技术，主要有Map和Reduce两个阶段，首先把公路工程质量监控中产生的大数据按算法进行以＜key，value＞的形式进行任务分块，把分块任务交由Map进行并行执行，执行完Map函数后，将数据转换成符合模型的＜key1，value1＞的形式，并把数据写入硬盘。然后进入Reduce阶段，Re－duce接受Map阶段的执行结果，对数据进行合并归约计算，最终得到输出结果，并写入到GFS文件系统［13］。公路工程质量监控大数据MapReduce计算过程，如图2所示。图2公路工程质量监控大数据计算过程公路工程质量监控大数据MapReduce并行计算模型，将简化数据的计算过程，减少数据传递开销，使公路工程质量监控中各类应用程序设计直观化。

3大数据在公路工程质量监控中的机遇与挑战

3．1大数据可视化分析技术

可视分析技术的定义是指：一种通过交互式可视化界面来辅助用户对大规模复杂数据集进行分析推理的科学与技术［14］。大数据可视化分析是指在对数据挖掘分析的同时，利用可视化用户界面以及人机交互技术，融合人的辨别能力与计算机的数据计算能力，为决策者提供更加科学、合理的决策依扰。公路工程质量监控大数据可视化分析关键核心是数据的集成和接口，而其数据规模大、快速多变、数据源异构，使得对大数据的处理、分析和可视化带来具大的挑战。数据信息的可视化根据其特征分为一维信息、二维信息、三维信息、多维信息、层次信息、网络信息、时序信息可视化，在公路工程质量监控大数据中主要包括文本可视化、网络或图可视化、时空数据可视化、多维数据可视化等。文本信息是非结构化数据的代表，是公路工程质量监控大数据中的主要信息类型，是记录施工数据的重要环节，文本信息可视化可采用把文本语议结构以树的形式进行可视化操作；网络或图是大数据中最常见的关联关系，是记录施工过程状态的重要信息，网络或图可视化可采用基于节点和边的可视化方法；时空数据是带地理位置标签的数据，是记录施工环境状态的重要信息，为反应时间与空间的变化，一般采用流式地图来展现；多维数据是多个维度空间的数据，是记录整个施工过程的重要信息，一般可采用基于几何图形的可视方法来实现［15］。

3．2大数据在公路工程建设中的应用

大数据在公路工程质量监控中的应用还处于起步初级阶段，依托大数据建立质量监督管理、安全监督管理、监理行业管理、试验行业管理、工程竣（交）工验收管理、突发应急预案、事件检测、应急响应、现场救援、总结评估等平台，以数据指标为度量，直观、全面、准确地监测和分析各个环节要素的动态变化数据信息，为管理者提供科学决策依据，提高监管效能。如：工程建设过程中突发事件应急处理，可利用地理信息系统（GIS）平台，对基础地图数据、应急资源数据、重大危险源数据进行管理并以电子地图显示，可及时预测突发事件危险存在范围，辅助突发事件应对机制的决策。在建项目监督管理，通过对试验检测实验室、各种机械设施设备的数据采集，实现试验检测数据、设施设备主要数据的采集与汇聚，生成质量监控大数据。通过对大数据的分析和规范性电子监控比对，实现工程实体和质量行为的实时自动监管巡查和预警等。

4总结

这是一个数据信息时代，不管是商业领域还是工程建设领域，都与数据有联系，如何科学的运用这些数据来分析和解决问题，是各领域应重视的问题［16］。本文对公路工程建设质量监控中大数据的产生、存储、处理和数据特点等进行了深入分析，详细介绍了大数据处理的关键技术，对大数据在公路工程质量监控中带来的应用进行了论述。但大数据在公路工程质量监控中的运用还处于起始阶段，如何提高数据的采集质量，解决工程建中大数据传输、提高数据可靠性等方面还存在着研究的空间，需要更多的研究者去探索和研究。

作者：肖祥林 周春容 单位：四川交通职业技术学院

大数据应用论文:大数据管理平台在炼化企业管理的应用

摘要：文中对某炼化企业的现状及实际管理中存在的问题进行了分析，阐述了大数据管理平台在炼化企业运行管理中的实施过程。该管理平台可以促进装置的高效运行、提高装置的可控性、提升整体管理水平，对企业资源的合理配置与优化具有重要意义。

关键词：炼化企业；大数据；管理平台；数据管理

大数据管理平台是炼化企业优化生产、安全管理的基础。利用企业现有信息化管理平台，同时开发、完善配套相关软件和硬件，建立大数据库，通过对数据的收集、整理、分析、筛选，对异常数据的产生原因进行分析，使异常偏差及时得到修正，使装置工艺操作参数、物料、能耗、产品质量、环保指标等各项生产数据全面受控［1］。

1大数据管理平台的实施背景

2015年10月某炼化公司优化信息化管理，MES、ERP、统计信息平台项目陆续上线。严格按照PDCA循环科学管理模式，做到有计划、执行、检查处置的闭环管理。但是大部分装置没有网络，数据不能上传，只能电话报量，数据的重复录入增加，出错率较高，降低了MES系统的基础数据完整性，生产基础数据缺乏监测和预警功能，不能及时发现生产波动；而各系统又存在共性问题就是各系统各自为政，没有整合成大数据平台，使各部门无法达到信息共享的目的［2］。装置的生产运行涉及的生产计划、物料平衡、生产能耗、三剂管理、生产异常、质检化验、生产流程、三废排放等数据一部分以电子表格形式存档，一部分由独立的应用系统进行管理，没有统一的数据库，系统之间缺少数据接口，没有权限控制功能，只能采用纸质方式进行传递，安全性差，不便于数据检索，难以对各类数据进行综合分析和处理［3］。因此，需利用信息化手段，进行系统和信息的整合，便于数据的归纳、统计、分析和预判，挖掘数据和业务之间的内在关联，实现各项业务之间数据和信息的共享，根据市场变化，指导生产方案的制定和调整，实现效益最大化，提升管理水平。

2管理平台的构建

该管理平台可以强化生产基础数据管理，提高生产管理数据信息化，提高对生产基础数据的监测力度，监督装置物料计量仪表的准确性。发现异常数据及时通知相关部门进行处理，减少生产运行波动，保证生产运行平稳［4］。管理平台包括8个模块，运行管理平台见图1。（1）生产计划模块：可查看物料、能耗、三剂生产计划和计划变更、生产优化调整等情况。（2）物料平衡模块：查看每天的物料变化动态，装置加工量、产品产量、库存情况、销售情况等，了解市场需求。监测生产超标数据，及时调整生产方案，月底可查看公司物料、能耗统计报表。（3）生产能耗数据模块：可查看公用工程动力消耗情况，瓦斯、氢气和公用工程的产量、走向及消耗情况。（4）生产流程模块：可掌握公司物料、能耗、瓦斯、氢气的流程走向图，掌握物料、能耗生产运行模式。（5）生产运行平稳管理模块：可及时统计装置的平稳率，查找异常数据，加强对异常数据的管理，提高装置平稳运行。（6）三剂管理模块：可查看三剂的消耗及库存情况，掌握装置三剂的需求，保证运行稳定。（7）质检化验数据模块：可通过LIMS系统查看产品质量化验分析数据，及时掌握产品质量控制情况。（8）三废排放流程模块：可查看装置污染物排放及指标控制情况。

3管理平台的功能

（1）及时统计装置的平稳率，查找异常数据，加强对异常数据的管理，提高装置平稳运行。（2）可查看装置的生产计划，技术指标的完成情况。（3）可查看每天的物料变化动态，上、下游走向，装置加工量、产品产量、库存情况、销售情况等，了解市场需求。（4）可查看公用工程动力消耗情况，瓦斯、氢气和公用工程的产量、走向及消耗情况。（5）查看三剂的消耗及库存情况。（6）可为生产优化，方案调整提供有关数据。（7）可通过LIMS查看产品质量化验分析数据，及时掌握产品质量控制情况。（8）可查看每天的装置污染物排放及指标控制情况。（9）可查看装置开、停工期间物耗和能耗情况。

4管理平台的实施

建立大数据管理平台，使数据的使用者无需关心数据来源，更专注于数据的使用；打破系统之间的壁垒，抽取现有MES、LIMS的各类关键生产数据，融入大数据平台；将生产计划及指标完成情况、装置平稳率及异常记录、物料变化动态、装置加工量、产品产量与库存情况、能耗、质量化验分析数据等信息和数据重新组织后整合入大数据平台［5］。（1）将计划、能耗、三剂、物料（含炼油产品、化工产品、炼油流程-运行、润滑油流程、聚合流程、聚二流程、聚丙烯、带料加工）的年度计划、月度计划、计划变更和生产优化等报表集成在同一个网页环境，可查看物料、能耗、三剂生产计划和计划变更、生产优化调整等情况，提高工作效率。（2）对生产基础数据的监测。物料平衡包括物料库存、异常生产数据、原料入厂产品出厂、月统计报表、装置数据；生产能耗数据包括各装置生产能耗数据文档的上传、展示，可查看每天的物料变化动态，装置加工量、产品产量、库存情况、销售情况等，了解市场需求。生产能耗数据包括公司、专业厂、各装置生产能耗数据，监测生产超标数据，及时调整生产方案，保证装置平稳运行。月底可查看公司物料、能耗统计报表。（3）生产运行平稳管理包括操作平稳率、异常生产操作指标等，及时发现装置运行参数异常，加强日常生产监控分析，对出现异常情况、数据偏差及时分析调整，及时处理，保证装置安全、平稳、高效运行。（4）生产能耗数据包括公司、专业厂、各装置生产能耗数据的展示、上传。（5）掌握物料、能耗、废物排放等流程。生产流程包括3.5MPa、1.0MPa蒸汽平衡图、除氧水平衡图、氮气流程图、电流程图、净化风非净化风流程图、氢气平衡图、脱盐水平衡图、瓦斯流程图、物料流程图、新鲜水平衡图、循环水平衡图；三废排放流程包括废水、废弃、废渣流程图、平衡图等。及时监督装置计量仪表的准确性。（6）三剂管理包括炼油一厂、二厂、润滑油、聚丙烯、储运厂等专业厂三剂使用和库存情况等。（7）集成LIMS系统，可直接查看化验数据，及时掌握产品质量控制情况（8）数据采集。平台通过数据接口自动从MES质检分析系统同步，对于不能自动采集的数据，卡法数据上传功能，暂时采用人工录入的方式采集。（9）将现有生产报表基础数据（平衡后的数据），整理后导入到Sqlserver数据库中，建立分厂、车间、装置三级拓扑关系，从而实现下阶段可根据用户个性化需求开发各类报表功能。5实施效果该大数据管理平台投用后，各级生产管理人员可通过系统中的生产计划、物料平衡、生产能耗数据、生产流程、生产运行平稳情况、三剂管理、质检化验数据、三废排放流程、生产异常报警等功能，查看装置的生产计划，技术指标的完成情况、每天的物料变化动态，上、下游走向，装置加工量、产品产量、三剂的消耗及库存情况等；查看公用工程动力消耗情况，瓦斯、氢气和公用工程的产量、走向及消耗情况为生产优化，方案调整提供有关数据；查看产品质量化验分析数据，及时掌握产品质量控制情况；查看装置开、停工期间物耗和能耗情况等，加强生产管理，保障装置平稳运行。6结论（1）通过大数据库，能够使生产报表自动化程度得到更大的提升，减少岗位人工录入数据，降低数据出错率，提高报表准确率。（2）开发计量生产基础数据监测，能够监测生产状态，使预警数据及时反馈给岗位和相关部门负责人，使预警数据及时得到处理，保证生产安全平稳运行，同时确保计量数据的准确性。（3）通过生产基础数据监测，运用网络新技术，建立生产运行计量管理新模式，整合计量生产大数据，为生产经营决策提供可靠数据。（4）强化生产基础数据管理，提高生产管理数据信息化，提高对生产基础数据的监测力度，发现异常数据及时通知相关部门进行处理，减少生产运行波动，保证生产运行平稳。

作者：王建平 单位：大庆炼化公司

大数据应用论文:大数据在互联网金融风控的应用

摘要：21世纪是信息时代，互联网高度普及，与金融的融合推动了互联网金融的飞速发展，而互联网金融的快速发展离不开大数据技术的支持。文章针对大数据在互联网中的应用提出创新方向，并分析了应用场景、应用现状，希望能够为用户提供更多贴心、便捷的服务。

关键词：大数据；互联网金融；风险控制；网络平台；风险管理体制

互联网金融是一种新兴金融，依托于互联网工具如社交网络、云计算、搜索引擎等实现资金的融通、支付等业务，保证在安全、移动等网络水平上被电子商务用户接受以后产生的新模式、新业务，适应更多人的需求。未来的互联网金融发展空间无限大，现阶段互联网竞争不只是平台的竞争，更是大数据的竞争。

1互联网金融和大数据的特点

1.1互联网金融的特点

交易成本低廉：资金供给双方在资金的融通过程中所发生的成本称之为交易成本，互联网借助信息网络，减少了人力、物力的投入，信息、匹配产品、定价、交易都依靠互联网完成，大大降低了交易成本。交易过程快捷简单：互联网金融模式下金融业务由计算机操作，效率高、速度快，不受时间、空间的限制，客户只需要一台电脑就可以实现资金的高效运转。数据价值大：依托于大数据和电子商务，互联网金融实现飞速发展，互联网的便利性使得人们的生活和工作依赖于互联网，将一些单位和个人的消费信息在网络空间暴露，产生了海量的数据库，数据就是资源，只要加以分析和研究就是巨大的商业价值。风险系数高、创新强：随着科技的发展，不断产生新的金融产品、融资形式，一些互联网产品和支付方式也层出不穷，如网络银行、网络保险公司、众筹融资、网络证券公司、余额宝、支付宝、微信支付、网络贷款等。但现阶段对互联网金融的监管力度较弱，缺乏法律约束，导致一些不法分子非法集资，进行网络诈骗，严重危害了互联网金融的安全。

1.2大数据技术

大数据是在信息时代由硅图公司麦肯锡提出的全新概念，用来描述和定义信息时代的海量数据，是从各种海量的数据中快速寻找有价值的信息，进行高度提纯，增加数据信息的利用率。大数据技术体系分为大数据的采集与预处理、存储与管理、计算模式与系统、分析与挖掘、可视化计算、隐私与安全等方面，可优化数据处理环节，提高数据处理效率。其特点主要是数据体量大、类型多、处理速度快、价值密度低。当今社会大数据无处不在，渗透在人们日常的生活、学习、工作中。以阿里巴巴小额贷款为例，2015年累计放款1953亿元人民币，交易额增长了40%。大数据的利用能够有效降低交易成本，提高交易频率，拓宽交易空间，改善交易体验，促进互联网金融的发展，但也存在一些隐患和风险，会泄露个人隐私，限制企业的管理决策等。

2大数据在互联网金融中的应用

虽然大数据的应用在现阶段并没有完全达到预期的精确性，但是已经有很多较为成功的案例。如DataSifi根据对社交数据网络的分析总结，制定出具体的方案；Zest利用大数据信用评估，已经获得一亿美元的融资；Decide利用价格信息预估价格走势，提出了较合理的购买建议等。随着数据的积累和平台的发展，互联网金融逐渐盛行，受余额宝、微信理财通等的影响，国内主要应用于理财方面，实际上金融服务中最具刚性需求的服务是贷款，大数据促进了金融创新。

2.1高频交易和算法交易

交易者为实现高额利润，利用交易程序和硬件设备，快速分析、生成、获取和发送交易指令，可以在较短的时间内完成较多的交易。高频交易主要通过分析金融大数据，对特定的参与者的交易痕迹进行识别和总结，如：一支共同基金的大额订单通常情况下出现在收盘前最后一分钟的第一秒，能识别出此模式的算法就可以预算出这只基金在其他时间的动向，如果继续执行交易，必须付出更高的价格，算法交易商趁机获取利润。

2.2进行市场情绪分析

大约两年前，对冲基金从各种社交媒体中提取市场情绪信息进而开发出算法交易，如Facebook、博客、聊天室等。如发现有恐怖袭击、自然灾害的意外信息时就会抛出订单，精神病专家理查德•彼得于2008年在美国加州圣莫尼卡集资100万美元建立对冲基金，通过追踪网站、微博、聊天室分析企业情绪，确定基金的交易策略，该基金的回报率在2010年高达40%。又如位于伦敦的小型对冲基金DCM从社交媒体上收集信息，分析人们对金融工具的情绪，帮助投资者制定投资计划。

2.3提高风险的管理力度

金融机构通过对大量小型用户交易行为的数据进行收集，并对其交易范围、经营状况、用户、资金需求以及行业的发展进行具体的分析，解决小型企业的经营难题。阿里小贷首创了线上的审核到放贷的模式，有效连接贷款的全过程，为弱势群体提供个性化的小额贷款。

3互联网金融风险控制的一般原则

风险控制最有效的方法就是将所有的鸡蛋以不同的比例分开装在不同的篮子里，即“小额、分散”，避免集中投放。“分散”在风险控制方面有着非常重要的作用，借款客户个体差异性较大，所处的地域不同，且自身的条件有差异如年龄、学历等，这些分散的个体其违约的概率相对独立，同时违约的概率非常小。如100个独立的个人其违约的概率是20%，如果随机抽2个人，同时违约的概率为20%2即4%，随机抽出5个人，同时违约的概率为20%5，如果抽出8个人同时违约的概率为20%8，但是如果这100个人存在相关性，甲违约的时候乙也违约，那他们同时违约的概率就是10%（20%•50%），远远高于4%，因此贷款个体之间的独立性是降低风险的必要措施。“小额”是避免“小样本偏差”。如：某贷款公司现在的贷款一共有10亿，如果每个借款人平均可以借5万，总共有2万客户，如果单笔借款金额是100万，就有1000个客户。根据统计学中的法则，样本个数越多，越能符合正态分布规律。因此，如果借款人违约率是2%，那这5万个客户的违约率就会高于1000个客户的违约率。通过数据分析建立风控模型和决策引擎也非常重要。小额分散借款客户较多，若银行采用传统的信审模式不能统一量度还款能力、还款意愿，就会增加风险成本。因此可以借鉴国外的P2P，采用信贷工厂模式，建立风险模型，根据客户的行为特征判断出该客户的违约概率，降低人工审核的成本，避免人工审核和判断标准的误差。风控体系的核心方法除了依据小额分散原则外，要研究不同特征个体的违约率，建立数据风控模型和评分卡体系，将其固定到风控审批的业物流程和决策引擎中，掌握不同特征个人的违约率程度，指导风险审批业务开展。

4大数据在互联网金融风控方面的具体应用

由于国内金融体系尚不完善，国内的用户数据虽数量较大但不准确，导致现阶段国内将大数据方式涉及到互联网金融的产品还比较少，数据来源困难且不精准增加了互联网金融的困难。在不依赖央行征信系统的情况下，各具特色的风险控制系统在互联网市场自发形成，小公司通过信息分享，借助第三方获得咨询服务，而大公司则通过大数据建立信用评级系统。现阶段互联网金融的风控体系大致有两种：一种是众多的中小互联网金融公司给中间征信机构贡献数据，进而获得征信信息的分享权；另一种类似于与阿里巴巴的风控模式，建立信用评级和风控模型需要对大量的电商交易和支付信息数据进行分析。央行的征信系统结合身份认证中心的身份审核，通过社会机构和商业银行的数据，给银行提供银行信用查询和个人信用的相关报告，但对其他的互联金融公司或机构不提供查询服务，一些个人信贷记录也没有在该系统里，但有可能在其他的机构和互联网金融公司的系统里存在。互联网数据庞杂且量大，充满噪音。阿里建立完善的大数据挖掘系统较早，但是很多人还处于迷茫状态，通过淘宝、天猫、支付宝等积累大量支付数据作为基础的数据原料，结合卖家的销售数据和银行流水等数据，进行全面汇总后借助网络评分的模型进行信用评级活动。信用卡类网站的大数据同样也对互联网金融风险控制具有非常重要的价值，可参考用户信用卡办卡年份、还款信息、信用额度、卡片种类等进行信用评级。2013年阿里巴巴收购新浪微博18%的股份花费5.86亿美元，目的就是为了获得社交大数据，进而完善了大数据，信用卡的还款信息、交易、支付、淘宝的水电煤缴费信息现阶段已经成为数据的基础。未来第三方支付平台支付的方向、额度、购买品牌及金额都可能成为信用评级的数据参考，而生活类服务网站有关用户的生活消费如水、电、煤、物业费、电话费、网络费都有可以反映用户的基本信息，为信用评级提供重要的参考，拥有这些所有的大数据才能够进行数据的加工。

5结语

社会经济的发展离不开金融的支持。互联网金融服务将会建立更完善、更全面的信用体制和风险管理体制，从粗放式向精细化转型，从抵押向信用转变，风险控制将变得很关键，大数据毫无疑问也变得非常重要，但是现阶段互联网交易额较小，用户规模不大，需要结合实际情况及时修正模型，从而优化风险控制模型。

作者：汪琼 单位：百融（北京）金融信息服务股份有限公司

大数据应用论文:大数据技术对网络安全的应用

摘要：随着计算机网络技术在各个行业中的应用与发展的不断广泛化，网络安全也越来越受到企业和个人的重视。网络安全不仅会影响国家重要信息的安全性也会影响私人信息的安全，而现阶段大数据技术的不断引进与应用使得信息网络进入到了一个新的发展阶段。现在全球数据存有量正在每年超过40%的速度在增长，然而信息网络所承载的信息数据正在向分散化、多样化，复杂化的趋势发展从而增加了网络信息数据管理的难度，更冲击了传统的网络安全管理技术，介于网络信息数据增长速度之快，影响网络安全的因素也在不断地增加，所以网络安全迫切的需要引进大数据技术来进行网络安全分析，满足高科技环境下信息网络安全的需求。

关键词：网络安全分析；大数据技术；应用

引言

随着网络技术应用的普遍性，网络安全分析的数据也在呈指数曲线的速度增加，而且数据来源的广泛性和内容的细致性也使得网络安全分析的架构也越来越复杂，分析维度也越来越大，再加上4G时代的到来和智能化设备的不断更新换代使得信息数据的发送和接收速度也越来越快，数据分析的速度跟不上使网络安全漏洞增加，影响力增大，造成此现象严重的主要原因就是网络安全传统分析架构已经不能满足现在网络信息数据分析的要求了，所以要引进新的技术。

1大数据技术在网络安全分析中的应用

1.1大数据技术分析

大数据安全分析主要是为了完善网络安全分析中传统安全分析能力的不足，大数据技术的核心技术分别是分布式采集处理、自然语言理解、流量计算引擎、关联分析、大规模机器学习和可视化人机交互等多种分析方法[1]，实现在规模不断扩大的海量异构数据信息中快速发现安全攻击和安全威胁的一种工具。在大数据技术安全分析中该技术主要从分布式计算框架、流式计算引擎、分布式存储技术来分析的。分布式计算框架不依赖高端硬件、扩展性强的优点提高了大数据技术应用的适应性，使得一些低端配置的设备都能引用该技术；流式计算引擎主要通过解决大数据历史分析系统交互式计算，给网络信息数据的快速查找提供了便利条件；分布式存储技术能够利用多台存储设备来分担大量数据的存储负荷，从而扩大了大数据技术存储的能力，也降低了存储管理成本，在一定程度上也提高了整个网络安全系统的可靠性和安全性。

1.2网络安全分析引入大数据技术的必要性

随着网络信息数据量的大量增加，数据来源越来越广泛细致，分析维度也越来越大的特点下，利用传统的技术架构和结构化数据库进行数据的存储的和分析，不仅会增大网络信息数据的存储成本，也会导致一部分信息数据被丢失，并且随着时间的延长有些时间较长的数据不能很好地被保存起来，这样就会给日后信息数据的追踪和查找带来了困难，并且数据广泛的来源也给异构数据的关联分析和融合带来了很大的困难，而对于传统的网络安全分析的技术已经很难满足现在庞大的、迥异的网络信息数据分析的需求了。早在2013年的调查资料中显示，大数据技术在未来信息架构的分析发展中有着很大的优势，并且近年来已经有不少领域开始引进大数据技术。大数据技术之所以被各个领域重视，是因为它能够支持海量的且迥异的数据的存储和计算，相对于传统网络安全分析技术来说，大数据技术使大量原始网络信息数据的存储和分析成为了可能；大数据技术对于传统技术来说对网络信息数据的存储成本较低，并且大数据技术在普通硬件水平上的应用没有局限性，在信息数据的查询过程中查询速度又快、精度又高，从而提升了网络安全分析中一些数据的挖掘能力，提升了网络安全分析的深度和广度[2]，并为大数据技术在网络安全分析中的应用奠定了坚实的基础。

1.3网络安全分析中大数据技术应用分析

在我们的日常生活中，我们每天都在和数据打交道，不是创造数据就是利用分析数据。比如在我们有手机电脑上的聊天软件聊天时就是在创造信息数据，聊天过程中流量的消耗就是在应用数据（对近年来网络流量使用数据调查如表1），设想一下如果我们的聊天数据被窃取，是多们可怕危险的事情，再往大了去想就是国家机密数据，如果这些数据的丢失将会给整个国家带来危险，所以网络安全分析是当前网络数据分析中相当重要的一方面。目前网络安全分析的主要数据就是流量和日志，但是由于这些数据的分散性和存储有限性使得网络安全预测存在漏洞，而大数据技术的引进则可以将分散的流量数据和日志数据集中到一起，利用大数据高效的采集和挖掘能力将采集到的数据存储起来，然后再利用大数据技术对采集挖掘到的数据进行分析和检索，对网络安全中存在安全隐患的数据进行处理，不仅提高了网络安全分析，也缩短了数据分析的时间，降低了信息丢失和泄露事件发生频率，由传统的被动防御变为大数据背景下主动地防御。

2大数据技术背景下网络安全平台的建设

2.1大数据背景下网络安全分析架构建设

在网络安全分析架构建设中主要是由下向上建立数据采集层、数据存储层、数据挖掘分析层、数据呈现层[3]等，由它们共同组成大数据技术的网络安全分析架构。基本组成结构如图1。网络安全分析架构中的数据采集层能够分布式的采集基于流、用户身份信息、事件和威胁情报等多源异构信息的收集；而大数据技术中的存储层则能够利用分布式文件系统长期大量的存储庞大的信息数据，并能将数据的结构化、半结构化、非结构化的方式的信息数同意存储，并未将来数据的检索提供了便利条件，而且还能保障所存储数据的安全性和完整性；数据挖掘分析层能够将数据进行关联分析，提取数据的特征，通过这种方式可以实现安全事件的挖掘，并能够很快地发现网络异常的安全行为，并对存在安全隐患的数据进行追溯，然后将其定位，等待安全处理；数据呈现层能够将大数据技术分析的结构进行可视化处理，通过多种维度展现网络安全的状态。

2.2网络安全平台实现的技术支持阐述大数据采集技术。安全平台主要利用大数据技术中的采集技术对海量的安全数据进行采集、整合、传输，该过程能够使使用方在安全性较高，可靠性也较高的状态下接收到源自不同范围的数据，然后在对收集到的信息数据进行处理。大数据存储技术。该技术主要是对采集过程中采集到的数据进行存储，借助该技术的高吞吐量和高容错性将采集到的大量数据存储起来，以保障数据的安全性和完整性。大数据分析技术。在安全平台中，该技术主要是完成数据的统计与分析工作，根据数据的结构化、半结构化、非结构化进行数据分析，然后建立分门别类的事件关系序列库，将数据由简单化转向复杂化，然后在大量的信息数据中查找网络安全的隐患，进而对安全隐患进行处理，保障网络安全。

3结论

通过对大数据在网络安全中的应用分析和网络安全平台的建设知道，大数据技术在网络安全分析中的应用不仅可以降低网络信息数据存储的成本，也提高了数据库的存储容量，更为数据的追溯和检索提供了很大的保障，相信在未来网络安全分析中，大数据技术必然会成为技术的主导力量。

作者：贾卫 单位：太原理工大学邮电中心

大数据应用论文:大数据在电力企业信息报送的应用

【摘要】信息是各级领导决策的重要依据，做好信息报送工作能有效支撑公司经营决策。大数据理念与技术的出现，能够在碎片化的海量数据中挖掘关键信息，也为信息报送与决策服务提供了新的理念与技术手段。以电网企业为例，阐述大数据在信息报送中的应用原则，重点分析报送工作不同环节中应用场景，包括选题识别、评价、规划等重点应用，提出词频分析、关键词相关分析等算法模型，并为大型企业提升信息报送效率与质量提出对策建议。

【关键词】大数据；信息；电力企业；选题

引言

当前世界政治经济格局深刻变化，我国经济发展“新常态”特征日益显著，电力企业发展改革面临更加复杂的外部环境，需要针对新形势、新变化及时作出科学决策。信息是各级领导决策的重要依据，做好信息报送工作能有效支撑电力企业经营决策。大数据理念与技术的出现，能够在碎片化的海量数据中挖掘关键信息，也为信息报送与决策服务提供了新的理念与技术手段［1-5］。本文以电力企业及时决策、科学决策为需求导向，将数据跨界、关联分析、动态预测等大数据理念与技术方法应用到信息报送工作中，形成一套重要信息及时识别、收集、快速分析研判的技术支撑体系，提高信息选题、报送的精准性，提高数据向信息的转化效率，提升信息在决策支撑中的价值［6-7］。

1传统信息情报工作应用现状与发展趋势

1.1传统信息报送工作量与难度不断提高由于信息报送的重要意义，对于工作开展的难度与要求相应较高。一方面，电力企业信息工作者需要编辑处理的信息量特别大。每天摆在信息工作者案头上的各种信息数以10万字以上，特别在目前移动互联网时代，信息工作者需要了解的信息源、信息渠道更为多样，信息处理量、信息热点更加点多面广。目前信息报送工作每年需要处理的文字量达到150万字到200万字。另一方面，电力企业信息工作者需要整合多种信息的难度大。以组织编辑一篇《国家电网专报》为例，往往从策划、查找材料到编写需要搜集整合大量的信息，分析观点与论据、梳理素材与线索的工作难度非常大，而目前这部分工作完全是通过人工完成的。1.2大数据手段提升信息报送工作势在必行大数据时代，随着互联网的快速发展、新兴技术的兴起，音频、文字、图片、视频、地理位置等半结构化和非结构化数据大量涌现，数据正以前所未有的速度在不断的增长累积。借助大数据理念、方法，电力企业的信息报送将从注重处理结构化数据的传统信息管理模式，向多系统集成、多类数据实时收集、存储使用的新模式转变［8-9］。相关技术方法的执行遵循以下原则。一是统筹规划，增强协同：加大协作力度与广度，提高信息工作的整体性与多元化；二是平台统一，价值发现：以统一技术平台支撑各专业领域大数据应用，挖掘各类信息、数据中的价值；三是注重反馈，精益求精：增强信息报送工作中各层级、各专业的相互反馈，促进信息稿件质量不断提升；四是技术支撑，建用并重：加强对大数据相关技术模型的研发，边开发边应用，重视成果实用实效［10］。

2主要应用场景分析

2.1识别关键信息选题首先，将时事热点、领导关注焦点、电力企业改革难点等不同维度的信息进行综合分析与关联分析，从领导讲话、报告、互联网舆情、文件、重要外部数据等不同渠道数据与资讯中识别关键信息，自动推送具有价值的信息选题。其次，结合外部指标数据对电力企业经营决策的传导影响，提炼形成具有价值的信息选题，将不同信息选题经过整理纳入信息选题库，为领导快速决策提供知识储备。2.2构建信息选题指数选题指数主要衡量选题的价值，主要考虑选题的热度、关联性、实效性等维度，为选题报送提供技术支撑。利用选题指数可提升信息选题的精准性，提供选题工作效率。具体功能包括4个方面：一是选题入库，将各单位、部门上报的选题采集到信息报送工作数据库中，便于归档管理；二是选题识别，运用大数据分词技术，识别信息选题中的关键词或关键事件；三是选题评价，主要以重视度、时效性、关联性等维度，对信息选题进行综合评价，形成选题指数供参考；四是选题提示，当选题指数达到一定范围，则在信息报送工作数据库中自动推送给信息工作者，提示具有信息价值。其中选题指数评价主要考虑以下维度。一是关注度，事件及关联事件中涉及的关注度级别。二是时效性评价，事件社会热度分析以及时间点分析，社会热度可借助互联网指数分析社会大众对事件的关注热度；三是关联性评价，通过互联网大数据分析信息事件与其他事件的关联度，并计算关联性高事件的关注度与时效性。2.3支撑信息选题规划将大数据应用于电力企业信息工作，可支撑相关常态化工作的开展。这里主要从以下4个流程对信息选题规划、计划进行优化，满足信息供给与需求动态平衡。首先，信息稿件数量的规划与计划中，可借助电力企业信息报送工作数据库，将已有的信息稿件，按信息领域、信息内容、信息数量、批示情况等分布规律进行分类与聚类，结合信息报送工作人员的工作量，合理确定需求与能力相匹配的稿件预期数量。其次，信息内容领域分布与设计中，可应用大数据关键信息识别技术对热点关注领域进行分析，如在电力、经营管理、能源、公共政策中挖掘主题，综合信息供应能力与领导需求偏好特点，并将其作为一段时间内电力企业信息报送工作的重点主题。最后，在信息报送工作组织管理方面，可利用大数据技术与应用手段，加强信息资源的共享与互动，在电力企业集团内构建更加细化的情报网络，及时将基层信息上报到企业总部。

3算法模型与技术平台

为使上述应用得到有效落实，需要在算法模型与技术平台方面开展全面设计与研究。3.1分词技术与词频统计分析模型该项技术主要应用于对信息稿件进行关键词提取与统计分析，适用于选题指数、报送指数、知识管理等场景。一是建立分句分词，把信息文本由段落分成单独句子，并利用自动分词工具将句子分成若干词；二是进行词频统计，计算每个词出现的频率；三是进行高频词与句子选择，基于频率选择出最重要的或最有代表性的单词，同时基于单词频率，可选出有代表的句子或段落。类词汇，便于识别高频词汇，筛选重要关键词。3.2关键词相关分析模型关键词相关分析模型主要应用大数据技术，将海量的文章存储到信息报送工作数据库后，通过分析与关键词具有联系的词汇出现频率，从而判断与关键词具有相关性的词汇。一是识别关键词出现的频率，即对应文章的数量；二是判断关键词与哪些主题有联系；三是判断关键词与这些相关主题联系的强弱。主要借助工具：VOSviewer、SATI3、UCINET，需要将3个软件进行综合应用。由图4可知，该文章中与能源相关性较强的词汇包括核能、天然气、水资源、电力等词，这些词都应作为分析其热度、关注度的相关词汇。3.3关键词热度分析模型利用互联网大数据资源，对信息中的关键词搜索频率、搜索时间进行统计，得到一段时间内关键词的热度。一是进行选题热词识别，主要将信息中的关键热词进行筛选与识别；二是进行热度评价。热度主要是通过互联网大数据分析判断得出。以内参“人民币进入SDR”为例分析关键词“SDR”的热度，通过对互联网点击数据的汇总与分析可发现，该选题在2015年12月1日附近热度最高，11月28日以前以及12月3日以后则热度骤减，可知11月29日至12月2日为该信息的最佳报送窗口，可为报送指数提供参考，也可将热度值进行量化为选题指数提供数据支持。3.4信息统计分析方法利用信息报送工作数据库，将所有信息按部门、类型、数量、主题、批示等不同字段进行统计，从而发现一定规律。一是按不同维度对信息进行分类统计，查找信息分布规律；二是对分析结果进行可视化展示；三是对分布规律进行显著性检验，验证结果的有效性。

4结束语

本文主要以需求为导向，紧密结合信息报送与决策服务中的热点、难点构建大数据在信息选题与报送中的应用框架，并从数据源、数据分析、挖掘、平台、管理支撑等方面建立一整套解决方案，以提高信息选题、报送的精准性，提高数据向信息的转化效率，提升信息在决策支撑中的价值。具体建议如下：一是建立信息情报开发与利用机制，统筹管理信息收集、分析与规划工作，在企业内部各个单位、部门中建立协作收集与分析机制，并建立优势互补的收集管理体系，提升电力企业整体信息情报获取与分析水平；二是建立跨部门信息协作的机制，建立分层、分级的管理制度与细则，建立信息保密制度，鼓励信息工作人员使用信息资料、分享信息资料；三是以选题指数、报送指数为突破口开展大数据应用的实施推广工作。结合选题、报送指数的设计思路，以部分选题为例开展指数的权重设计与模型研发，为信息选题与报送工作提供技术支撑；四是要有保证信息资源实现畅通共享的相关技术体系，在科技项目与信息化项目投入方面，需要研发一系列大数据工具、方法与模型，为支撑信息报送工作提供丰富的技术手段，提高工作效率。

作者：王鹏 孙艺新 单位：国家电网公司 国网能源研究院

大数据应用论文:大数据技术在电子政务的应用

【摘要】科学技术的发展使社会生活和工作的方方面面发生了变化，尤其是在电子政务领域，大数据时代的来临，使电子政务发展有了必然和可能，对大数据特点以及相关技术的研究，可以模拟出几种大数据在电子政务中的应用场景，大数据在以后的发展中还会有更为广阔的空间，因此要使电子政府能够更加高效、便捷，就需要在功能以及服务方面加以完善，打造出真正的现代化服务型政府。

【关键词】大数据；技术；电子政务；应用

随着我国互联网技术、云计算以及物联网等方面的快速发展，政府的各项事物也向着大数据方向发展开来，对于大量的、复杂的信息需要在采集以及存储和分析处理的过程中更加便捷的发挥作用，未来的政府决策等等也将以大数据信息来处理，改变了以往单单依靠经验和直觉对事物进行判断的状态。基于此，本文对大数据技术在电子政务领域的应用进行分析和研究。

1对大数据的相关研究

1．1大数据技术的主要特点

首先，能够处理比较大的数据量。所谓大数据时代就是社会工作和生活中的每天的数据都会呈现增长的状态，这样如果用比较传统的方式就没有办法妥善的处理，但是利用大数据技术能够解决大量数据堆积的情况。其次，对不同类型的数据进行处理。大数据技术不仅仅对一些大量的、简单的数据能够进行处理，还能够处理一些复杂的数据，例如，文本数据、声音数据以及图像数据等等。最后，数据处理的速度非常快。大数据技术能够处理纷繁的数据类型，还能够高效的高速的完成数据的处理。另外，大数据技术的应用具有密度低和价值大的效果。一些零散的，各种类型的数据，如果不能在短时间内分析出来信息所表达的含义，那么可以利用大数据分析技术，将信息中潜藏的价值挖掘出来，以便于工作研究或者其他用途的使用，便于政务的便捷化和深层次化。

1．2大数据技术的介绍

大数据主要是对一些不能使用常规性软件对其数据进行分析、处理和采集的一种数据的集合。而大数据技术则是对各种规模比较大的数据进行信息的获取，这种技术包含大数据的挖掘技术、分布式数据库以及分布式软件系统的集合和云计算处理。大数据的整体技术需要从以下几点出发进行研究:首先，数据的采集。大数据技术可以在采集数据的基础上进行责任的异构，在分布式的数据源中进行数据的抽取和采集，然后再经过筛选、转换以及集成，加载到相应的数据库中，为政务数据挖据和分析打下坚实的基础［1］。其次，数据的存取。数据的存取过程是对关系数据库以及非结构性数据量中的数据进行的存取，其中包含SQL、NOSQL等等。再次，基础架构以及数据处理。在基础架构的过程中，通过云计算的架构能够进行云储存的搭载，并且储存分布式元件等等。数据的处理主要是对数据进行加工和处理，其中包含了对原始数据的整理和计算，编辑与分析等等。最后，数据的统计和挖掘。通过聚类分析、卡方分析以及距离等分析上，可以对数据进行统计分析，另外，其他常见的方法还有对应分析和多元分析。数据的挖掘技术主要是对在现有数据当中对一些图形文件、视频文件和音频文件等等通过数据挖掘技术使用的各种算法进行的计算。这样的计算所起到的作用是对未来进行全面的效果预测，以此实现高级别数据的分析需求，在数据挖据技术的使用过程中，需要有分类、预估以及相关性的描述和聚类等等，使用的开放工具是mahout等。

2大数据在政务工作中的应用

2．1使用大数据技术对政府网站进行大数据的分析

通过大数据技术能够在各个省市以及县级政府的网站中，抽取用户经常访问的界面，然后对用户在界面上停留的时间，浏览的内容、浏览的时间等进行交互信息的获得，由此对用户的需求做出简要地分析。在大数据使用的基础上，可以根据用户对政府网站的需要，进而达到优化网站的目的，基本从网站的页面、网站的栏目中以及网站的功能上进行服务优势和缺陷的分析，这样不仅可以提升网站的响应能力还能够将政府的一些信息及时的推动到用户的手中，通过政府网站日志集成的办法处理各种数据的集成，进而成为政府领导为城市以后的发展和谋划提供较为科学的依据，让科学决策拥有强大的技术支持。

2．2大数据技术在政务工作中的信用平台建设

使用大数据技术可以将政府各个职能部门或者法人以及个人的信息资源利用起来，以此最大化的推动政府规范诚信机构的建设，建立起个人的信用信息使用平台，让个人信用在大数据背景下建设成完善的体系和模式，以此为社会工作和社会生活提供一些较为准确的、及时的、有效的个人诚信信息，促进政府个人信用信息的开发和利用，为了建设诚信地社会奠定一个较为完善的和坚实的基础。例如，在调查某政府部门中职员的信用信息时，就可以利用这个方法获得。

2．3电子政务方面大数据交换共享平台的构建

利用大数据技术，可以为政府建立起电子政务大数据信息的共享和交换平台，并且通过这种方法将政府各个办公室以及社会群体所收集到的信息进行分类和筛选，通过对比和分析以后，建设成为有自然人、法人以及空间地理集合的基础性数据库，以此做到强化信息资源使用，通过信息资源整合形成的政务信息资源。在大数据的基础上，所形成的交换以及共享平台可以实现政府各个部门之间的横向和纵向的信息集合，然后，在跨地区、跨政府的条件下也可以进行业务方面的交流和沟通，促进业务协同的开展。依托于这种信息共享和交换平台，可以制定出信息资源共享的统一目录以及标准，进而产生社会政务的开放性数据，有利于促进社会资源的有效开发和利用，为政府之间跨层次的交流提供保障，也为社会的公共服务和社会的公共管理和宏观调控提供了一定的数据支撑。

2．4大数据下电子政务决策系统的应用

在大数据技术的支持下，因为有比较强大的信息数据存储能力和较为突出的信息数据挖掘能力，并且信息的分析处理的作用力也非常强，这样政府就可以从各个部门所收集的海量数据中提取出一些有用的信息进行分析和处理，以此提升政府的决策力度，提升决策的精准性和科学性，让政府在一些社会工作的预警能力上有突出的表现，起到解决决策成本以及促进城市管理的目的，可以在交通的智能化管理上、环境问题的检测上提供更加准确的，共决策使用的数据。

3结语

综上所述，本文对大数据时代政务工作的有效开展进行了分析和研究，主要指出了大数据的特点、基本的优势以及大数据技术在政务工作中的具体应用等等。今天是信息科学技术的时代，每一个人，每一个单位都需要重视科学技术的作用，让信息和大数据能够为人们所用，在提升劳动生产效率方面发挥积极的作用，逐步的推进我国大数据在电子政府领域的建设，为打造智能型，服务型政府而做出努力。

作者：潘涛 单位：鄂州职业大学

大数据应用论文:大数据技术在石油行业信息化的应用

摘要：运用大数据技术实现对现代石油行业信息化的管理，成为了现代石油行业信息化管理发展的重点，而大数据技术在企业中的实际应用，主要集中体现在新型云计算服务的应用上。在企业信息资源的优化调整中，通过对业务的需求分析并运用大数据技术，提供契合度最高的信息服务资源。以云计算技术作为主要突破口来探究现代石油行业在发展中的主要动向。

关键词：大数据技术；石油行业；信息化；云计算

作者简介：郭瑞（1986-），男，助理工程师，本科；李健（1987-），男，助理工程师，本科；田立锋（1984-），男，助理工程师，本科

伴随着现代社会的飞速发展，大数据技术已经成为了石油石化行业信息化管理的重要手段。在大数据技术的管理与发展中，云计算技术的使用成为了软硬件资源管理的主要集中体现的区域。而云计算领域的涉及也逐步地让人们了解到大数据应用技术的便捷性。下面针对大数据技术在石油行业信息化中应用的具体实践情况进行简要论述。

1云计算技术

什么是云计算技术呢？可以理解为在网络配套设施的使用中，集中资源地统一化管理分配，从而使用户通过协同合作来完成企业、个人的信息服务。其主要的核心技术集中体现在虚拟化技术、数据存储技术和并行计算技术3个方面。虚拟化技术：是对服务的一种虚拟化，将更多的服务资源进行统一管理后，实现多个虚拟服务器共同服务的效果。这样对于用户所需要服务资源能够进行一个更高效的支配管理，同时在数据处理和桌面系统运行上，也能够实现的服务资源利用的最大化。数据存储技术：这一技术属于云计算的存储技术，利用分布式的信息系统，完成对计算机集群的整合管理，通过有效设置实现对更加庞大的类型数据进行存储的目标。在运行中主要依据于软件的集合工作，从而达到内外部的业务数据访问的目的。从目前的数据存储技术来看，主要有Google文件系统（GFS）和Hadoop分布式文件系统（HDFS）两种技术来供应实际的使用。并行计算：是指同时使用多种计算资源解决计算问题的过程，是提高计算机系统计算速度和处理能力的一种有效手段。这种计算方法，能够极大地提高计算的资源的处理速度。通过化整为零的方式实现一个问题分步解决，从而解决大型而复杂的计算问题。

2信息化运行现状和发展趋势

伴随着我国经济的迅速发展，石油行业也得到了全面的发展，在管理上也逐渐地意识到信息化改革的重要性。在实施的石油行业管理中，通过对传统模式的改革，逐步地实现了向信息化、数字化转变的目标。通过对企业信息资源的有效性管理，并结合现有的管理模式，更加有效地提高了企业资源的利用率。下面对传统管理模式和信息化管理模式的优缺点进行对比。信息检索速率的改革：传统的信息管理会面临巨大的信息检索工作，即便是在现代的企事业单位高效率软硬件工作环境下，信息传输速率也都会出现瓶颈。而大数据技术的信息检索管理则会有效地改善此类问题，从而更加便捷地将生产、维护、运行中所出现的信息资料统一进行提取备份分析，通过高效的算法以及软硬件资源的里配置，迅速地筛选出所需要的一系列信息资源，从而实现对信息速率的极速提升。通过这样的信息技术应用，极大地提高了企业部门的系统管理工作的效率，加速了企业管理的信息化市场应用改革的进程。产品全生命周期管理的改革：传统的产品生命周期较为复杂和繁琐，通过可研、立项、设计、施工、运行、维护监测等多个阶段测试后，方可进行投产使用。而设计期间以及施工期间的信息检索以及采集处理需求量较大，导致资源消耗也过大，极大地增加的生产周期的负担与运营成本。而大数据技术中的信息模拟仿真技术就是解决此类问题的有效方法，它能够合理地利用和分配现有资源，精准地检索出所需资料，并高效地进行数据处理。同时通过虚拟的模拟演算，实现对数据准确性的校验与检测，最终达到缩短工期的目的，为生产提供了更高的生产安全保障。行业信息的展示方面：传统的信息管理方法，主要通过纸质文件的形式来进行展示存在诸多的不便。而通过现代大数据技术的信息化管理，能够更加直接地将信息展现在人们的视野之下，使用户获得全方位立体式的信息展示，从而使信息更容易被用户解读，也让用户更有兴趣去了解所展示的信息。

3云计算技术的实际应用

云计算技术在石油行业信息化中的提供的服务与架构如

3．1数字化油田的空间数据库构架

利用大数据技术的超强数据存储能力和虚拟化技术构建一个更加完善和全面的油田空间数据结构，通过等比例尺的多维度数据监控管理，配合虚拟化技术提供的资源与服务，实现在地理信息数据上的有效调度与管控。

3．2建立数字油田的标准体系

数字油田虽然已经经过多年的建设和发展，但是数字油田标准化体系一直处于滞后的状态，成为制约数字油田进一步发展的关键因素。建立数字油田的首要任务是制定有关数字油田建设项目管理类标准规范、软件开发及运行维护通用标准规范、数据建设类标准规范。其中总体设计还会涉及到基础信息分类编码规范和适用于勘探开发应用系统建设的具体标准规范。数字油田标准化体系的建立会对工程项目管理、信息基础设施、数据及交换、信息安全、信息系统建设、系统运维服务等多个方面提供最佳的数字化信息服务。

3．3建立企业数据仓库

随着数据容量与数据类型在过去几十年里的大幅增长，传统的数据存储模式已经无法负荷日益增长的数据量，而数据仓库技术的出现与发展满足了数据存储与分析的这两类庞大的需求，从而彻底改变了数据集成的前景。在建立数据仓库的技术方法中，企业中所有数据首先会根据数据类型进行分类，也会考虑到数据本身的性质及其相关的处理需求。数据处理过程将会用到内置在处理逻辑中并且整合到一系列编程流程中的业务规则，数据处理会使用到企业元数据、主数据管理（MDM）和语义技术等。数据仓库技术可以高效利用当前及未来的数据架构和分类方法，保持处理逻辑的灵活性，使它能够在不同的物理基础架构组件上发挥作用，从而提高企业的信息化管理的效率。

3．4大规模数据的并行处理与计算

现有并行程序设计算法需要考虑数据的存储管理、任务划分与调度执行、同步与通信、灾备恢复处理等几乎所有技术细节，且非常繁琐。为了进一步提升并行计算程序的自动化并行处理能力，应该尽量减少对很多系统底层技术细节的考虑，从底层细节中彻底解放出来，从而更专注于应用问题本身的计算和算法实现。目前已发展出多种具有自动化并行处理能力的计算软件框架，如GoogleMapReduce和HadoopMapReduce并行计算软件框架，以及近年来出现的以内存计算为基础、能提供多种大数据计算模式的Spark系统等。并行计算的性能评估是通过加速比来体现性能提升的，这里所提到的加速比是指并行程序的并行执行速度相对于其串行程序执行速度加速了多少倍。这个指标贯穿于整个并行计算技术，是并行计算技术的核心。从应用角度出发，不论是开发还是使用，企业都希望随着处理能力的提升，并行计算程序的执行速度也需要有相应的提升，从而完成大规模数据的并行处理与计算。

4结语

随着现代信息化技术的不断发展，已经逐步地实现全面的信息化改造建设。而对于作为社会生产命脉的石油石化行业，利用大数据技术实现其信息化的管理与发展，已经成为了一种趋势。在本次的论述中，针对于传统的信息管理策略与现阶段的社会生产模式进行了对比分析与研究，通过对现有问题的探究与认知，进一步证明了大数据技术具有更加便捷高效的特点。倘若要在石油行业的全面信息化建设中大力发展大数据技术的管理，仍需要进行不断的更新与调整，只有做好各个方面适应性改造，才能够实现对工程管理技术上的重大科技突破。

作者：郭瑞 李健 田立锋 单位：海洋石油工程股份有限公司