时间:2022-06-18 15:59:31
导言:作为写作爱好者,不可错过为您精心挑选的10篇挖掘技术论文,它们将为您的写作提供全新的视角,我们衷心期待您的阅读,并希望这些内容能为您提供灵感和参考。
随着信息技术迅速发展,数据库的规模不断扩大,产生了大量的数据。但大量的数据往往无法辨别隐藏在其中的能对决策提供支持的信息,而传统的查询、报表工具无法满足挖掘这些信息的需求。因此,需要一种新的数据分析技术处理大量数据,并从中抽取有价值的潜在知识,数据挖掘(DataMining)技术由此应运而生。
一、数据挖掘的定义
数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程,这些信息的表现形式为:规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据,并从中发现隐藏的关系和模式,进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。
二、数据挖掘的方法
1.统计方法。传统的统计学为数据挖掘提供了许多判别和回归分析方法,常用的有贝叶斯推理、回归分析、方差分析等技术。贝叶斯推理是在知道新的信息后修正数据集概率分布的基本工具,处理数据挖掘中的分类问题,回归分析用来找到一个输入变量和输出变量关系的最佳模型,在回归分析中有用来描述一个变量的变化趋势和别的变量值的关系的线性回归,还有用来为某些事件发生的概率建模为预测变量集的对数回归、统计方法中的方差分析一般用于分析估计回归直线的性能和自变量对最终回归的影响,是许多挖掘应用中有力的工具之一。
2.关联规则。关联规则是一种简单,实用的分析规则,它描述了一个事物中某些属性同时出现的规律和模式,是数据挖掘中最成熟的主要技术之一。关联规则在数据挖掘领域应用很广泛适合于在大型数据集中发现数据之间的有意义关系,原因之一是它不受只选择一个因变量的限制。大多数关联规则挖掘算法能够无遗漏发现隐藏在所挖掘数据中的所有关联关系,但是,并不是所有通过关联得到的属性之间的关系都有实际应用价值,要对这些规则要进行有效的评价,筛选有意义的关联规则。
3.聚类分析。聚类分析是根据所选样本间关联的标准将其划分成几个组,同组内的样本具有较高的相似度,不同组的则相异,常用的技术有分裂算法,凝聚算法,划分聚类和增量聚类。聚类方法适合于探讨样本间的内部关系,从而对样本结构做出合理的评价,此外,聚类分析还用于对孤立点的检测。并非由聚类分析算法得到的类对决策都有效,在运用某一个算法之前,一般要先对数据的聚类趋势进行检验。
4.决策树方法。决策树学习是一种通过逼近离散值目标函数的方法,通过把实例从根结点排列到某个叶子结点来分类实例,叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试,该结点的每一个后继分支对应于该属性的一个可能值,分类实例的方法是从这棵树的根结点开始,测试这个结点指定的属性,然后按照给定实例的该属性值对应的树枝向下移动。决策树方法是要应用于数据挖掘的分类方面。
5.神经网络。神经网络建立在自学习的数学模型基础之上,能够对大量复杂的数据进行分析,并可以完成对人脑或其他计算机来说极为复杂的模式抽取及趋势分析,神经网络既可以表现为有指导的学习也可以是无指导聚类,无论哪种,输入到神经网络中的值都是数值型的。人工神经元网络模拟人脑神经元结构,建立三大类多种神经元网络,具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。
6.遗传算法。遗传算法是一种受生物进化启发的学习方法,通过变异和重组当前己知的最好假设来生成后续的假设。每一步,通过使用目前适应性最高的假设的后代替代群体的某个部分,来更新当前群体的一组假设,来实现各个个体的适应性的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体,产生新种群(后代)的过程;交叉〔重组)选择两个不同个体〔染色体)的部分(基因)进行交换,形成新个体的过程;变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中,可以被用作评估其他算法的适合度。
7.粗糙集。粗糙集能够在缺少关于数据先验知识的情况下,只以考察数据的分类能力为基础,解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性,对数据库中的元组根据各个属性不同的属性值分成相应的子集,然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合,形成知识的基本成分。任何初等集合的并集称为精确集,否则,一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素,也就是那些既不能确定为集合元素,也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。
8.支持向量机。支持向量机(SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法。它基于结构风险最小化原则上的,尽量提高学习机的泛化能力,具有良好的推广性能和较好的分类精确性,能有效的解决过学习问题,现已成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外,支持向量机算法是一个凸优化问题,局部最优解一定是全局最优解,这些特点都是包括神经元网络在内的其他算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。
事实上,任何一种挖掘工具往往是根据具体问题来选择合适挖掘方法,很难说哪种方法好,那种方法劣,而是视具体问题而定。
三、结束语
2、数据挖掘技术主要步骤
数据挖掘技术首先要建立数据仓库,要根据实际情况而定,在易出现问题的有关领域建立有效的数据库。主要是用来把数据库中的所有的存储数据进行分析,而目前的一些数据库虽然可以进行大量的存储数据,同时也进行了一系列的技术发展。比如,系统中的在线分析处理,主要是为用户查询,但是却没有查询结果的分析能力,而查询的结果仍旧由人工进行操作,依赖于对手工方式进行数据测试并建模。其次,在数据库中存储的数据选一数据集,作为对数据挖掘算法原始输入。此数据集所涉及到数据的时变性以及统一性等情况。然后,再进行数据的预处理,在处理中主要对一些缺损数据进行补齐,并消除噪声,此外还应对数据进行标准化的处理。随后,再对数据进行降维和变换。如果数据的维数比较高,还应找出维分量高的数据,对高维数数据空间能够容易转化为检点的低维数数据空间进行处理。下一步骤就是确定任务,要根据现实的需要,对数据挖掘目标进行确定,并建立预测性的模型、数据的摘要等。随后再决定数据挖掘的算法,这一步骤中,主要是对当前的数据类型选择有效的处理方法,此过程非常重要,在所有数据挖掘技术中起到较大作用。随后再对数据挖掘进行具体的处理和结果检验,在处理过程中,要按照不同的目的,选择不同的算法,是运用决策树还是分类等的算法,是运用聚类算法还是使用回归算法,都要认真处理,得出科学的结论。在数据挖掘结果检验时,要注意几个问题,要充分利用结论对照其他的信息进行校核,可对图表等一些直观的信息和手段进行辅助分析,使结论能够更加科学合理。需要注意的是要根据用户来决定结论有用的程度。最后一项步骤是把所得出的结论进行应用到实际,要对数据挖掘的结果进行仔细的校验,重点是解决好以前的观点和看法有无差错,使目前的结论和原先看法的矛盾有效解除。
3、数据挖掘技术的方法以及在电力营销系统中的应用和发展
数控挖掘技术得到了非常广泛的应用,按照技术本身的发展出现了较多方法。例如,建立预测性建模方法,也就是对历史数据进行分析并归纳总结,从而建立成预测性模型。根据此模型以及当前的其他数据进行推断相关联的数据。如果推断的对象属于连续型的变量,那么此类的推断问题可属回归问题。根据历史数据来进行分析和检测,再做出科学的架设和推定。在常用的回归算法以及非线性变换进行有效的结合,能够使许多问题得到解决。电力营销系统中的数据挖掘技术应用中关联规则是最为关键的技术应用之一。这种应用可以有效地帮助决策人员进行当前有关数据以及历史数据的规律分析,最后预测出未来情况。把关联规则成功引入电力营销分析,通过FP-Growth算法对电力营销的有关数据进行关联规则分析,从中得出各种电量销售的影响因素以及外部因素、手电水平等的关联信息,以便更好地为电力的市场营销策略提供参谋和决策。对电力营销系统的应用中,时间序列挖掘以及序列挖掘非常经典、系统,是应用最为广泛的一种预测方法。这种方法的应用中,对神经网络的研究非常之多。因此,在现实中应用主要把时间序列挖掘以及神经网络两者进行有效地结合,然后再分析有关电力营销数据。此外,有关专家还提出应用一种时间窗的序列挖掘算法,这种方式可以进行有效地报警处理,使电力系统中的故障能够准确的定位并诊断事故。此算法对电力系统的分析和挖掘能力的提高非常有效,还可判定电力系统的运行是否稳定,对错误模型的分析精度达到一定的精确度。
随着科技的进步,现代挖掘机一般都采用了机电液一体化控制模式,我们在排除一些故障时,解决的多是发动机、液压泵、分配阀、外部负荷的匹配问题。一般在挖掘机作业中,这几方面不能匹配,经常会表现为:发动机转速下降,工作速度变慢,挖掘无力以及一些常见问题。
1发动机转速下降
首先要测试发动机本身输出功率,如果发动机输出功率低于额定功率,则产生故障的原因可能是燃油品质差、燃油压力低、气门间隙不对、发动机的某缸不工作、喷油定时有错、燃油量的调定值不对、进气系统漏气、制动器及其操纵杆有毛病和涡轮增压器积炭。如果发动机输出动力正常,就需要查看是否因为液压泵的流量和发动机的输出功率不匹配。
液压挖掘机在作业中速度与负载是成反比的,就是流量和泵的输出压力乘积是一个不变量,泵的输出功率恒定或近似恒定。如果泵控制系统出现了故障,就不能实现发动机、泵及阀在不同工况区域负荷优化匹配状态,挖掘机从而将不能正常工作。此类故障要先从电器系统入手,再检查液压系统,最后检查机械传动系统。
2工作速度变慢
挖掘机工作速度变慢主要原因是整机各部磨损造成发动机功率下降与液压系统内泄。挖掘机的液压泵为柱塞变量泵,工作一定时间后,泵内部液压元件(缸体、柱塞、配流盘、九孔板、龟背等)不可避免的产生过度磨损,会造成内漏,各参数据不协调,从而导致流量不足油温过高,工作速度缓慢。这时就需要整机大修,对磨损超限的零部件进行修复更换。
但若不是工作时间很长的挖掘机突然变慢,就需要检查以下几方面。先查电路保险丝是否断路或短路,再查先导压力是否正常,再看看伺服控制阀-伺服活塞是否卡死以及分配器合流是否故障等,最后将液压泵拆卸进行数据测量,确认挖机问题所在。
3挖掘机无力
挖掘无力是挖掘机典型故障之一。对于挖掘无力可分为两种情况:一种为挖掘无力,发动机不憋车,感觉负荷很轻;第二种为挖掘无力,当动臂或斗杆伸到底时,发动机严重憋车,甚至熄火。
①挖掘无力但发动机不憋车。挖掘力的大小由主泵输出压力决定,发动机是否憋车取决于油泵吸收转矩与发动机输出转矩间的关系。发动机不憋车说明油泵吸收转矩较小,发动机负荷轻。如果挖掘机的工作速度没有明显异常,则应重点检查主泵的最大输出压力即系统溢流压力。如果溢流压力测量值低于规定值,表明该机构液压回路的过载溢流阀设定值不正确,导致该机构过早溢流,工作无力。则可以通过转动调整螺丝来调整机器。②挖掘无力,发动机憋车。发动机憋车表明油泵的吸收转矩大于发动机输出转矩,致使发动机超载。这种故障应首先检查发动机速度传感系统是否正常,检查方法与前文所述发动机检查方法类似。经过以上细致的检查与排除故障,发动机速度传感系统恢复正常功能,发动机憋车现象消失,挖掘力就会恢复正常。
4挖掘作业过程中的常见故障
挖掘机在施工作业中经常出现的一些普遍的故障,如:挖机行走跑偏,原因可能为行走分配油封(又称中心回转接头油封)损坏;两个液压泵流量大小不一;一边行走马达有问题。液压缸快速下泄则可能为安全溢流阀封闭不严,或缸油封严重损坏等等。多智网校诚招全国各地市独家线下商,共同开发网上教育市场。多智教育()!
5挖掘机的日常保养
当今,国内外电子商务类网站日益兴起。许多电子商务类网站都提供了一定程度的个性化服务,比如提供商品推荐服务。而构成这些个性化服务的基础就是数据挖掘技术。
一、数据挖掘分析
1.数据挖掘的定义。数据挖掘(datamining,DM)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。包括存储和处理数据,选择处理大数据集的算法、解释结果、使结果可视化。
2.数据挖掘的方法。从商业的角度来看,数据挖掘是一种新的商业信息处理技术,其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理,从中提取辅助商业决策的关键性数据。数据挖掘的方法大致可以分成4类:关联分析、概括分析、分类分析、聚类分析。(1)关联分析:分析表面上不相关数据之间的内在联系,揭示各事之间的依赖性和相关性,分析范围包括简单关联、因果关联等。在电子商务中,用数据挖掘找到隐藏的关联规则,当客户浏览、搜索关联规则中的某种商品时,就可以在页面中以推荐商品的形式显示关联规则中的其它商品。在进货计划和促销计划中,也可以将这个因素考虑进去。(2)概括分析:即提取数据库中指定的数据集合的一般特性,找出遍性规律。(3)分类分析:设置分类规则,把各个事务或实体按照性质和特征不同进行归类,把数据层次化和规整化,从而建立数据的分类模型。(4)聚类分析:通过分析和归纳实体之间的特征差异,选出具相识特征的实体聚合成为一个类,并用某种规则来描述该类的相同属性,形成一种聚类规则,实际上,它是与分类分析法互逆的过程。
3.数据挖掘的过程。该过程从大型数据库中挖掘先前未知的、有效的、可实用的信息,并使用这些信息做出决策或丰富知识。(1)确定业务对象:清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的重要一步。挖掘的最后结构是不可预测的,但要探索的问题应是有预见的,为了数据挖掘而数据挖掘则带有盲目性,是不会成功的。(2)数据准备。数据的选择:搜索所有与业务对象有关的内部和外部数据信息,并从中选择出适用于数据挖掘应用的数据。(3)数据挖掘:对所得到的经过转换的数据进行挖掘。除了完善从选择合适的挖掘算法外,其余一切工作都能自动地完成。(4)结果分析:解释并评估结果。其使用的分析方法一般应作数据挖掘操作而定,通常会用到可视化技术。(5)知识的同化:将分析所得到的知识集成到业务信息系统的组织结构中去。
二、数据挖掘与电子商务的关系
在电子商务企业中,数据挖掘运用于客户行为分析,企业从中受益体现在以下四个方面:(1)可以发现客户和访问者的爱好、生活模式。(2)可以争取新顾客,怎样使产品适销对路、怎样给产品定价、怎样吸引单个客户、怎样优化Web网站。(3)可以用相应的信息确定顾客的消费周期,针对不同的产品制定相应的营销策略。(4)可以确定客户细分,为每一个客户的独特需求设计“量身定制”的产品。三、数据挖掘技术在电子商务中的应用
1.面向电子商务的数据挖掘系统设计。本系统电子商务平台采用基于三层体系结构构建,服务器端采用先进的J2EE平台构架,有完整的体系框架组成,具有很好的可扩展性、互联性和可维护性。因此面向电子商务的数据挖掘系统由数据库服务器、应用服务器和客户端三层组成,整个体系结构是以J2EE企业级的构建技术为基础。对数据挖掘过程中产生的数据,采用独立的数据挖掘库表存放,这样既不影响也不依赖数据挖掘的数据源。应用服务器完成所有的数据挖掘运算,通过接受客户端的设置,完成所有对数据进行探索、转换、挖掘的工作。数据挖掘系统的每个功能模块都以EJB的形式进行封装,以实现分布式计算和负载平衡等分布式计算的要求,把具有繁重计算任务的模块和用户交互模块分开。客户端要负责数据挖掘流程的创建工作、所有功能模块参数的设定以及各种可视化结果的显示。用户可以根据自己的要求任意创建各种形式的挖掘流程,同时按照需要执行某部分流程,获取相应的可视化分析结果,其系统体系结构如图所示。
面向电子商务的数据挖掘系统体系结构图
2.面向电子商务的数据挖掘系统功能设计。面向电子商务的数据挖掘系统主要以下几大功能模块:(1)用户信息分析。运用分类和聚类挖掘方法对用户的信息分析,可以得到用户的些特征。对用户分类相当于对具有某些公共属性的用户群体建立了概要特征描述,这些特征可以用来对新增的用户进行分类,可以发现未来的潜在用户并开展有针对性的商务活动,如自动给一类特定的用户发送销售邮件,当属于同一类的用户再次访问站点时为其动态地改变站点的内容等。通过这些举措使商务活动能够在一定程度上满足用户的要求,实现目标营销。(2)商品信息分析。运用关联规则挖掘发现商品访问中所有关联和相联系的规则,可以从交易事务数据库中发现商品间的相互联系。这对电子商务公司组织站点网页结构、开展有效的营销策略非常有帮助。(3)物流信息分析。采用神经网络预测技术,根据各物流配送点接到的网站用户订单来预测其库存数量。预测信息可以给物流配送中心以参考,用来合理地确定各配送点仓库的库存量,使各配送点的补货能更加合理有序,降低物流成本,节约库存费用。
四、结束语
数据挖掘是一个新兴的领域,具有广阔应用前景,目前,电子商务在我国正处于快速发展和应用阶段,利用数据挖掘技术,能够强化对客户的服务、促进市场最优化、加速资金周转、实现企业的创新发展。电子商务平台上的数据挖掘技术有待人们去进行更深入的研究工作,这将不断的推动数据挖掘技术的深入发展和广泛应用,创造出更多的社会和经济价值。
参考文献:
[1]张云涛龚铃:数据挖掘原理与技术.北京,电子工业出版社,2004年1月
金融部门每天的业务都会产生大量数据,利用目前的数据库系统可以有效地实现数据的录入、查询、统计等功能,但无法发现数据中存在的关系和规则,无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段,导致了数据爆炸但知识贫乏”的现象。与此同时,金融机构的运作必然存在金融风险,风险管理是每一个金融机构的重要工作。利用数据挖掘技术不但可以从这海量的数据中发现隐藏在其后的规律,而且可以很好地降低金融机构存在的风险。学习和应用数扼挖掘技术对我国的金融机构有重要意义。
一、数据挖掘概述
1.数据挖掘的定义对于数据挖掘,一种比较公认的定义是W.J.Frawley,G.PiatetskShapiro等人提出的。数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识、这些知识是隐含的、事先未知的、潜在有用的信息,提取的知识表示为概念(Concepts),规则(Rules)、规律(Regularities)、模式(Patterns)等形式。这个定义把数据挖掘的对象定义为数据库。
随着数据挖掘技术的不断发展,其应用领域也不断拓广。数据挖掘的对象已不再仅是数据库,也可以是文件系统,或组织在一起的数据集合,还可以是数据仓库。与此同时,数据挖掘也有了越来越多不同的定义,但这些定义尽管表达方式不同,其本质都是近似的,概括起来主要是从技术角度和商业角度给出数据挖掘的定义。
从技术角度看,数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在的和有用的信息和知识的过程。它是一门广义的交叉学科,涉及数据库技术、人工智能、机器学习、神经网络、统计学、模式识别、知识库系统、知识获取、信息检索、高性能计算和数据可视化等多学科领域且本身还在不断发展。目前有许多富有挑战的领域如文本数据挖掘、Web信息挖掘、空间数据挖掘等。
从商业角度看,数据挖掘是一种深层次的商业信息分析技术。它按照企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性并进一步将其模型化,从而自动地提取出用以辅助商业决策的相关商业模式。
2.数据挖掘方法
数据挖掘技术是数据库技术、统计技术和人工智能技术发展的产物。从使用的技术角度,主要的数据挖掘方法包括:
2.1决策树方法:利用树形结构来表示决策集合,这些决策集合通过对数据集的分类产生规则。国际上最有影响和最早的决策树方法是ID3方法,后来又发展了其它的决策树方法。
2.2规则归纳方法:通过统计方法归纳,提取有价值的if-then规则。规则归纳技术在数据挖掘中被广泛使用,其中以关联规则挖掘的研究开展得较为积极和深入。
2.3神经网络方法:从结构上模拟生物神经网络,以模型和学习规则为基础,建立3种神经网络模型:前馈式网络、反馈式网络和自组织网络。这种方法通过训练来学习的非线性预测模型,可以完成分类、聚类和特征挖掘等多种数据挖掘任务。
2.4遗传算法:模拟生物进化过程的算法,由繁殖(选择)、交叉(重组)、变异(突变)三个基本算子组成。为了应用遗传算法,需要将数据挖掘任务表达为一种搜索问题,从而发挥遗传算法的优化搜索能力。
2.5粗糙集(RoughSet)方法:Rough集理论是由波兰数学家Pawlak在八十年代初提出的一种处理模糊和不精确性问题的新型数学工具。它特别适合于数据简化,数据相关性的发现,发现数据意义,发现数据的相似或差别,发现数据模式和数据的近似分类等,近年来已被成功地应用在数据挖掘和知识发现研究领域中。
2.6K2最邻近技术:这种技术通过K个最相近的历史记录的组合来辨别新的记录。这种技术可以作为聚类和偏差分析等挖掘任务。
2.7可视化技术:将信息模式、数据的关联或趋势等以直观的图形方式表示,决策者可以通过可视化技术交互地分析数据关系。可视化数据分析技术拓宽了传统的图表功能,使用户对数据的剖析更清楚。
二、数据挖掘在金融行业中的应用数据挖掘已经被广泛应用于银行和商业中,有以下的典型应用:
1.对目标市场(targetedmarketing)客户的分类与聚类。例如,可以将具有相同储蓄和货款偿还行为的客户分为一组。有效的聚类和协同过滤(collaborativefiltering)方法有助于识别客户组,以及推动目标市场。
2..客户价值分析。
在客户价值分析之前一般先使用客户分类,在实施分类之后根据“二八原则”,找出重点客户,即对给银行创造了80%价值的20%客户实施最优质的服务。重点客户的发现通常采用一系列数据处理、转换过程、AI人工智能等数据挖掘技术来实现。通过分析客户对金融产品的应用频率、持续性等指标来判别客户的忠诚度;通过对交易数据的详细分析来鉴别哪些是银行希望保持的客户;通过挖掘找到流失的客户的共同特征,就可以在那些具有相似特征的客户还未流失之前进行针对性的弥补。
3.客户行为分析。
找到重点客户之后,可对其进行客户行为分析,发现客户的行为偏好,为客户贴身定制特色服务。客户行为分析又分为整体行为分析和群体行为分析。整体行为分析用来发现企业现有客户的行为规律。同时,通过对不同客户群组之间的交叉挖掘分析,可以发现客户群体间的变化规律,并可通过数据仓库的数据清洁与集中过程,将客户对市场的反馈自动输人到数据仓库中。通过对客户的理解和客户行为规律的发现,企业可以制定相应的市场策略。
4.为多维数据分析和数据挖掘设计和构造数据仓库。例如,人们可能希望按月、按地区、按部门、以及按其他因素查看负债和收入的变化情况,同时希望能提供诸如最大、最小、总和、平均和其他等统计信息。数据仓库、数据立方体、多特征和发现驱动数据立方体,特征和比较分析,以及孤立点分析等,都会在金融数据分析和挖掘中发挥重要作用。
5.货款偿还预测和客户信用政策分析。有很多因素会对货款偿还效能和客户信用等级计算产生不同程度的影响。数据挖掘的方法,如特征选择和属性相关性计算,有助于识别重要的因素,别除非相关因素。例如,与货款偿还风险相关的因素包括货款率、资款期限、负债率、偿还与收入(payment——to——income)比率、客户收入水平、受教育程度、居住地区、信用历史,等等。而其中偿还与收入比率是主导因素,受教育水平和负债率则不是。银行可以据此调整货款发放政策,以便将货款发放给那些以前曾被拒绝,但根据关键因素分析,其基本信息显示是相对低风险的申请。
6.业务关联分析。通过关联分析可找出数据库中隐藏的关联网,银行存储了大量的客户交易信息,可对客户的收人水平、消费习惯、购买物种等指标进行挖掘分析,找出客户的潜在需求;通过挖掘对公客户信息,银行可以作为厂商和消费者之间的中介,与厂商联手,在掌握消费者需求的基础上,发展中间业务,更好地为客户服务。
7.洗黑钱和其他金融犯罪的侦破。要侦破洗黑钱和其他金融犯罪,重要的一点是要把多个数据库的信息集成起来,然后采用多种数据分析工具找出异常模式,如在某段时间内,通过某一组人发生大量现金流量等,再运用数据可视化工具、分类工具、联接工具、孤立点分析工具、序列模式分析工具等,发现可疑线索,做出进一步的处理。
数据挖掘技术可以用来发现数据库中对象演变特征或对象变化趋势,这些信息对于决策或规划是有用的,金融
行业数据的挖掘有助于根据顾客的流量安排工作人员。可以挖掘股票交易数据,发现可能帮助你制定投资策略的趋势数据。挖掘给企业带来的潜在的投资回报几乎是无止境的。当然,数据挖掘中得到的模式必须要在现实生活中进行验证。
参考文献:
丁秋林,力士奇.客户关系管理.第1版.北京:清华人学出版社,2002
职业教育曾利用电视教育这种很先进的技术办学并取得了辉煌的成绩,时至今日,现代信息技术不断发展,不同程度的渗透到每一个领域,教育领域更是首当其冲。昨日先进的办学技术,已经远不能适应现代远程教育的发展需要,现代教学媒体开发是实现远程教育的重要环节之一。近几年,随着国外远程教育突飞猛进的发展,以及国内高中等院校多媒体课件的开发实践,我们应对现代教育媒体开发的应用前景,特别是对我院远程教育发展的重要性有一个充分的认识。
一、专业教学网络与现代教育技术媒体的开发
现代教育媒体的开发,从技术角度来看是可行的全球计算机网络和多媒体技术的进步导致了新一代知识智能媒体的发展,产生了网络大学(虚拟大学),这是远程教育的重要特点和今后的发展方向。承载教学媒体的信息可简单的分为实时性和非实时性两类。多媒体信息则非常适应非实时性的传输要求,且价格较低,利用非实时性传输中有一定的延时的特点。像文本、图片、声音、动画等形式的多媒体信息,就可以在低速网上通过电话进行传输。Internet和Intranet上大多采用这种非实时性信息传输方式浏览信息,这非常适合具有交互性的多媒体课件。
二、多媒体课件的应用前景以及精品课件的建立
云计算是并行计算和分布计算以及网格计算的发展,是一种在海量数据大规模的集合中能动态处理各种服务器数据资源的一类计算平台,在电子商务、商业金融、科研开发等领域能得到广泛的应用。它具有大规模、虚拟化、高效率、通用性、廉价等特点,能针对不同的用户的不同需求,动态透明地提供其所需的虚拟化计算和资源储存,并能及时动态回收当前用户暂不利用的数据资源以提供给其他用户,而其廉价、通用的特点,使得一般用户实现大规模的数据操作成为可能。目前来说,云计算的平台已得到良好的发展,日益成熟,基于云计算的应用已经可以相当方便的部署和操作其数据资源。
1.2数据挖掘
数据挖掘技术是现代知识发现领域的一个重要技术,它是指一个从随机的大量而不完整的模糊的实际数据中提取其中某些隐含着的具有潜在价值的实用知识与信息的过程。其具体技术有特征化、聚类、关联和预测分析等等,涉及到的高级技术领域有统计学、机器学习、模式识别、人工智能等方面。
2基于云计算的数据挖掘平台构架
网络云的发展给数据挖掘提出了新的问题和时代的挑战,同时,也为数据挖掘提供了新的计算平台和发展机遇。基于云计算的数据挖掘系统平台的发现,解决了传统的数据挖掘技术出现的时代滞慢、效率较低、功能落后、成本高昂等问题。云计算是一种商业计算模式,是网格计算与并行计算及分布式计算在一定程度上的商业实现,其动态、可伸缩的计算基于云计算的数据挖掘平台架构及其关键技术探讨文/张瑶刘辉云计算是一种在互联网时代中应运而生的新兴的网络技术,具有高效率、高容量、动态处理的特点,在社会的商业领域和科研领域表现出了其相当高的应用价值。将云计算应用于数据挖掘平台的构架之中后,将能在很大程度上为现代社会中越来越海量的数据挖掘提供一个高效率的技术平台。本文将结合云计算和数据挖掘的基本概念和现代意义,对数据挖掘的平台构架和相应的关键技术做出简要的分析探讨。摘要能力使得进行高效的海量数据挖掘的目标不再遥远。同时,云计算SaaS功能日益被理解和标准化,使得基于云计算SaaS化的数据挖掘有了理论和技术的指导,并具有了企业化与大众化的发展趋势。
2.1数据挖掘平台构架
建立在关系型数据库之上的传统的数据挖掘技术构架在现时代数据急剧膨胀和分析需求渐增的发展下已经难以应付社会的数据处理问题。而云计算的分布式存储与计算形式则接受了当代的数据挖掘难题,促成了适应时代的云计算数据挖掘平台构架的形成。其包含了面向组件的设计理念和分层设计的思想方法。其构架自下向上总共分为3层,分别为底层的云计算支撑平台层、中间的数据挖掘能力层和上层的数据挖掘云服务层。
2.2基于云计算的数据挖掘平台构架各层意义
云计算支撑平台层:顾名思义,该平台层是云计算数据挖掘平台的基础处理平台,其主要具有的功能是对分布式文件存储与数据库提供资源存储,以及实行对数据的有关处理和计算功能。数据挖掘能力层:该平台结构层主要是提供挖掘的基础能力,是数据挖掘的核心支撑平台,并对数据挖掘云服务层提供能力支撑。该平台层包含了算法数据并行处理、调度引起和服务管理的框架,该平台层可以提供系统内部的数据挖掘处理和推荐算法库,亦支持第三方的数据挖掘算法工具的进入。数据挖掘云服务层:数据挖掘云服务层的主要功能是对外提供数据挖掘操作的云服务,同时也能提供基于结构化查询的语言语句访问,提供相关的解析引擎,以便于自动调用云服务。对外数据挖掘云服务能力封装的接口形式多样,包含了基于简单对象访问协议下的Webservice、XML、HTTP以及本地应用程序的编程接口等多种形式。另外,在必要的时候,云服务层的各个业务系统可以进行数据挖掘云服务的调用和组装。
3基于云计算的数据挖掘平台构架的关键技术探讨
基于云计算的数据挖掘平台构架的形成,离不开现代先进的科技技术,其中几项关键的技术应用将在这里进行简要的阐述:
3.1云计算技术
3.1.1分布式储存技术
通过采用分布式存储的方式来存储数据,是云计算技术保证数据处理高可靠性和经济性的重要保证。用可靠的软件来弥补硬件的不足,是分布式存储技术提供廉价而又海量的数据挖掘支持的重要途径。
3.1.2虚拟化技术
在云计算的环境下,数据挖掘能实现对大量的可用的虚拟化技术的应用、整合,发展出一套全面虚拟化的运行战略。云计算和虚拟化的共同组合,使数据挖掘实现了跨系统下的资源调度,将海量的来源数据进行IT资源汇合,动态地实现对用户的虚拟化资源的供给,从而以高效率、海量动态的特点完成服务任务。
3.1.3并行云计算技术
并行云计算技术是一种对于高效执行数据挖掘计算任务极其重要的技术,并且它对云计算的某些技术细节做出了封装,例如任务并行、任务调度、任务容错和系统容错以及数据分布等。该功能代替了用户对这些细节的考虑,使得研发效率得到了提高。
3.2数据汇集调度中心
数据汇集调度中心的功能主要是完成对不同类型的数据进行汇集。它实现了对接入该云计算数据挖掘平台的业务数据收集汇合,能够解决与不同数据的相关规约问题,并能支持多样的源数据格式。
3.3服务调度与管理技术
对于基于云计算的数据挖掘平台,为了使不同业务系统能够使用本计算平台,必须要提供相应的服务调度与管理功能。服务调度解决云服务下的并行互斥以及隔离等问题,以保证安全、可靠的平台的云服务。服务管理功能要实现统一的服务注册与服务暴露功能,并且支持接入第三方的数据挖掘,以更好地扩展平台的服务能力。
传统装饰艺术源于生活,源于传统,有着悠久的历史和深厚的民族底蕴,是与人们生活息息相关的一种艺术形态。早期工艺美术作品中的图案就已经具备了强烈的装饰意味,随着人们精神需求和审美意识的不断提高,传统装饰艺术更是成为了人们生活的一部分。作为一门独立的艺术形式,传统装饰艺术以其独特的视觉符号和深厚的文化内涵,重新引起了设计界的关注。特别是视觉传达设计,这门通过独特的视觉传播方式达到传达信息,并且与受众交流、沟通的目的的艺术学科,不仅要吸取和弘扬传统装饰艺术中的民族文化,更要挖掘传统装饰艺术中对现代设计有借鉴价值的东西。
追溯传统装饰艺术发展的渊源,它首先是人们为了生存而进行的造物的主观创造性活动,到后来为了审美需求而进行装饰创作,这是一个漫长的历史过程。在人类发展史上的各个时期,传统装饰艺术作品往往成为见证该时期文化、工艺和艺术水平的代表。并且,传统装饰艺术作品不论其形式如何,都融入了原始先民为生存而激发的全部感情,都体现出了生命的本能、生活的理想和原始文化的底蕴。[1]它不是纯艺术现象,但经过几千年的积淀与传承,传统装饰艺术在意识形态的转变和新技术浪潮的冲击下不断更新拓展,具有了自己鲜明的艺术特征,反映了民族文化的精髓。
在设计语言日趋国际化的今天,视觉传达设计由于本身所具有的对图形、文字等元素的高度概括和简约化特征而面临着设计风格一体化的尴尬趋势,这就对现代设计家提出了更高的要求。由于不同的国家和民族有着不同的传统,其人文风俗和文化底蕴也大不相同,所以,设计家们惊讶地发现,民族的东西是一种很好地区别于其它地域作品的设计语言。于是,一股回归传统,弘扬民族文化的设计思想席卷了整个设计界。不同国度和区域的设计家都在寻找最能反映其民族精神和文化底蕴的设计符号。作为有几千年文化积淀和传承并反映民族文化精髓的传统装饰艺术,它重新引起设计界的关注,并成为设计家们创作的灵感来源,也就不足为奇了。
首先,在对形的处理上,传统装饰艺术遵循“删繁就简”、“以简代繁”的原则,也就是用简洁的线条和规整的外形来表现各种自然形象。如兴起于我国民间的皮影戏和剪纸,其造型多采用简洁单纯的线面,着重表现自然物象的基本特征,它把一些立体的东西作概括化和平面化处理,具有视觉传达设计的意味。出土于西安半坡村仰韶文化时期的人面鱼纹彩陶盆就采用了几何图形的构成手法,将人面概括成圆形,头上的发髻和人面两侧耳部的小鱼都用三角形表示,眼睛眯成一条线,这种抽象化和几何化就是“删繁就简”的具体体现。在视觉传达设计中,提倡用最简洁的图形语言传达最丰富的思想内涵,其实也就是强调对图形的高度概括、提炼和简化,而西方更是注重几何和抽象的图形表达。这些现代设计理念,与传统装饰艺术中对形的处理观念是基本一致的,并且在几千年前就已经开始运用了。另外,传统装饰艺术由于有漆画、陶瓷、蜡染、刺绣、剪纸等多种艺术形式,其内容比较丰富,处理“形”的手法也就各具特色。所以,传统装饰艺术中对“形”的处理手法,很多都是值得我们视觉传达设计学习和借鉴的。其次,传统装饰艺术很注重形式美感,这种形式美感包括造型的独特性、排列的秩序感,画面空间的设计感和点、线、面等形式要素的组合关系。传统装饰艺术中,很多造型艺术本身具有很强的形式美,已经很讲究对称、均衡、比例、线条、色彩等带给人的审美情感。如陶器的造型就很讲究对称和均衡,上面的装饰纹样不仅很注重线条和块面的对比,色彩的搭配也很和谐。并且,还有很多由于机械有节奏的运动和通过重复的构成手法而创造的图案,具有强烈的秩序美。[2]在敦煌壁画中,随处可见用于装饰的各种卷草纹样和适合图案,尤其是藻井的装饰,纹样之丰富,装饰之繁琐可谓叹为观止,然而经过艺术家的合理安排,整个画面显得井井有条。二方连续在不断重复的过程中呈现出强烈的节奏感和秩序感,适合纹样处处彰显艺术家对画面空间的把控,各种视觉元素遥相呼应,虚实相生,并且画面中点、线、面关系处理到位,整体视觉效果统一。可见,传统装饰艺术中对形式美感的追求,就如同我们进行视觉传达设计时所考虑的画面构图和版式编排,目的都是为了形成强烈的视觉美感,从而唤起人们审美心理的愉悦。所以,传统装饰艺术中对形式美感的追求为我们视觉传达设计中的版式编排提供了参考的样本,具有较高的艺术价值。
再次,传统装饰艺术中的纹样往往具有象征意义,如盘子上的暗八仙,象征延年益寿;瓷器上的莲花寓意高洁;民间工艺美术里的葡萄、石榴以及百子图等象征家族繁荣,子孙众多;还有用龙凤表示吉祥如意,用蝙蝠直接表现“福在眼前”等等。[3]传统装饰艺术中的这种象征性与现代设计有异曲同工之处,如视觉传达设计中的标识设计就常采用象征图形来传达企业文化、发展方向或者管理理念等,海报设计中也常用具有一定象征意味的图形传达深刻的思想主题和文化内涵。传统装饰艺术所具有的博大精深的寓意性,对现代视觉传达设计来讲,具有重大意义。一方面,它为我们的设计提供了众多素材,丰富了我们的设计语言;另一方面,它为我们的设计提供了很多思考的切入点,对设计创意具有较强的指导意义;另外,它使我们在面对不同文化背景进行有针对性的设计时,能准确找到传达设计意图的最佳图形符号。所以,传统装饰艺术中的象征性是很值得我们关注的。
另外,传统装饰艺术在造型上采用的夸张和变形,在构图上采用的重复、发射、渐变以及色彩的对比与调和等处理手法,与今天现代设计中的图形语言和形式美的法则以及构成有异曲同工之妙,可见,中国传统装饰艺术对现代视觉传达设计来讲,意义十分重大。
正是因为传统装饰艺术有如此多的地方与现代视觉传达设计保持一致性,才在现代社会显示出了其特有的生命力。所以我们在设计中运用传统装饰艺术宣扬民族文化,弘扬民族精神的同时,更要不断挖掘传统装饰艺术对现代视觉传达设计有借鉴价值的东西。在设计中追求东西方文化的统一,追求传统与现代的统一,才能够在设计中既表现出民族的传统精粹,又使自己的作品更具说服力。
参考资料:
二、在部队食品采购系统中的应用以及其价值评价
在部队食品采购系统实际应用工程中,其实可以运用MicrosoftSQLServerAnalysisServices来对数据进行分析,并且在数据挖掘过程中对多维数据进行描述与查找起到一定作用。因为多维数据比较复杂,增长的也比较快,因此,进行手动查找是很困难的,数据挖掘技术提供的计算模式可以很好的对数据进行分析与查找。在建设部队食品采购仓库数据的时候,数据内容主要包括了人员的健康、兵员的饮食以及训练等,进行数据挖掘主要包括以下内容:第一,把每个主题信息数据进行收集、汇总、分析等,对人员情况、健康、饮食、训练等进行合理分析;第二,多维分析数据信息。根据部队的实际情况,利用数据挖掘技术对部队人员健康、饮食、训练等数据信息进行多维分析,其中包含上钻、切片、下钻等;第三,挖掘健康与饮食之间的内在关系。根据数据库中许多面向主题的历史数据,采用数据挖掘技术进行分析与演算得到部队人员的训练和健康情况与部队饮食之间内在关系,以便于为部队食品采购提供合理的、有效的保障,从而提高部队整体人员的健康水平、身体素质以及训练质量,对提高我国部队战斗力有着深远的意义。
2基于大数据的计算机数据挖掘技术概述
基于大数据的计算机数据挖掘技术是当代新开发的一种数据处理技术,它可以从大数据中挑选出人们需要的数据。计算机数据挖掘是一个循环往复的过程,如果没有取得预期的效果,计算机数据挖掘信息处理系统就会返回上一层重新工作,直到完成目标任务为止,这种对目标的细化过程可以满足档案数据检索的需要。
3基于大数据的计算机挖掘技术在档案管理系统中的作用
3.1提高档案信息的安全性。无论是文字档案、图片档案还是其他形式的档案,都是一种宝贵的资料。越是意义重大的档案,档案管理人员就越要想方设法将其保存起来。档案的价值随着其保存时间的不断推移而增加,价值越高的档案,被使用的频率就越高,但是如果使用过于频繁的话,就会缩短档案资料的寿命,加大保存难度。除此之外,有的档案信息是保密的,在应用时如果监管不力就会导致机密泄露。由以上可见,档案的保存与使用俨然已互为对立面了。将计算机挖掘技术应用到档案管理中则对档案资料的完整性毫无影响,并且还可以提高档案信息的安全性。3.2提高档案信息管理的效率。在档案管理工作中应用计算机数据挖掘技术,可以极大改变传统档案管理模式低效率的弊端。使用计算机数据挖掘技术,大大提高了工作人员处理档案信息的速度,同样的工作使用的时间极大减少。鉴定档案是档案管理工作中的重要组成部分,传统的鉴定方式是由管理人员根据自己的经验进行主观鉴定,有时会存在有价值的档案丢失的现象。应用计算机数据挖掘技术,档案管理人员就可以利用计算机系统分析档案使用和保存的情况,促进了档案鉴定工作的发展。3.3提高了档案信息的使用效率。大部分档案信息具有一定的机密性,所以档案的借阅并不是向全社会公开的,而是有范围限制的,但是由于档案管理人员和借阅者对档案信息不熟悉,导致双方的沟通存在一定的问题,在借阅者提出申请之后,档案管理人员会将档案资料调出来,有时调出来的资料不是借阅者所需要的,还得重新调阅,类似的过程就严重浪费了双方的时间。应用计算机数据挖掘技术可以促进档案管理人员和借阅者之间的交流,让档案管理者明确借阅者需要的具体档案信息,从而形成专门的档案提供渠道,这就大大提高了档案信息的使用效率。3.4增强档案信息的服务性。加密档案信息会严重缩小它的适用范围,受当代信息化的影响,很多档案信息自身会出现一些问题,并且只能为一小部分人服务。将计算机数据挖掘技术应用到档案信息管理中,可以具体分析档案的使用情况,通过研究发现未来使用档案信息的人群,在此基础上提高档案信息的服务性。
4基于大数据的计算机数据挖掘技术在档案管理中的实际应用
4.1在档案分类管理中的应用。档案管理的基础工作就是将档案进行分类。传统的分类方法既费时又费力,工作效率极低。计算机数据挖掘技术中有一种决策树算法,它可以在最短的时间内按照一定的规则将不同属性的档案信息进行分类和整理,大大提高了档案分类工作的效率。计算机数据挖掘技术在档案分类工作中的具体流程是:从大量不同种类的数据集中选择一些数据组合成训练集,然后应用到没有进行分类的档案管理中,这样可以帮助管理者根据借阅者对档案信息的需求来对档案进行分类,同时还可以根据借阅者的需求为其推荐其他档案信息。通过这些针对性强的数据分析,可以极大缩短借阅者获取档案信息的时间,档案数据的利用价值就能充分发挥出来。4.2在档案收集管理中的应用。计算机数据挖掘技术可以根据数据库内部的数据信息描述来构建一个相应的数据模型,然后比较计算机数据样本和数据模型之间的差异,如果这二者互相吻合,就需要档案管理人员使用测试样本模型来对档案信息进行分类处理。计算机数据挖掘技术需要全面分析档案数据信息库中的数据,建立一个对已知数据有详细描述的概念模型,并与测试样本进行对比,如果一个模型测试通过,就证明这个模型可以应用在档案收集管理中。
5结语
综上所述,在科技技术不断进步的时代背景下,在档案信息管理中应用基于大数据的计算机数据挖掘技术已成为一种必然趋势,它可以极大提高档案信息管理的工作效率,促进档案管理的高效发展。除了在档案信息存储和利用上确保基本的信息查询服务外,还需要应用计算机数据挖掘技术整合档案信息,建立众多档案管理服务数据之间的关联,这样才能为档案信息管理提供更好的服务。
作者:陈皓颖 单位:昆明理工大学津桥学院
参考文献
[1]高燕飞,陈俊杰.试析计算机数据挖掘技术在档案信息管理系统中的运用[J].内蒙古师范大学学报:哲学社会科学版,2012(4):44-46.
[2]曾雪峰.计算机数据挖掘技术开发及其在档案信息管理中的运用研究[J].科技创新与应用,2016(9):285.
[3]李国强,曹巧莲,辛正宇,等.浅谈数据处理的新技术———数据挖掘[J].科技创新与生产力,2010(6).