数据挖掘技术

数据挖掘技术（精选8篇）

数据挖掘技术 篇1

数据挖掘技术是近些年发展起来的一门新兴学科，它涉及到数据库和人工智能等多个领域。随着计算机技术的普及数据库产生大量数据，能够从这些大量数据中抽取出有价值信息的技术称之为数据挖掘技术。数据挖掘方法有统计学方法、关联规则挖掘、决策树方法、聚类方法等八种方法，关联规则是其中最常用的研究方法。关联规则算法是1993年由R.Atal,Inipusqi,Sqtm三人提出的Apriori算法，是指从海量数据中挖掘出有价值的能够揭示实体和数据项间某些隐藏的联系的有关知识，其中描述关联规则的两个重要概念分别是Suppor(t支持度)和Confi-dence(可信度)。只有当Support和Confidence两者都较高的关联规则才是有效的、需要进一步进行分析和应用的规则。

二、使用Weka进行关联挖掘

Weka的全名是怀卡托智能分析环境(WaikatoEnviron-mentforKnowledgeAnalysis)，是一款免费的、非商业化的、基于JAVA环境下开源的机器学习以及数据挖掘软件[2]。它包含了许多数据挖掘的算法，是目前最完备的数据挖掘软件之一。Weka软件提供了Explorer、Experimenter、Knowledge-Flow、SimpleCLI四种模块[2]。其中Explorer是用来探索数据环境的，Experimenter是对各种实验计划进行数据测试，KnowledgeFlow和Explorer类似，但该模块通过其特殊的接口可以让使用者通过拖动的形式去创建实验方案，Simple-CLI为简单的命令行界面。以下数据挖掘任务主要用Ex-plorer模块来进行。

(一)数据预处理

数据挖掘所需要的所有数据可以由系统排序模块生成并进行下载。这里我们下载近两年的教师科研信息。为了使论文总分、学术著作总分、科研获奖总分、科研立项总分、科研总得分更有利于数据挖掘计算，在这里我们将以上得分分别确定分类属性值。

(二)数据载入

点击Explorer进入后有四种载入数据的方式，这里采用第一种Openfile形式。由于Weka所支持的标准数据格式为ARFF，我们将处理好的xls格式另存为csv，在weka中找到这个文件并重新保存为arff文件格式来实现数据的载入。由于所载入的数据噪声比较多，这里应根据数据挖掘任务对数据表中与本次数据任务不相关的属性进行移除，只将学历、职称、论文等级、学术著作等级、科研获奖等级、科研立项等级、科研总分等级留下。

(三)关联挖掘与结果分析

WeakExplorer界面中提供了数据挖掘多种算法，在这里我们选择“Associate”标签下的Apriori算法。之后将“lowerBoundMinSupprot”(最小支持度)参数值设为0.1，将“upperBoundMinSupprot”(最大支持度)参数值设为1，在“metiricType”的参数值选项中选择lift选项，将“minMetric”参数值设为1.1，将“numRules”(数据集数)参数值设为10，其它选项保存默认值，这样就可以挖掘出支持度在10%到100%之间并且lift值超过1.1且排名前10名的关联规则。其挖掘参数信息和关联挖掘的部分结果。

三、挖掘结果与应用

以上是针对教师基本情况和科研各项总分进行的反复的数据挖掘工作，从挖掘结果中找到最佳模式进行汇总。以下列出了几项作为参考的关联数据挖掘结果。

1、科研立项得分与论文、科研总得分关联度高，即科研立项为A级的论文也一定是A。这与实际也是相符的，因为科研立项得A的教师应该是主持了省级或是国家级的立项的同时也参与了其他教师的科研立项，在课题研究的过程中一定会有国家级论文或者省级论文进行发表来支撑立项，所以这类教师的论文得分也会很高。针对这样的结果，在今后的科研工作中，科研处要鼓励和帮助教师搞科研，为教师的科研工作提供精神上的支持和物质上的帮助，这样在很大程度上能够带动整个学校科研工作的进展。

2、副教授类的教师科研立项得分很高，而讲师类教师和助教类教师的科研立项得分很低，这样符合实际情况。因为副教授类的`教师有一定的教学经验，并且很多副教授类的教师还想晋职称，所以大多数副教授类教师都会申请一些课题。而对于讲师类和助教类的教师，由于教学经验不足很少能进行省级以上的课题研究，因此这两类教师的科研立项分数不高。针对这样的结果，在今后的科研工作中，科研处可以采用一帮一、结对子的形式来帮助年轻教师，这样可以使青年教师参与到老教师的科研课题研究工作中去，在课题研究工程中提高科研能力和教学能力。

数据挖掘技术 篇2

1 数据挖掘的基本过程

图1描述了数据挖掘的基本过程和主要步骤,包括:

(1)选择数据:界定数据对象,选择目标数据集。

(2)数据预处理:收集净化信息并加以储存,一般是存放在数据仓库中。

(3)数据转换:找到数据特征并提出假设,选取数据挖掘算法,提取规则。

(4)数据挖掘:利用选取的挖掘算法对数据进行挖掘。

(5)分析和评价:一般数据挖掘的搜索过程要反复多次,因为分析人员评价输出结果后,可能会有新的问题或对某一方面的数据做更精细的查询。

2 数据挖掘的解决的问题

数据挖掘的可以解决的问题有以下几个方面:

(1)预测建模(Predictive modeling)涉及以说明变量函数的方式为目标变量建立模型。有两类预测建模任务:分类(classfication)用于预测离散的目标变量,回归(regression)用于预测连续的目标变量。分类技术常见的有决策树分类法、基于规则的分类法、神经网络、支持向量机和朴素贝叶斯分类法等。表1给出了几种分类算法性能的比较。

(2)关联分析(association analysis)用来发现描述数据中相关联特征的模式。所发现的联系可用关联规则(association rule)或频繁项集的形式表示。关联分析的研究主要集中在概念问题、实现问题和应用问题三个方面。其中概念问题主要研究建立描述关联分析的理论基础的框架,扩展形式机制,以处理新的模式类型,以及扩展形式机制。用于关联分析的算法主要有Apriori算法和FP增长算法。

(3)聚类分析(cluster analysis)旨在发现紧密相关的观测值族群,使得与属于不同簇的观测值相比,属于同一簇的观测值相互之间尽可能相似。聚类与分类的区别是聚类不依赖于预先定义好的类,不需要训练集。常用的聚类分析算法有K均值和DBSCAN算法。

(4)异常检测(anomaly detection)通过研究历史数据识别其特征显著不同于其他数据的观测值。异常检测的应用包括检测欺诈、网络攻击等。

3 数据挖掘研究热点

(1)保护隐私的数据挖掘。在电子商务、卫生保健等涉及个人隐私的领域,数据挖掘会同时破坏隐私的保密性,这个问题引起了人们的兴趣,从而为挖掘加密数据和随机数据而开发的保护隐私的数据挖掘技术成为一个研究热点。

(2)流数据挖掘。生活中快速产生的连续的数据流的应用越来越广泛,例如多媒体流、网络通信流和股票大盘走向等。鉴于数据流的特点,在数据挖掘中还必须考虑系统内存、联机分析、时间序列等问题,流数据挖掘已经成为数据挖掘的一个重要领域。

(3)Web数据挖掘。Web数据挖掘就是利用数据挖掘技术自动从网络文档及服务中发现和抽取信息的过程。例如该如何测量一个网站是否成功?哪些内容、优惠、广告是人气最旺的?主要访客是哪些人?什么吸引他们前来?如何从堆积如山之大量由网络所得数据中找出让网站运作更有效率的操作因素?以上种种皆属Web数据挖掘分析之范畴。

(4)空间数据挖掘。基于GIS与遥感应用,空间数据挖掘主要研究与空间有关的知识,例如普遍的几何知识、空间分布规律、空间关联规则、空间分类(聚类)规则等。

4 结束语

数据挖掘是国内外计算机技术最前沿的研究方向之一,该技术通过各种数据挖掘软件已经在在商务、医学等领域都得到了广泛的利用,挖掘出的知识为行业的发展提供了积极有力的帮助。但数据挖掘技术也面临一些问题如知识的表达和解释机制、私有性和安全性、算法的有效性和可测性等,这也是我们今后研究需要特别关注的方面。

摘要：本文重点介绍了数据挖掘技术,论述了数据挖掘的定义、分类和算法,指出了数据挖掘未来研究的方向。

关键词：数据挖掘,预测建模,关联分析

参考文献

[1]Han Jiawei,Micheline Kamber.数据挖掘:概念与技术[M].北京:机械工业出版社,2001.

[2]Pang-Ning Tan.Introduction to Data Mining[M].北京:人民邮电出版社,2006.

[3]谢中梅,等.数据挖掘在电机制造行业中的应用[J].哈尔滨:电脑学习,2008(3):24-25.

数据挖掘技术介绍 篇3

[关键词]数据库 数据挖掘 技术 应用

随着数据库技术的不断发展及数据库管理系统的广泛应用，数据库中存储的数据量急剧增大，在大量的数据背后隐藏着许多重要的信息。如果能把这些信息从数据库中抽取出来，将为公司创造很多潜在的利润，而这种从海量数据库中挖掘信息的技术，就称之为数据挖掘。

采用数据挖掘技术，可以为用户的决策分析提供智能的、自动化的辅助手段。有些数据挖掘工具还能够解决一些很消耗人工时间的传统问题，因为它们能够快速地浏览整个数据库，找出一些专家们不易察觉的极有用的信息。在零售业、金融保险业、医疗行业等多个领域都可以有很好的应用。

一、数据挖掘应用分类

1． 分类模型。分类模型的主要功能是根据商业数据的属性将数据分派到不同的组中。在实际应用过程中，分类模型可以分析分组中数据的各种属性，并找出数据的属性模型，确定哪些数据模型属于哪些组。这样我们就可以利用该模型来分析已有数据，并预测新数据将属于哪一个组。

分类模型应用的实例很多，例如，我们可以将银行网点分为好、一般和较差3种类型，并以此分析这3种类型银行网点的各种属性，特别是位置、盈利情况等属性，找出决定它们分类的关键属性及相互间关系，此后就可以根据这些关键属性对每一个预期的银行网点进行分析，以便决定预期银行网点属于哪一种类型。

2． 关联模型。关联模型主要是描述了一组数据项目的密切度或关系。关系或规则总是用一些最小置信度级别来描述的。置信度级别度量了关联规则的强度。通过挖掘数据派生关联规则，利用此规则可以了解客户的行为。采用关联模型比较典型的案例是“尿布与啤酒”的故事。在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，超市也因此发现了一个规律，在购买婴儿尿布的年轻父亲们中，有30%～40%的人同时要买一些啤酒。超市随后调整了货架的摆放，把尿布和啤酒放在一起，明显增加了销售额。同样的，我们还可以根据关联规则在商品销售方面做各种促销活动。

3.顺序模型。顺序模型主要用于分析数据仓库中的某类同时间相关的数据，并发现某一时间段内数据的相关处理模型。顺序模型实例也比较多。例如，客户现在定购一台激光打印机，以后还可能定购打印纸，可能在初始购买时有大量定货，在售后服务请求时定货量较小，在服务请求完成后可能又有大量的定货。因此，我们就可以针对上述情况指定相应的促销或营销方法。

顺序模型可以看成是一种特定的关联模型，它在关联模型中增加了时间属性。

4．聚簇模型。当要分析的数据缺乏描述信息，或者是无法组织成任何分类模式时，可以采用聚簇模型。聚簇模型是按照某种相近程度度量方法将用户数据分成互不相同的一些分组。每一个分组中的数据相近，不同分组之间的数据相差较大。聚簇模型是一个很强大的技术，其核心就是将某些明显的相近程度测量方法转换成定量测试方法。

采用聚簇模型，系统可以根据部分数据发现规律，找出对全体数据的描述。例如，我们可以采用聚簇模型对客户现金流进行分析。当用户收到社会保险支票，或月工资存入账户时，他们会很快交付本月的账务。在这个例子中，收到社会保险支票和月工资存入账户可以看作是月支付账务的聚簇模型中的相近数据。

二、数据挖掘采用的典型技术

人工神经网络：仿照生理神经网络结构的非线形预测模型，通过学习进行模式识别。

决策树：代表着决策集的树形结构。

遗传算法：基于进化理论，并采用遗传结合、遗传变异、以及自然选择等设计方法的优化技术。

近邻算法：将数据集合中每一个记录进行分类的方法。

规则推导：从统计意义上对数据中的“如果—那么”规则进行寻找和推导。

三、数据挖掘成功实例

采用数据挖掘技术的一些成功应用，例如一个药品公司，通过对它最近的营销强度和销售结果的分析，来决定哪一种营销活动在最近几个月内对高附加值的医生群体影响最大，这样的分析建立在竞争对手的销售活动信息和当地健康状况的数据系统之上。然后这个药品公司可以通过其办公网络，将分析结果传达到各地的销售代表处，销售代表们则可以根据公司传递的关键信息来作出相应的销售抉择。这样，在快速变化的、动态的市场上，销售代表们都可以根据各种特殊情况的分析作出最优的选择。

四、总结语

为了更加及时，更加准确地作出利于企业的抉择，建立在关系数据库和联机分析技术上的数据挖掘工具为我们带来了一个新的转机。目前，数据挖掘工具正以前所未有的速度发展，并且扩大着用户群体，在未来越加激烈的市场竞争中，拥有数据挖掘技术必将比别人获得更快速的反应，赢得更多的商业机会。

参考文献

数据挖掘技术与用户知识获取 篇4

摘  要  题】实践研究

【英文摘要】This  paper  discusses  the  commonly-used  technologies  in  data  mining，and  explores&n……

【  正  文】

1 数据挖掘技术概述

随着信息技术的迅速发展，数据库的规模不断扩大，从而产生了大量的数据。为给决策者提供一个统一的全局视角，在许多领域建立了数据仓库。但大量的数据往往使人们无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（Data  Mining）技术由此应运而生。数据挖掘技术也正是伴随着数据仓库技术的发展而逐步完善起来的。

数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的.表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程，它是一门涉及面很广的交叉性新兴学科，涉及到数据库、人工智能、数理统计、可视化、并行计算等领域。数据挖掘是一种新的信息处理技术，其主要特点是对数据库中的大量数据进行抽取、转换、分析和其他模型化处理，并从中提取辅助决策的关键性数据。数据挖掘是KDD（Knowledge  Discovery  in  Database）中的重要技术，它并不是用规范的数据库查询语言（如SQL）进行查询，而是对查询的内容进行模式的总结和内在规律的搜索。传统的查询和报表处理只是得到事件发生的结果，并没有深入研究发生的原因，而数据挖掘则主要了解发生的原因，并且以一定的置信度对未来进行预测，用来为决策行为提供有利的支持。

2 数据挖掘的常用技术

机器学习、数理统计等方法是数据挖掘进行知识学习的重要方法。数据挖掘算法的好坏将直接影响到所发现知识的好坏，目前对数据挖掘的研究也主要集中在算法及其应用方面。统计方法应用于数据挖掘主要是进行数据评估；机器学习是人工智能的另一个分支，也称为归纳推理，它通过学习训练数据集，发现模型的参数，并找出数据中隐含的规则。其中关联分析法、人工神经元网络、决策树和遗传算法在数据挖掘中的应用很广泛。

1）关联分析法。从关系数据库中提取关联规则是几种主要的数据挖掘方法之一。挖掘关联是通过搜索系统中的所有事物，并从中找到出现条件概率较高的模式。关联实际上就是数据对象之间相关性的确定，用关联找出所有能将一组数据项和另一组数据项相联系的规则，这种规则的建立并不是确定的关系，而是一个具有一定置信度的可能值，即事件发生的概率。关联分析法直观、易理解，但对于关联度不高或相关性复杂的情况不太有效。

2）人工神经元网络（ANN），是数据挖掘中应用最广泛的技术。神经网络的数据挖掘方法是通过模仿人的神经系统来反复训练学习数据集，从待分析的数据集中发现用于预测和分类的模式。神经元网络对于复杂情况仍能得到精确的预测结果，而且可以处理类别和连续变量，但神经元网络不适合处理高维变量，其最大的缺点是不透明性，因为其无法解释结果是如何产生的，及其在推理过程中所用的规则。神经元网络适合于结果比可理解性更重要的分类和预测的复杂情况，可用于聚类、分类和序列模式。

3）决策树（DT）是一种树型结构的预测模型，其中树的非终端节点表示属性

数据挖掘技术在WEB的运用论文 篇5

互联网、计算机信息技术迅猛的发展势头，数据从结构化存储以及转化为非结构化的存储，数据存储形式的转变，不同数据类型的存储变多，音频、视频等大格式的信息存储在多个应用中实现。行业中的计算机化、信息化和网络化，使计算机和服务器上积累了各种各样海量的数据。传统的人工分析已经不能满足和适应如此大量的数据，各行各业都产生了巨大数据信息，包括生产加工、研究、物流运输、客户、营销、售后等数据，人们却不知道怎么利用这些数据实现价值的增长。如果能将这些数据进行挖掘分析，很可能会产生巨大的商业价值，很多有价值的信息可以被发现。现在，越来越多的公司和企业意识到数据挖掘的重要性，但是怎么能从如此海量的数据中挖掘出有价值有用的信息，已经成为研究的热门话题。在传统的数据分析基础上，相关人员结合新开发人工智能和数据挖掘等相关的技术，数据库孕育而生，让我们能从海量的数据中挖掘出有价值的信息，促使信息化的发展，称之为数据挖掘。

二、数据挖掘的过程

1、数据收集。将要进行数据分析的海量数据资源收集到数据仓库中。把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，抽象出分析相关的数据，进行非结构化数据的分类，筛选出不相关或者无价值的数据，减少数据集的容量。

2、数据清洗和转换。数据清洗是为了删除掉无用的数据信息。数据转换的目的最直接的是把所有信息统一化。将完整，有效的信息存入数据仓库。

3、模型建立。模型建立是数据挖掘的核心阶段。首先，要和相关领域的专家组成团队，进行需求分析，明确数据挖掘的目的和具体的数据挖掘任务。根据不同的任务，选择相关算法，利用这些算法来建立模型，再用专业的模型评估工具比较模型的准确度。即使是同一种算法，参数选取的不同，所建模型的准确度也不一样。

4、模型评估。从商业角度来讲，模型评估是对我们所建立的预测模型的正确性进行价值评估，如若模型中模式无价值，就要重复数据挖掘过程中的2～4步，即数据清洗和转换、模型建立。

5、知识表示。将数据挖掘最后的结果以最直观的方式呈现给用户，通常用数据图形展示工具来表示。

6、应用集成。将数据挖掘集成到现实的实际应用中。例如，CRM中有了数据挖掘功能，就可以对客户进行等级分类。

7、模型管理。根据不同数据模型的生命周期做好数据应用和管理。

三、WEB数据挖掘

基于WEB内容的挖掘就是针对网页内容进行数据挖掘，通过用户对网页访问的交互，留下的数据信息进行收集分类，完成数据挖掘。目前对文本内容的挖掘技术取得了一定的成果，对图像、音频、视频等各种多媒体数据的数据挖掘技术都开始采用非结构化大数据应用技术来完成。基于WEB结构的挖掘是发现页面、文档和WEB的结构，主要是发现WEB潜在的结构模式，利用分析这些结构我们可以得到很多潜在有价值的信息。基于WEB使用的数据挖掘，即针对用户的访问网页的轨迹收集分析。WEB内容的挖掘和结构的挖掘面对的主要挖掘对象是大规模的轨迹数据，对挖掘数据进行分析可以让管理者了解用户的不同需求，从而为用户提供个性化的服务。

四、数据挖掘在WEB中个性化定制的应用

通过网站与用户的交互，可以得到用户访问的内容、时间、方式、频率等，从中发现潜在的商业价值，通过价值数据进行数据挖掘以及算法分析得出商业结论。就可以根据挖掘到的信息对这些客户进行特定的推销策略，进行个性化定制。在商业领域中，通过对相似轨迹数据的客户进行分类，分析他们的共性，帮助管理者发现不同客户的需求和兴趣，提供适宜各类人的服务。按照不同用户的不同兴趣和爱好，向用户提供动态的浏览建议。对大多数用户来说，如果可以访问该网站可以体会到量身定做的服务，那么数据挖掘个性化定制就成功完成了。

五、数据挖掘技术在WEB中的应用

网站的功能设计及其版面的内容直接影响到网站的访问率。相关人员发现用户的需要和兴趣，对需求强烈的地方提供优化，使用数据挖掘去发现页面间的关联，针对不同的用户动态调整网站的设计和链接，使用户可以便捷地访问到自己想要访问的页面。将数据挖掘技术的在WEB中的应用，吸引更多的用户。随着数据挖掘技术在WEB中的应用，用户可以通过分析挖掘的结果了解各种客户的需求和喜好，得到各种定制个性化服务。随着互联网上轨迹数据信息量的急速增长，不断复杂化的数据结构，挖掘技术也面临着一系列新的问题和挑战。

参考文献：

[1]胡继平、数据挖掘技术[J]、景德镇高专学报，1998

数据挖掘技术 篇6

1数据挖掘技术及其具体功能分析

所谓的数据挖掘具体是指通过相关的算法在大量的数据当中对隐藏的、有利用价值的信息进行搜索的过程。数据挖掘是一门综合性较强的科学技术，其中涉及诸多领域的知识，如人工智能、机器学习、数据库、数理统计等等。数据挖掘技术具有如下几个方面的功能:1.1关联规则分析。这是数据挖掘技术较为重要的功能之一，可从给定的数据集当中，找到出现比较频繁的项集，该项集具体是指行形如X->Y，在数据库当中，X和Y所代表的均为属性取值。在关联规则下，只要数据满足X条件，就一定满足Y条件，数据挖掘技术的这个功能在商业金融等领域中的应用较为广泛。1.2回归模式分析回归模式主要是通过对连续数值的预测，来达到挖掘数据的目的。例如，已知企业某个人的教育背景、工作年限等条件，可对其年薪的范围进行判定，整个分析过程是利用回归模型予以实现的。在该功能中，已知的条件越多，可进行挖掘的信息就越多。1.3聚类分析聚类具体是指将相似程度较高的数据归为同一个类别，通过聚类分析能够从数据集中找出类似的数据，并组成不同的组。在聚类分析的过程中，需要使用聚类算法，借助该算法对数据进行检测后，可以判断其隐藏的属性，并将数据库分为若干个相似的组。

数据挖掘技术研究 篇7

关键词：数据挖掘,建模,KDD

1 概述

计算机和网络的飞速发展与普及, 给全世界带来了巨大的信息化浪潮。信息无处不在, 每时每刻都有大量新的信息在产生:小到人们的日常生活, 超市购物结账信息、手机话单信息、医院就医信息;大到企业的生产经营销售;再到科学领域的应用研究。各行各业都累计了大量的丰富的数据, 面对不断增加如潮水般的数据, 如何对其进行处理得到有益的信息, 为人们的决策提供支持与导向, 成为了亟待解决的问题。从海量的数据中发现潜在的规律, 数据挖掘应运而生。

2 数据挖掘的概念

技术角度而言, 数据挖掘 (Data Mining) 是从大量的、不完全的、有噪声的、模糊的、随机的数据中, 提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据库中的知识发现 (knowledge discovery in database, KDD) 是一个从数据库中挖掘有效的、新颖的、潜在有用的和最终可理解的模式的复杂过程。DM是KDD过程中对数据真正应用算法抽取知识的那一个步骤, 是KDD过程中的重要环节。因此, DM也称为DMKD。这里需要指出, 数据源必须是真实的、大量的、含噪声的;发现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运用;并不要求发现放之四海皆准的知识, 仅支持特定的发现问题。

从商业角度而言, 数据挖掘是一种新的商业信息处理技术, 其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理, 从中提取辅助商业决策的关键性数据。简而言之, 数据挖掘其实是一类深层次的数据分析方法。数据分析本身已经有很多年的历史, 只不过在过去数据收集和分析的目的是用于科学研究, 另外, 由于当时计算能力的限制, 对大数据量进行分析的复杂数据分析方法受到很大限制。现在, 由于各行业业务自动化的实现, 商业领域产生了大量的业务数据, 这些数据不再是为了分析的目的而收集的, 而是由于纯机会的商业运作而产生。分析这些数据也不再是单纯为了研究的需要, 更主要是为商业决策提供真正有价值的信息, 进而获得利润。但所有企业面临的一个共同问题是:企业数据量非常大, 而其中真正有价值的信息却很少, 因此从大量的数据中经过深层分析, 获得有利于商业运作、提高竞争力的信息, 就像从矿石中淘金一样, 数据挖掘也因此而得名。因此, 数据挖掘可以描述为:按企业既定业务目标, 对大量的企业数据进行探索和分析, 揭示隐藏的、未知的或验证已知的规律性, 并进一步将其模型化的先进有效的方法。

3 数据挖掘的任务

数据挖掘分为定向和非定向两类。定向数据挖掘的目的是解释或分类某个特殊的目标域, 如收入或反馈。非定向数据挖掘的目的是在不预设目标域或确定类的前提下, 找出在批量数据间的模式或者相似性。

定向数据挖掘的任务, 是发现特定目标变量的值。具体可分为:分类、估计和预测。

分类:是最常见的数据挖掘任务之一。为了理解并与周围环境交流, 归类、分类以及分级时刻都在被应用。如信用卡申请者, 分类为低、中、高风险。考察一类新出现的对象的特征, 并归类到已定义类中。分类的对象通常表示为数据库表或者文件中的记录, 分类工作包括向数据库添加一个新列, 并给出某种分类代码。分类工作首先要有一个清晰定义的类, 还要有一系列已分类实例。分类过程实际上是先建立某种模型, 然后将其用于对未分类数据进行分类。

估计:分类给出的结果是离散的, 而估计则是处理连续值结果;分类的类别是确定数目的, 估值的量是不确定的。实际上, 估计经常用于分类任务。给定一些输入数据, 通过估计, 得到未知的连续变量的值, 然后, 根据预先设定的阈值, 进行分类。例如:银行对贷款业务, 运用估值, 给各个客户记分 (Score 0~1) 。然后, 根据阈值, 将贷款级别分类。

预测:预测与分类和估计一样, 但其中记录的分类依据是一些预测的未来行为或者估计的未来值。利用训练样本中那些已知的历史数据验证样本中要预测的变量值, 这些变量值在训练样本中是已知值。历史数据用于构造模型, 以解释当前观察到的信为。当某个模型应用于当前的输入, 给出的结果就是对未来行为的预测。预测的目的是对未来未知变量的预测, 这种预测是需要时间来验证的, 即必须经过一定时间后, 才知道预言准确性是多少。如:预测哪些客户在3个月内可能离开。

非定向数据挖掘的任务, 是在不限定特定目标变量的情况下揭示数据的结构。具体分为:关联分组、聚类。

关联分组:由数据产生规则, 确定哪些事情应该分在一起。典型应用就是, 零售连锁店使用其计划商店货架或目录上的物品放置位置, 以便将经常被一起购买的物品放在一起, 提高销售量。

聚类:把各个不相同的个体分割为有更多相似性的子群或者簇的工作。聚类和分类的区别在于聚类不依赖于预先定义的类, 而分类是以训练样本构建的模型为基础, 把每条记录分配到一个预定义的类中。在聚类中, 没有预定义的类和样本。记录完全依靠其自相似性被归为一类。如果簇有什么意义的话, 结果也完全由使用者确定赋予该簇何种意义。聚类通常作为一些其他形式的数据挖掘和建模的前奏。

4 数据挖掘技术

数据挖掘技术可分为传统技术与改良技术两支。传统技术以统计分析为代表, 统计学内所含序列统计、概率论、回归分析、类别数据分析等都属于传统数据挖掘技术, 尤其, 数据挖掘对象多为, 变量繁多且样本数庞大的数据, 高等统计学里的多变量分析, 用来精简变量的因素分析、用来分类的判别分析, 以及用来区隔群体的分群分析等, 在数据挖掘过程中特别常用。

在改良技术方面, 应用较普遍的有决策树理论、类神经网络以及规则归纳法等。其中, 类神经网络是一种仿真人脑思考结构的数据分析模式, 由输入之变量与数值中自我学习并根据学习经验所得之知识不断调整参数以期建构数据的型样 (patterns) 。类神经网络为非线性的设计, 与传统回归分析相比, 好处是在进行分析时无须限定模式, 特别当数据变量间存有交互效应时可自动侦测出;缺点则在于其分析过程为一黑盒子, 故常无法以可读之模型格式展现, 每阶段的加权与转换亦不明确, 是故类神经网络多利用于数据属于高度非线性且带有相当程度的变量交感效应时。

参考文献

[1]于春香.数据挖掘技术简介[J].福建信息技术教育, 2005, 1.

[2]杨勇, 袁芹芹.数据挖掘技术及其应用[J].西安文理学院学报 (自然科学版) , 2006, 2.

[3]陈琦, 刘蓉, 朱云峰, 王佩君, 等.数据挖掘过程的标准模型展望[J].术语标准化与信息技术, 2005, 4.

数据挖掘技术在金融领域的应用 篇8

【摘要】 简要阐述理数据挖掘的概念、发展及基本技术,并着重阐述了其在金融领域的应用。

【关键词】 数据挖掘;金融领域

一、数据挖掘技术简介

1.数据挖掘技术的定义

数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识、这些知识是隐含的、事先未知的、潜在有用的信息,提取的知识表示为概念(Concepts),规则(Rules)、规律(Regularities)、模式(Patterns)等形式。这个定义把数据挖掘的对象定义为数据库。

2.常用的数据挖掘技术和过程

在数据挖掘中最常用的建模技术有:

(1)统计:统计是涉及数据和描述的一个数学分支,其主要任务就是了解已经收集到的有限数据,并根据这些数据作出关于潜在数据分布是什么的预测。

(2)K近邻:近邻技术是指为了预测在一个记录中的预测值是什么,在历史数据库中寻找有相似预测值的记录,并使用未分类记录中最接近的记录值作为预测值。对基础最近邻算法常常作的改进是从K个最近的邻居中进行投票选择,而不是仅仅取决于距未知记录最近的邻居。

(3)聚类:聚类方法用于将记录聚集在一起,从而给出数据库的一个高层视图。

(4)决策树:决策树是指采取树形式的预测模型,树的每个分支都是一个分类方法,树叶是带有分类的数据分割。

(5)人工神经网络是仿照生理神经网络结构的非线形预测模型,通过学习进行模式识别。

(6)规则归纳:从统计意义上对数据中的“if……then… …”规则进行寻找和推导。

3.数据挖掘的过程

(1)数据准备。数据的准备阶段可分为数据选取、数据预处理、数据转换三个步骤。数据的选取是根据用户的需要从原始数据库中抽取的一部分数据;数据预处理是消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换;数据转换的主要目的是削减数维数或降维。

(2)数据挖掘。对准备好的数据进行分类、聚类,找出关联规则,之后根据具体目标,确定数据挖掘的算法,在选择算法的时候,重要的是根据用户需求来决定具体的算法,然后确定具体的挖掘模型。

(3)结果评估。对数据挖掘阶段确定的模型,进行评价,消除冗余,使得模型满足用户的需求。在评价时要及时反馈,不符合的就要重新返回到以上两个步骤,直到满足要求。

二、数据挖掘技术在金融领域的应用

1.数据挖掘技术在证券行业的应用

数据挖掘在此过程中将发挥重要作用,其技术应用的方向主要有:

(1)客户分析。建立数据仓库来存放对全体客户、预定义客户群、某个客户的信息和交易数据,并通过对这些数据进行挖掘和关联分析,实现面向主题的信息抽取。

(2)咨询服务。根据采集行情和交易数据,结合行情分析,预测未来大盘走势,并发现交易情况随着大盘变化的规律,并根据这些规律做出趋势分析,对客户针对性进行咨询。

(3)风险防范。通过对资金数据的分析,可以控制营业风险,可以改变公司总部原来的资金控制模式,并通过横向比较及时了解资金情况,起到风险预警的作用。

(4)经营状况分析。通过数据挖掘,可以及时了解营业状况、资金情况、利润情况、客户群分布等重要的信息,并结合大盘走势,提供不同行情条件下的最大收益经营方式。通过对各营业部经营情况的横向比较,以及对本营业部历史数据的纵向比较,对营业部的经营状况作出分析,提出经营建议。

2.数据挖掘在银行CRM(客户关系关系管理)中的应用

客户关系管理(以下简称CRM,Customer Relationship Management)是现代商业银行的重要业务之一。商业银行实施CRM的目标是了解客户需求,找出能盈利客户,提高针对性服务。要实现以上目标,可以借助层次信息处理技术,它能够充分利用客户资料,发现潜在的,有用的规则和模式。

数据挖掘技术在商业银行CRM 中具有广泛用途主要有:

(1)加载客户信息。这一阶段主要是进行数据清理,消除现有业务系统中有关客户账户数据不一致的现象,将其整合到中央市场客户信息库,建立以客户为中心的数据仓库基础环境。银行各业务部门对客户有统一的视图,可以进行相关的客户分析。

(2)加载客户交易信息。这一阶段主要是把客户与银行分销渠道的所有历史交易数据加载到中央市场客户信息库。这一阶段完成后,银行可以分析客户使用分销渠道的情况和分销渠道的容量,了解客户、渠道、服务三者之间的关系。

(3)模型评测。为客户的每一个账号建立利润评测模型,以便了解客户对银行的总利润贡献度。要建立利润评测模型,需要加载会计系统的财务数据到中央数据仓库。这一阶段完成后,银行可以从组织、客户和产品三个方面分析利润贡献度。

(4)优化客户关系。银行应该掌握客户在生活、职业等方面的变化及外部环境的变化,抓住推销新产品和服务的时机。这需要将账号每次发生的交易明细数据,加载到中央数据仓库,核对客户行为的变化。

(5)风险评估和管理。银行风险管理的对象主要是与资产和负债有关的风险,与资产负债有关的业务系统的交易数据要加载到中央数据仓库;然后,银行可以依照不同的期间,以数学模型分析和模拟计算利率敏感性资产和负债之间的缺口,了解银行在不同期间资本比率、资产负责结构、资金情况和净利息收人的变化。

三、数据挖掘技术在金融领域应用存在的问题和挑战

1.选择合适的数据挖掘方法和参数

在金融数据挖掘的应用中,选择合适的影响变量(特征),合适的数据挖掘算法,和合适的模型评估是数据挖掘过程中的关键。尽管现在很多的应用转向用神经网络等工具来解决问题,问题依然存在,如合适的训练数据集合的大小与选择,怎样处理过时的数据等等。

2.可扩展性和性能的要求

有些金融数据的增长速度是爆炸式的,金融数据挖掘必须考虑到算法的可扩展性和算法的效率,所以模型在建立时就必须要考虑到新数据的更新和整合,至于性能的要求,如果把数据集合分成若干小集合,再使用并行的数据挖掘技术可能会有较好的表现。

3.文本数据挖掘

随着互联网的普及,网页信息为资源的提取提供了一个绝佳的“矿藏”,很多现存的金融数据挖掘模型很依赖于政府的政策,市场的反馈信息等等,显然现存的金融数据挖掘方法还没有充分利用到比如一些时报提供的资讯来辅助决策,如银行如果声称下月将调整利率,那么股市肯定有相应的变化。当然数据挖掘涉及到很多领域,如自然语言处理,信息检索等,具有很大的挑战。

4.多种数据挖掘技术的整合

由讨论可以看出,每种数据挖掘技术都有它的优点和局限,为了改进数据挖掘技术在金融领域的应用效果,现在很多研究者考虑将多种数据挖掘技术融合,如金融数据挖掘中用得较多的分类技术,就有多分类器系统

(multiple classify system, MCS),在很多情况下会有上佳的表现。

参考文献

[1]张玉春.数据挖掘在金融分析中的应用.华南金融电脑.2004