中文XML论坛--数据挖掘的10个常见问题

Q5. Data Mining 运用了哪些理论与技术？
  Data Mining是近年来数据库应用技术中相当热门的议题，看似神奇、听来时髦，实际上却也不是什么新东西，因其所用之诸如预测模式、资料分割，连结分析（Link Analysis）、偏差侦测（Deviation Detection）等，美国早在二次世界大战前就已应用运用在人口普查及军事等方面。
  随着信息科技超乎想象的进展，许多新的计算机分析工具问世，例如关系型数据库、模糊计算理论、基因算法则以及类神经网络等，使得从资料中发掘宝藏成为一种系统性且可实行的程序。
  一般而言，Data Mining的理论技术可分为传统技术与改良技术两支。传统技术以统计分析为代表，举凡统计学内所含之叙述统计、机率论、回归分析、类别资料分析等皆属之，尤其 Data Mining 对象多为变量繁多且笔数庞大的数据，是以高等统计学里所含括之多变量分析中用来精简变量的因素分析（Factor Analysis）、用来分类的判别分析（Discriminant Analysis），以及用来区隔群体的分群分析（Cluster Analysis）等，在Data Mining过程中特别常用。
在改良技术方面，应用较普遍的有决策树理论（Decision Trees）、类神经网络（Neural Network）以及规则归纳法（Rules Induction）等。决策树是一种用树枝状展现资料受各变量的影响情形之预测模型，根据对目标变量产生之效应的不同而建构分类的规则，一般多运用在对顾客资料的区隔分析上，例如针对有回函与未回含的邮寄对象找出影响其分类结果的变量组合，常用分类方法为CART（Classification and Regression Trees）及CHAID（Chi-Square Automatic Interaction Detector）两种。
  类神经网络是一种仿真人脑思考结构的资料分析模式，由输入之变量与数值中自我学习并根据学习经验所得之知识不断调整参数以期建构资料的型样(patterns)。类神经网络为非线性的设计，与传统回归分析相比，好处是在进行分析时无须限定模式，特别当资料变量间存有交互效应时可自动侦测出；缺点则在于其分析过程为一黑盒子，故常无法以可读之模型格式展现，每阶段的加权与转换亦不明确，是故类神经网络多利用于资料属于高度非线性且带有相当程度的变量交感效应时。
规则归纳法是知识发掘的领域中最常用的格式，这是一种由一连串的「如果…/则…（If / Then）」之逻辑规则对资料进行细分的技术，在实际运用时如何界定规则为有效是最大的问题，通常需先将资料中发生数太少的项目先剔除，以避免产生无意义的逻辑规则。

Q6. Data Mining包含哪些主要功能？
  Data Mining实际应用功能可分为三大类六分项来说明：Classification和Clustering属于分类区隔类；Regression和Time-series属于推算预测类；Association和Sequence则属于序列规则类。
  Classification是根据一些变量的数值做计算，再依照结果作分类。（计算的结果最后会被分类为几个少数的离散数值，例如将一组资料分为 "可能会响应" 或是 "可能不会响应" 两类）。Classification常被用来处理如前所述之邮寄对象筛选的问题。我们会用一些根据历史经验已经分类好的资料来研究它们的特征，然后再根据这些特征对其他未经分类或是新的数据做预测。这些我们用来寻找特征的已分类资料可能是来自我们的现有的客户资料，或是将一个完整数据库做部份取样，再经由实际的运作来测试；譬如利用一个大型邮寄对象数据库的部份取样来建立一个Classification Model，再利用这个Model来对数据库的其它资料或是新的资料作分类预测。
  Clustering用在将资料分群，其目的在于将群间的差异找出来，同时也将群内成员的相似性找出来。Clustering与Classification不同的是，在分析前并不知道会以何种方式或根据来分类。所以必须要配合专业领域知识来解读这些分群的意义。
  Regression是使用一系列的现有数值来预测一个连续数值的可能值。若将范围扩大亦可利用Logistic Regression来预测类别变量，特别在广泛运用现代分析技术如类神经网络或决策树理论等分析工具，推估预测的模式已不在止于传统线性的局限，在预测的功能上大大增加了选择工具的弹性与应用范围的广度。
Time-Series Forecasting与Regression功能类似，只是它是用现有的数值来预测未来的数值。两者最大差异在于Time-Series所分析的数值都与时间有关。Time-Series Forecasting的工具可以处理有关时间的一些特性，譬如时间的周期性、阶层性、季节性以及其它的一些特别因素（如过去与未来的关连性）。
  Association是要找出在某一事件或是资料中会同时出现的东西。举例而言，如果A是某一事件的一种选择，则B也出现在该事件中的机率有多少。（例如：如果顾客买了火腿和柳橙汁，那么这个顾客同时也会买牛奶的机率是85%。）
  Sequence Discovery与Association关系很密切，所不同的是Sequence Discovery中事件的相关是以时间因素来作区隔（例如：如果A股票在某一天上涨12%，而且当天股市加权指数下降，则B股票在两天之内上涨的机率是 68%）。

*树形目录（最近20个回帖）	顶端
主题：数据挖掘的10个常见问题(2471字) － DMman，2007年5月14日
回复： Q9. Data Mining 在 CRM 中扮演的角色为何？ CRM（Customer R..(2197字) － DMman，2007年5月14日
回复： Q7. Data Mining在各领域的应用情形为何？ Data Mining在各领域的应用..(2536字) － DMman，2007年5月14日
回复： Q5. Data Mining 运用了哪些理论与技术？ Data Mining是近年来数据库..(3978字) － DMman，2007年5月14日
回复： Q3. OLAP 能不能代替 Data Mining？所谓OLAP（Online Anal..(1854字) － DMman，2007年5月14日


	W 3 C h i n a ( since 2003 ) 旗下站点苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》	74.219ms