本文目录一览

1，信息增益率必须小于1吗

用过的分类属性是不能在用来分类的，假设：再用来分类的情况下，在数据很充分时，相当于把整个数据集合中的每一条信息用树结构表达出来。
我不会~~~但还是要微笑~~~：）

信息增益率必须小于1吗

2，增益率擅长处理的数据类型

离散型数据类型。增益率通常用于选择具有最大信息增益率的特征，离散型数据类型指的是取有限个离散值的数据类型，例如文本数据、类别数据等。增益率通常指信息增益率，其表示节点的信息与节点分裂信息度量的比值。

增益率擅长处理的数据类型

3，为什么id3树不能处理连续性属性

ID3算法是决策树的一个经典的构造算法，在一段时期内曾是同类研究工作的比较对象，但通过近些年国内外学者的研究，ID3算法也暴露出一些问题，具体如下：(1)信息增益的计算依赖于特征数目较多的特征，而属性取值最多的属性并不一定最优。(2)ID3是非递增算法。(3)ID3是单变量决策树(在分枝节点上只考虑单个属性)，许多复杂概念的表达困难，属性相互关系强调不够，容易导致决策树中子树的重复或有些属性在决策树的某一路径上被检验多次。(4)抗噪性差，训练例子中正例和反例的比例较难控制。于是Quilan改进了ID3，提出了C4.5算法。C4.5算法现在已经成为最经典的决策树构造算法，排名数据挖掘十大经典算法之首，下一篇文章将重点讨论。决策树的经典构造算法——C4.5（WEKA中称J48）由于ID3算法在实际应用中存在一些问题，于是Quilan提出了C4.5算法，严格上说C4.5只能是ID3的一个改进算法。C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2) 在树构造过程中进行剪枝；3) 能够完成对连续属性的离散化处理；4) 能够对不完整数据进行处理。C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。此外，C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。另外，无论是ID3还是C4.5最好在小数据集上使用，决策树分类一般只试用于小数据。当属性取值很多时最好选择C4.5算法，ID3得出的效果会非常差。
我不会~~~但还是要微笑~~~：）

为什么id3树不能处理连续性属性

4，python里怎么计算信息增益信息增益比基尼指数

1、首先自定义一份数据，分别计算信息熵，条件信息熵，从而计算信息增益。2、然后我们按下图输入命令计算信息熵。3、再按照下图输入命令计算条件信息熵。4、再输入下图命令，计算信息增益。5、输入下列代码计算信息增益比。6、最后按照下图代码计算出基尼指数。

5，classregtree用做分类的时候是C45还是CART

决策树主要有id3，c4.5，cart等形式。id3选取信息增益的属性递归进行分类，c4.5改进为使用信息增益率来选取分类属性。cart是classfication and regression tree的缩写。表明cart不仅可以进行分类，也可以进行回归。其中使用基尼系数选取分类属性。以下主要介绍id3和cart算法。id3算法：信息熵： h(x)=-sigma（对每一个x）（plogp） h(y|x)=sigma(对每一个x)（ph(y|x=xi)）信息增益：h（d）-h(d|x) h(d)是整个数据集的熵 信息增益率：（h(d)-h(d|x)）/h(x)算法流程：（1）对每一个属性计算信息增益，若信息增益小于阈值，则将该支置为叶节点，选择其中个数最多的类标签作为该类的类标签。否则，选择其中最大的作为分类属 性。 （2）若各个分支中都只含有同一类数据，则将这支置为叶子节点。 否则 继续进行（1）。cart算法：基尼系数：gini（p）=sigma（每一个类）p(1-p)回归树：属性值为连续实数。将整个输入空间划分为m块，每一块以其平均值作为输出。f(x)=sigma(每一块)cm*i(x属于rm) 回归树生成：（1）选取切分变量和切分点，将输入空间分为两份。 （2）每一份分别进行第一步，直到满足停止条件。 切分变量和切分点选取：对于每一个变量进行遍历，从中选择切分点。选择一个切分点满足分类均方误差最小。然后在选出所有变量中最小分类误差最小的变量作为切分 变量。 分类树：属性值为离散值。 分类树生成：（1）根据每一个属性的每一个取值，是否取该值将样本分成两类，计算基尼系数。选择基尼系数最小的特征和属性值，将样本分成两份。 （2）递归调用（1）直到无法分割。完成cart树生成。 决策树剪枝策略：预剪枝（树提前停止生长）和后剪枝（完全生成以后减去一些子树提高预测准确率）降低错误率剪枝：自下而上对每一个内部节点比较减去以其为叶节点和子树的准确率。如果减去准确率提高，则减去，依次类推知道准确率不在提高。代价复杂度剪枝：从原始决策树t0开始生成一个子树序列{t0、t1、t2、...、tn},其中ti+1是从ti总产生，tn为根节点。每次均从ti中 减去具有最小误差增长率的子树。然后通过 交叉验证比较序列中各子树的效果选择最优决策树。
现在为这个虚拟机设置硬盘驱动器，如图2-11所示。虽然可以在专用的物理卷中设置一个硬盘，但是标准的做法是将一个大文件创建为虚拟机硬盘驱动器。虽然这些文件的默认位置是/var/lib/libvirt/images/目录，但是正如本章前曾提到的也可以是其他目录。在考试中，/var/ lib/libvirt/images目录空间很可能远大于实际需要。图2-11中的Select managed or other existing storage(选择可管理存储空间或其他现有的存储空间)选项会在另外一个预配置的硬盘池中创建一个虚拟驱动器。

6，理论篇决策树算法 信息增益率GINI系数

ID3 决策树算法在特征选择时存在什么问题呢？ 我们来举个例子：数据集 A 存在一个非常稀疏的特征 ID 列，我们知道 ID 是唯一不重复的，种类自然就会非常庞大。 这个时候，如果我们使用 ID 去切分数据集，那切分到最后，每个样本都会被分配到单独的样子结点上，每个样子结点的数据只有一样，不确定性为 0 ，熵值也为 0 。 那这样是不是就说名 ID 这个特征非常好呢？根据 ID 就能预测标签？当然不是，实际上 ID 这个特征毫无意义。 小鱼这里拿 ID 举例，只是个极端的例子。但足以说明，对于类似 ID 这样数据种类非常多，分布非常稀疏的特征来说，ID3 决策树算法通过信息增益来选取结点特征是远远不够的。 为了解决 ID3 决策树算法的问题，我们引入了信息增益率，计算信息增益时，考虑特征分布的自身熵。 C4.5 决策树算法使用信息增益率来衡量特征节点的分类能力。所谓信息增益率就是在信息增益的基础上除以该特征自身的熵值计算而来。 为什么要除以特征自身的熵值呢？我们举个例子：还是刚才的 ID 特征，ID 特征切分完数据后的熵值为 0 ，原始数据集的熵值为 G，特征 ID 的熵值为 -n*(1/n)*log(1/n) = -log(1/n) 其中 n 为数据集样本的个数。因此，特征 ID 的熵 G2 是一个非常庞大的数值。 使用 ID 节点切分数据集之后，得到的信息增益为：G - 0 = G，信息增益非常大，分类效果堪称完美。但如果使用信息增益率去衡量，则：(G - 0)/G2，其中 G2 一定是远远大于 G 的，因为很显然标签的混乱层度远低于 ID 列的混乱层度。 因此，我们求得的信息增益率就是一个非常小的值了，这个时候就可以发现 ID 这个特征分类效果非常差。也因此 C4.5 算法很好地解决了 ID3 算法对稀疏特征衡量的不足。 GINI 系数和熵的衡量标准类似，只是计算方式不同。GINI 系数的公式为： 当概率 P 为 0 或者 1 时，此时没有不确定性。其中概率为 1 时，GINI系数为 0 ，概率为 0 时，GINI 系数也为 0 。

7，捣蛋精灵插件

分太少喽，教你太麻烦了~
分太少了 不想回答
复制粘贴这么多对LZ有啥用啊，人家要的是具体配置
捣蛋精灵全功能整合插件包以ACE2、和FuBar为核心，所以 带[库]打头的必须加载。FuBar主体必须加载。（很多ACE2插件通过FuBar上的菜单调试） 以CWDG的Ace2核心库为基础；包含以下模块功能： [任务模块]可实现 任务查询，显示任务相关地点（接任务地点、做任务地点、完成任务地点）并有桌面速查完成度、小队通告任务完成度等增强功能等。 [物品模块]可实现 整合包裹银行、批量收发邮件、物品价格显示、自动售卖垃圾、自动修理装备、交易增强（Alt点击物品加入交易栏，自动制造目标相应等级的面包和水，开锁按钮）、装备属性加成分析比较、显示物品掉落出处及其掉落率、自动拾取且窗口跟随增强。等等等等。 [团队模块]可实现 团队助手、团队副本预警（各种副本）、团队框体增强、伤害统计（包含治疗、驱散减益等等）、所有的副本地图，显示BOSS掉落的所有清单及掉落率，新TBC副本还显示副本BOSS攻略，等等功能。 [战斗模块]可实现 在玩家身上显示受到的伤害数据和魔法效果、在目标上方显示你的伤害或治疗数值、用弧形或条形显示自己和目标的血量及相关信息、计时条显示你的短效增益法术（如切割）和你释放的目标的短效减益效果（如缴械）、鼠标滚轴释放增益效果，并监视你指定的小队每个人身上的此类效果，(如 真言术：韧）、敌对施法条功能等等。 [界面模块]可实现 聊天频道使用颜色区分发言者职业、使用鼠标滚轴上下卷动聊天频道、点击发言者名字可弹出选项菜单，甚至可以由此点发增益技能给他加BUFF、在聊天频道高亮显示你的名字，等。 [地图模块]可实现 显示所有采矿、采药、钓鱼、宝箱刷新地点。并在小地图上显示。团队成员在地图上以职业颜色显示并显示队伍编号，支持路标显示。可任意移动的小地图可以任意形状显示，可以隐藏不必要的按钮，支持鼠标滚轮缩放小地图大小，支持小地图旁边的插件按钮随意排列，等等功能。 [职业模块]可实现 盗贼连击点显示、盗贼制毒购毒助手、盗贼能量助手、猎人技能助手、法师技能助手、术士技能助手、战士嘲讽助手。等职业插件 [界面模块]可实现 快捷技能条随意拖拽定位 并支持使用个性化按钮形状、战斗时自动弹出、战斗时自动隐藏、技能冷却倒计时显示在按钮上，施法距离使用颜色区分。 [战场/竞技场模块]可实现 面板显示得分和荣誉，竞技场中显示对方职业信息和血量，战场提供更多战场信息和倒计时显示。 全职业、全功能插件包等待你来体验！ 安装、使用步骤： 1、下载最新插件包： 2、下载字体包：仅第一次需要！ 3、下载WTF配置文件夹： 只有第一次配置插件时才需要这个WTF文件夹 4、保存原有设置：请保存您原有的Interface文件夹和WTF文件夹，推荐使用重命名的方式，例如改为 WTF旧 5、解压缩： 将下载到的3个压缩包解压缩到魔兽目录下（通常为X:\World of Warcraft\） 此时应该解压缩出3个文件夹（Interface）（Fonts）（WTF） 6、生成兼容各版本插件的字体库： 进入Fonts目录，双击 生成新字体.bat 即完成兼容各版本插件到字体库生成（其实就是自动重命名字库文件） 7、匹配WTF文件夹： 进入WTF文件夹，将WTF\Account\你的帐号\你的服务器名称\你的人物名称,改为相应的名称。（你可以在旧的WTF文件夹内找到正确的写法） 如果你有很多帐号或ID，请重复这一步骤。 8、插件选择： 进入游戏人物选择页面，在左下角到插件选择页面选择你需要的插件（关掉你不需要到职业插件） 9、界面调节： a.进入游戏后，请先在ESC菜单（系统菜单）的 界面 选项单中，找到 显示Lua错误 关闭它（不打勾） b.使用/Zbar命令 调出 动作条设置窗口，来设置动作条的相关界面。比如解锁后移动任意动作条。 c.小地图位置，可以用鼠标拖拽，右键点击小地图可以设置。小地图旁边的按钮，可以任意定位。 d.大多数ACE2插件，都可以在FuBar信息条上的[库]Spirit插件库上，点右键找到相关设置。 e.由于我的WTF配置是基于 宽屏 和 使用UI缩放 的，所以您可能需要最后调整一下 10、Mission Complet！任务完成！现在您可以尽情享用了！ 11、以后每次更新，请完全删除Interface文件夹 在解压缩新插件包即可！ 提醒：第一次使用的朋友，不要开启不是自己职业的插件，如果内存紧张， 请关闭 任务插件 和副本地图&副本掉落查询插件。 插件包需要配合字体包一起使用。 出现不正常退出的问题 ERROR：＃132 的请试试： 1.完全删除WTF文件夹，使用我的WTF文件夹配置你的界面。注意要做匹配改名工作！ 2.使用游戏目录里自带的修复游戏文件损坏的 修复程序 3.按照步骤 安装好字体文件。

8，信息熵条件熵信息增益信息增益率

一、信息熵 1. 信息熵提出背景 我们生活在一个信息爆炸的时代，从信息学的角度来说，人类进步的本质就是不断的打破信息的不对称性。我们讨厌不确定性，我们一生都在试图将所有的不确定性变成我们可能预测可能掌控的东西。 2. 什么是信息熵 在信息学中，对于接收者来说，发送者发送的信息是不确定的，所以对于接收者来说，他会接受到的信息是随机的，这里就引入了熵的概念。统计学中说熵的概念是一个系统可能存在的状态的个数的对数。虽然对于接收者来说，他可能接收的信息的个数是随机的，但是总是在一个范围内，他可能接收的信息的个数的对数就是信息熵。 3. 信息熵的公式 为了计算熵，我们需要计算所有类别所有肯能值所包含的期望值，事物的不确定越大，信息熵越大。 ，其中 m 代表将事物分类的概率为k种， 代表了将事物分类为k类型的概率。 4. 信息熵使用场景 cart剪枝，一般有两种，利用基尼系数或信息熵。 5. 信息熵存在的问题 从信息熵的公式我们可以看到，信息越确定，信息熵越小。在生活场景中，像id之类的特征通过信息熵公式计算得到的信息熵很高，但是实际上这个特征对我们判断决策所起的作用很小，比如身份证号、手机号等信息。 二、条件熵 1. 条件熵提出背景 我们知道有的特征携带的熵很多，但是这个特征又真正对我要决策的事情有多大的重要性呢，这时候我们很容易想到条件概率，这时候我们引出了条件熵这个概念。 2. 什么是条件熵 条件熵 表示在已知随机变量X的条件下随机变量Y的不确定性。 3. 条件熵的公式 随机变量X给定的条件下随机变量Y的条件熵公式如下： 其中， 三、信息增益 1.信息增益提出背景 拿我们生活的场景来举个栗子， 比如闺蜜电话约我去逛街，提到我们逛街完了吃火锅，那天刚好下雪，然后我恰巧还来例假了，我这时候有两种决策，去或者不去。这里我们将上面场景中的信息概括下就是，买物品(买衣服？买包包？买鞋子？买花？买居家用品？)、吃饭（吃火锅？吃串串？吃小吃？吃披萨？）、天气（下雨？下雪？晴天？阴天？）；例假（是？否？），聊天，那么这么多特征中，哪些是决定我去或者不去的重要因素呢？如果单从信息熵的角度来看，那么哪个特征的属性越多，它的信息熵越大，重要性越大，事实却不是如此。对我来说，去的理由也许买物品不重要，吃什么也不重要，而我好长时间没有见到她了，想她了是真的，所以“聊天”这个特征决定我会做出赴约这个决策。串起来就是"在聊天这个特征条件下极大的增加了我做出赴约决策的确定性"。 2. 什么是信息增益 信息增益表示得知特征X的信息而使得类Y的信息不确定性减少的程度。 3. 信息增益公式 这里D是决策，A是条件特征 4. 信息增益的使用场景 信息处理中， ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。 5. 信息增益存在的问题 从信息增益公式我们可以看到，前面唯一id特征信息熵的问题还是没有解决掉。那么有没有什么方法可以平衡id特征信息熵过大的问题，我们很容易想到将特征id自身的信息熵作为分母去平衡整个的计算结果，这时候就有人提出了信息增益率这个概念。 四、信息增益率 1. 信息增益率提出背景 信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一 2. 什么是信息增益率 信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一 3. 信息增益率公式上图为盗图，解释的比较清楚，这里就不重复说了。 4. 信息增益率使用场景 C4.5算法就使用了信息增益率作为剪枝条件。 五、参考文献 https://www.cnblogs.com/ironan-liu/p/11769229.html

9，需要掌握哪些大数据算法

原发布者:ninahe916大数据常用的算法（分类、回归分析、聚类、关联规则）
不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。1.C4.5C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2)在树构造过程中进行剪枝；3)能够完成对连续属性的离散化处理；4)能够对不完整数据进行处理。C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。2.Thek-meansalgorithm即K-Means算法k-meansalgorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k 3.Supportvectormachines支持向量机，英文为SupportVectorMachine，简称SV机（论文中一般简称SVM）。它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.CBurges的《模式识别支持向量机指南》。vanderWalt和Barnard将支持向量机和其他分类器进行了比较。4.TheApriorialgorithmApriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。5.最大期望(EM)算法在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（LatentVariabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（DataClustering）领域。6.PageRankPageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里·佩奇（LarryPage）。因此，PageRank里的page不是指网页，而是指佩奇，即这个等级方法是以佩奇来命名的。PageRank根据网站的外部链接和内部链接的数量和质量俩衡量网站的价值。PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票，被链接的越多，就意味着被其他网站投票越多。这个就是所谓的“链接流行度”——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。7.AdaBoostAdaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。8.kNN:k-nearestneighborclassificationK最近邻(k-NearestNeighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。9.NaiveBayes在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(DecisionTreeModel)和朴素贝叶斯模型（NaiveBayesianModel，NBC）。朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。10.CART:分类与回归树CART,ClassificationandRegressionTrees。在分类树下面有两个关键的思想。第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。
大讲台大数据培训为你解答:1.可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。2. 数据挖掘算法大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。3. 预测性分析大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。4. 语义引擎非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
不管是什么行业的数据分析师，必须要掌握的技能是： 该行业的行业知识和经验，不能低于行业专家的平均水平 必须具有的数学知识，例如统计分析、数理统计、模糊数学、线性代数、建模方法等等 it技术：数据库技术、大数据技术、离散数学算法。

10，数据挖掘算法的算法分类

C4.5就是一个决策树算法，它是决策树（决策树也就是做决策的节点间像一棵树一样的组织方式，其实是一个倒树）核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。C4.5比ID3改进的地方时：ID3选择属性用的是子树的信息增益（这里可以用很多方法来定义信息，ID3使用的是熵（entropy）（熵是一种不纯度度量准则）），也就是熵的变化值，而C4.5用的是信息增益率。也就是多了个率嘛。一般来说率就是用来取平衡用的，就像方差起的作用差不多，比如有两个跑步的人，一个起点是100m/s的人、其1s后为110m/s；另一个人起速是1m/s、其1s后为11m/s。如果仅算差值那么两个就是一样的了；但如果使用速度增加率（加速度）来衡量，2个人差距就很大了。在这里，其克服了用信息增益选择属性时偏向选择取值多的属性的不足。在树构造过程中进行剪枝，我在构造决策树的时候好讨厌那些挂着几个元素的节点。对于这种节点，干脆不考虑最好，不然很容易导致overfitting。对非离散数据都能处理，这个其实就是一个个式，看对于连续型的值在哪里分裂好。也就是把连续性的数据转化为离散的值进行处理。能够对不完整数据进行处理，这个重要也重要，其实也没那么重要，缺失数据采用一些方法补上去就是了。 (朴素贝叶斯NB)NB认为各个特征是独立的，谁也不关谁的事。所以一个样本（特征值的集合，比如“数据结构”出现2次，“文件”出现1次），可以通过对其所有出现特征在给定类别的概率相乘。比如“数据结构”出现在类1的概率为0.5，“文件”出现在类1的概率为0.3，则可认为其属于类1的概率为0.5*0.5*0.3。 (支持向量机SVM)SVM就是想找一个分类得最”好”的分类线/分类面（最近的一些两类样本到这个”线”的距离最远）。这个没具体实现过，上次听课，那位老师自称自己实现了SVM，敬佩其钻研精神。常用的工具包是LibSVM、SVMLight、MySVM。 (Mining frequent patterns without candidate generation)这个也不太清楚。FP-growth算法(Frequent Pattern-growth)使用了一种紧缩的数据结构来存储查找频繁项集所需要的全部信息。采用算法：将提供频繁项集的数据库压缩到一棵FP-tree来保留项集关联信息，然后将压缩后的数据库分成一组条件数据库（一种特殊类型的投影数据库），每个条件数据库关联一个频繁项集。 K-Means是一种最经典也是使用最广泛的聚类方法，时至今日扔然有很多基于其的改进模型提出。K-Means的思想很简单，对于一个聚类任务（你需要指明聚成几个类，当然按照自然想法来说不应该需要指明类数，这个问题也是当前聚类任务的一个值得研究的课题），首先随机选择K个簇中心，然后反复计算下面的过程直到所有簇中心不改变（簇集合不改变）为止：步骤1：对于每个对象，计算其与每个簇中心的相似度，把其归入与其最相似的那个簇中。步骤2：更新簇中心，新的簇中心通过计算所有属于该簇的对象的平均值得到。k-means 算法的工作过程说明如下：首先从n个数据对象任意选择k 个对象作为初始聚类中心；而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数. k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。 BIRCH也是一种聚类算法，其全称是Balanced Iterative Reducing and Clustering using Hierarchies。BIRCH也是只是看了理论没具体实现过。是一个综合的层次聚类特征(Clustering Feature, CF)和聚类特征树(CF Tree)两个概念，用于概括聚类描述。聚类特征树概括了聚类的有用信息，并且占用空间较元数据集合小得多，可以存放在内存中，从而可以提高算法在大型数据集合上的聚类速度及可伸缩性。BIRCH算法包括以下两个阶段：1）扫描数据库，建立动态的一棵存放在内存的CF Tree。如果内存不够，则增大阈值，在原树基础上构造一棵较小的树。2）对叶节点进一步利用一个全局性的聚类算法，改进聚类质量。由于CF Tree的叶节点代表的聚类可能不是自然的聚类结果，原因是给定的阈值限制了簇的大小，并且数据的输入顺序也会影响到聚类结果。因此需要对叶节点进一步利用一个全局性的聚类算法，改进聚类质量。 AdaBoost做分类的一般知道，它是一种boosting方法。这个不能说是一种算法，应该是一种方法，因为它可以建立在任何一种分类算法上，可以是决策树，NB，SVM等。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用adaboost分类器可以排除一些不必要的训练数据，并将关键放在关键的训练数据上面。 GSP，全称为Generalized Sequential Pattern(广义序贯模式)，是一种序列挖掘算法。对于序列挖掘没有仔细看过，应该是基于关联规则的吧！网上是这样说的：GSP类似于Apriori算法，采用冗余候选模式的剪除策略和特殊的数据结构-----哈希树来实现候选模式的快速访存。GSP算法描述:1）扫描序列数据库，得到长度为1的序列模式L1，作为初始的种子集。2）根据长度为i 的种子集Li ，通过连接操作和修剪操作生成长度为i+1的候选序列模式Ci+1；然后扫描序列数据库，计算每个候选序列模式的支持度，产生长度为i+1的序列模式Li+1，并将Li+1作为新的种子集。3）重复第二步，直到没有新的序列模式或新的候选序列模式产生为止。产生候选序列模式主要分两步：连接阶段：如果去掉序列模式s1的第一个项目与去掉序列模式s2的最后一个项目所得到的序列相同，则可以将s1与s2进行连接，即将s2的最后一个项目添加到s1中。修切阶段：若某候选序列模式的某个子序列不是序列模式，则此候选序列模式不可能是序列模式，将它从候选序列模式中删除。候选序列模式的支持度计算：对于给定的候选序列模式集合C，扫描序列数据库，对于其中的每一条序列s,找出集合C中被s所包含的所有候选序列模式，并增加其支持度计数。 又是一个类似Apriori的序列挖掘。其中经典十大算法为：C4.5，K-Means，SVM，Apriori，EM，PageRank，AdaBoost，KNN，NB和CART。
数据挖掘的核心是为数据建立模型的过程。所有的数据挖掘产品都有这个建模过程，不同的是它们构造模型的方式互不相同。进行数据挖掘时可采用许多不同的算法。 决策树是一种经常要用到的技术，可以用于分析数据，同样也可以用来作预测。常用的算法有chaid、cart、id3和c4.5。决策树方法很直观，这是它的最大优点，缺点是随着数据复杂性的提高，分支数增多，管理起来很困难。angoss公司的knowedgeseeker产品采用了混合算法的决策树。 神经网络近来越来越受到人们的关注，因为它为解决大复杂度问题提供了一种相对来说比较有效的简单方法。神经网络常用于两类问题：分类和回归。它的最大优点是它能精确地对复杂问题进行预测。神经网络的缺点是网络模型是个黑盒子，预测值难于理解；神经网络有过拟合的现象。ibm、sas、spss、hnc、angoss等公司是这个产品的供应者。 遗传算法是一种基于进化过程的组合优化方法。它的基本思想是随着时间的更替，只有最适合的物种才得以进化。遗传算法能够解决其它技术难以解决的问题，然而，它也是一种最难于理解和最开放的方法。遗传算法通常与神经网络结合使用。采用上述技术的某些专门的分析工具已经发展了大约十年的历史，不过这些工具所面对的数据量通常较小。而现在这些技术已经被直接集成到许多大型的工业标准的数据仓库和联机分析系统中去了。

文章TAG：信息增益率  信息增益率必须小于1吗  
下一篇