第5章 决策树 决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建...
决策树模型 优点：高效简单、易于理解，可以处理不相关特征。 缺点：容易过拟合，训练集在特征上是完备的 决策树过程：特征选择、划分数据集、构建决策树、决策树剪枝 决策树选择最优的划分特征，将数据集按照最优划分特征的取值划分成不同的子集，然后依次对子集重复上述步骤，指导子集中数据都归属于同一个类别，或者没有特征可以再划分了。 特征选择通常有...
这里仅介绍分类决策树。 决策树：特征作为决策的判断依据，整个模型形如树形结构，因此，称之为决策树 对于分类决策树，他们可以认为是一组if-then规则的集合。决策树的每一个内部节点有特征组成，叶子节点代表了分类的结果。父节点和子节点之间是由有向边连接，表示了决策的结果。 在这里，有必要解释一下，为什么决策树的学习过程变成了三个步骤：特征选择、决策树生成和剪...
聚类集成已经成为机器学习的研究热点，它对原始数据集的多个聚类结果进行学习和集成，得到一个能较好地反映数据集内在结构的数据划分。很多学者的研究证明聚类集成能有效地提高聚类结果的准确性、鲁棒性和稳定性。本文提出了一种面向高维数据的聚类集成算法。该方法针对高维数据的特点，先用分层抽样的方法结合信息增益对每个特征簇选择合适数量比较重要的特征的生成新的具代表意义的...