Content 1 引言 2 维数灾难与过拟和 3 怎样避免维数灾难 4 总结 1 引言 本文章讨论的话题是“curse of dimension”，即维数灾难，并解释在分类它的重要性，在下面的章节我会对这个概念做一个直观的解释，并清晰的描述一个由维数灾难引起的过度拟合的问题。 下面不如正题，考虑我们有一堆猫和狗的图片，现在要做一个分类器，它可以把猫和狗...
宋浩《概率论与数理统计》笔记---1..1.1-1.1.3、概率论基本概念 一、总结 一句话总结： 1、随机试验 条件？ 1、在相同条件下可重复 2、结果不止一个 3、无法预测 4、用字母E表示 2、事件、随机事件、基本事件、复合事件 分别是什么？ 事件：每次随机试验的结果 随机事件：随机的事件，通常用大写字母ABC等来表示 基本事件：要看实验目的：相对于...
原地址：https://zhuanlan.zhihu.com/p/76946313 一. 简单概括一下SVM： SVM 是一种二类分类模型。它的基本思想是在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类，具体来讲，有三种情况（不加核函数的话就是个线性模型，加了之后才会升级为一个非线性模型）： 当训练样本线性可分时，通过硬间隔最大化，学习一个线性...
一、介绍 在传统的分类模型中，为了解决多分类问题（例如三个类别：猫、狗和猪），就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别（例如牛），这个模型便无法将牛识别出来，而ZSL就是为了解决这种问题。在ZSL中，某一类别在训练样本中未出现，但是我们知道这个类别的特征，然后通...
【第1章 绪论】 1.1 引言 学习算法：机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。 学习算法的作用：1.基于提供的经验数据产生模型； 2.面对新情况时，模型可提供相应的判断。 模型：泛指从数据中学得的结果。 学习器：学习算法在给定数据和参数空间上的实例化。 ...
第一章 随机事件与概率 概率论与数理统计研究对象是随机现象： 概率论：研究随机现象的模型(概率分布)； 数理统计：随机现象的数据收集与处理。 §1.1 随机事件及其运算 随机现象：在一定条件下并不总是出现相同的结果的现象； 随机试验：对在相同条件下可以重复的随机现象的观察、记录、实验； 样本空间：随机现象的一切可能基本结果组成的集合；(Omeg...
SVM有如下主要几个特点：(1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；(2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心；(3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。(4)SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度...
例程：class_overlap_svm.hdev 说明：这个例程展示了如何用一个支持向量机来给一幅二维的图像进行分类。使用二维数据的原因是因为它可以很容易地联想成为区域和图像。本例程中使用了三个互相重叠的类（由二维平面三个不同颜色的像素点集组成）。三类不同颜色的像素点作为样本，将那些样本代入支持向量机进行训练。选取像素在二维平面的坐标作为特征向量，使...
本文章讨论的话题是“curse of dimension”，即维数灾难，并解释在分类它的重要性，在下面的章节我会对这个概念做一个直观的解释，并清晰的描述一个由维数灾难引起的过度拟合的问题。 下面不如正题，考虑我们有一堆猫和狗的图片，现在要做一个分类器，它可以把猫和狗自动并且正确分类。所以对这个两个类别，首先需要一组描述符，使这两个类别可以被表示为数字，分类...
1.RBF径向基函数 本质上和RBF核函数的SVM很相似，使用径向基函数对数据重新构建，利用 Φ（||X- Xp||）来代替原始的数据向量表示，一共有P个中心，所以获得的新数据有P个维度，此时再对数据进行分类。输出等于W Φ（||X- Xp||），W为需要求解的权重。 数学上是可以对W求解求解的，但是Φ的选取有要求，同时还不包含正则，使求解的曲面可能有过...