核函数(1)

摘要:
核函数的功能是暗示从低维空间到高维空间的映射,并且该映射可以将低维空间中线性不可分的两种类型的点转换为线性可分的点。内核函数可以将低维更改为高维。下图位于第一和第二象限。所以我对内核函数的理解是将一个显然不需要的东西变成一个显然满足需求的工具。内核函数与映射无关。核函数只是映射到高维空间后计算内积的一种简单方法。

 核函数的作用就是隐含着一个从低维空间到高维空间的映射,而这个映射可以把低维空间中线性不可分的两类点变成线性可分的。

什么是线性不可分什么又是线性可分呢?

线性不可分简单来说就是你一个数据集不可以通过一个线性分类器(直线、平面)来实现分类。这样子的数据集在实际应用中是很常见的,例如:人脸图像、文本文档等,通过一刀切的方式你会发现除非这个刀是一个不规则的形状,不然很难分。

核函数(1)第1张例如这样

在二维空间中,要分开两个线性可分的点集合,我们需要找到一条分类直线即可 ,这就是线性可分

核函数(1)第2张

在n维空间中,要分开两个线性可分的点集合,我们需要找到一个超平面。

核函数可以把低维的变成高位

下面这张图位于第一、二象限内。我们关注红色的门,以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据,紫色字母上的点看成是“-”数据,它们的横、纵坐标是两个特征。显然,在这个二维空间内,“+”“-”两类数据不是线性可分的。

核函数(1)第3张核函数(1)第4张核函数(1)第5张

注意到绿色的平面可以完美地分割红色和紫色,也就是说,两类数据在三维空间中变成线性可分的了。

而三维中的这个判决边界,再映射回二维空间中是这样的:

核函数(1)第6张 这是一条双曲线,它不是线性的。

所以我对核函数的理解就是把一个本来不是很明显的有需求的东西变成一个明显的满足需求的东西的一个工具。多变少。

核函数和映射没有关系。核函数只是用来计算映射到高维空间之后的内积的一种简便方法。

现实生活中有很多非线性非常强的特征 而核方法能够捕捉它们  

免责声明:文章转载自《核函数(1)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇各大厂面试整理 20 道 Java 后端开发面试题总结(其他)小程序介绍和开发下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

【论文笔记】Domain Adaptation via Transfer Component Analysis

论文题目:《Domain Adaptation via Transfer Component Analysis》 论文作者:Sinno Jialin Pan, Ivor W. Tsang, James T. Kwok and Qiang Yang 论文链接:https://www.cse.ust.hk/~qyang/Docs/2009/TCA.pdf 会议...

sklearn.svc 参数

sklearn.svc 参数 sklearn中的SVC函数是基于libsvm实现的,所以在参数设置上有很多相似的地方。(PS: libsvm中的二次规划问题的解决算法是SMO)。 对于SVC函数的参数解释如下:(主要翻译的sklearn 文档) C: float参数 默认值为1.0 错误项的惩罚系数。C越大,即对分错样本的惩罚程度越大,因此在训练样本中准确...

SVM支持向量机

SVM有如下主要几个特点:(1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射;(2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心;(3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。(4)SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度...

超详细SVM(支持向量机)知识点

原地址:https://zhuanlan.zhihu.com/p/76946313 一. 简单概括一下SVM: SVM 是一种二类分类模型。它的基本思想是在特征空间中寻找间隔最大的分离超平面使数据得到高效的二分类,具体来讲,有三种情况(不加核函数的话就是个线性模型,加了之后才会升级为一个非线性模型): 当训练样本线性可分时,通过硬间隔最大化,学习一个线性...

支持向量机(SVM)

一、概念   1、分离超平面:空间内能够将数据分为不同类别的平面   2、线性可分:不同类别数据能够被一个超平面完全分开   3、损失项:模型在数据上违反自身分类原则的程度(是一个求和项)    4、损失系数:损失项的系数(是一个超参数,由模型给定)   5、损失函数L = min (1/2*(||w||)2) + C*max(Σi max(0,1-y(i...