四、激活函数 激活函数又称非线性映射，顾名思义，激活函数的引入是为了增加整个网络的表达能力（即非线性）。若干线性操作层的堆叠仍然只能起到线性映射的作用，无法形成复杂的函数。常用的函数有sigmoid、双曲正切、线性修正单元函数等等。 使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。 比如，在神经网路的前向传播中，这两步会使...
一、概念 1、分离超平面：空间内能够将数据分为不同类别的平面 2、线性可分：不同类别数据能够被一个超平面完全分开 3、损失项：模型在数据上违反自身分类原则的程度（是一个求和项） 4、损失系数：损失项的系数（是一个超参数，由模型给定） 5、损失函数L = min (1/2*(||w||)2) + C*max(Σi max(0,1-y(i...
MobileNet系列之MobileNet_v1 MobileNet系列之MobileNet_v2 导言： 继MobileNet_v1和v2提出后，在2019年，MobileNet_v3在众人的期盼下出来了，MobileNet_v3论文提出了两个模型，MobileNet_v3-Large和MobileNet_v3-small，其主要区别在于层数...
转自出处： http://blog.csdn.net/walilk/article/details/50278697 符号说明： 以如下图为例： 前面的网络结构对应二分类问题 后面的网络结构对应多分类问题 Layer层： 最左边的层为输入层(input layer)，对应样本特征 最右边的层为输出层(output layer)，对应预测结果 Node：...
1 基本函数确立 1.1 Sigmoid函数:变量以及自变量 而当我们考虑二值化问题时，由于目标变量只能取0或1，因此我们选择了值域在{0,1}区间的Sigmoid函数 Sigmoid函数又叫做Logistic函数，或者Logistic Sigmoid函数，也被经常称作S型曲线 1.2 提问 1.3 代码实验 import numpy as n...
激活函数有什么用？ 提到激活函数，最想问的一个问题肯定是它是干什么用的？激活函数的主要作用是提供网络的非线性表达建模能力，想象一下如果没有激活函数，那么神经网络只能表达线性映射，此刻即便是有再多的隐藏层，其整个网络和单层的神经网络都是等价的。因此正式由于激活函数的存在，深度神经网络才具有了强大的非线性学习能力。接下来我们就来盘点一下当前有哪些流行的激活函...
摘要：主要介绍了华为云可信智能计算服务（TICS）采用的纵向联邦逻辑回归（LR）方案。 本文分享自华为云社区《纵向联邦学习场景下的逻辑回归（LR）》，作者： 汽水要加冰。 海量训练数据是人工智能技术在各个领域成功应用的重要条件。例如，计算机视觉和商务经融推荐系统中的 AI 算法都依靠大规模标记良好的数据才能获得较好的推理效果。然而在医疗、银行以及一些政务...
在本系列文章中提到过用Python机器学习(2)数据拟合与广义线性回归中提到过回归算法来进行数值预测。逻辑回归算法本质还是回归，只是其引入了逻辑函数来帮助其分类。实践发现，逻辑回归在文本分类领域表现的也很优秀。现在让我们来一探究竟。 1、逻辑函数 假设数据集有n个独立的特征，x1到xn为样本的n个特征。常规的回归算法的目标是拟合出一个多项式函数，使得预测...
梯度消失的原因： 在多层网络中，影响梯度大小的因素主要有两个：权重和激活函数的偏导。深层的梯度是多个激活函数偏导乘积的形式来计算，如果这些激活函数的偏导比较小（小于1）或者为0，那么梯度随时间很容易vanishing；相反，如果这些激活函数的偏导比较大（大于1），那么梯度很有可能就会exploding。因而，梯度的计算和更新非常困难。 解决方案： 使用一...
欢迎大家关注我们的网站和系列教程：http://www.tensorflownews.com/，学习更多的机器学习、深度学习的知识！ 现今最主流的处理图像数据的技术当属深度神经网络了，尤其是卷积神经网络CNN尤为出名。本文将通过讲解CNN的介绍以及使用keras搭建CNN常用模型LeNet-5实现对MNist数据集分类，从而使得读者更好的理解CNN。 1....