机器学习中的损失函数 （着重比较：hinge loss vs softmax loss） 1. 损失函数 损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x))L(Y,f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数...
有些知识还是记录下来比较容易复习。 懂原理， 会使用平台，使用语言实现常见算法。 1.大纲 机器学习的基本概念 机器学习的实质 机器学习方法的三要素 经验风险与结构风险 常见损失函数 一：基本概念 1.机器学习的方法流程 用监督学习为例 首先，有一个输入数据，然后根据这个输入数据做一些特征的加工和整理，基于特征进行模型的训练，去建模，然后做模型评估，得到...
作者：Gus 来源：微信公众号|3D视觉工坊（系投稿） 3D视觉精品文章汇总：https://github.com/qxiaofan/awesome-3D-Vision-Papers/ 单目深度估计模型Monodepth2对应的论文为Digging Into Self-Supervised Monocular Depth Estimation，由伦敦大学学...
来源：https://stackoverflow.com/questions/57149476/how-is-a-multiple-outputs-deep-learning-model-trained Keras calculations are graph based and use only one optimizer. The optimizer...
定义:机器学习系统通过如何组合输入信息来对从未见过的数据做出有用的预测。 基本术语 标签：标签是我们要预测的事物，即简单线性回归中的(y)变量。 特征：特征是输入变量，即简单线性回归中的(x)变量，特征可以有多个，是一种可量化的指标。 样本：样本是指数据的特定实例(X)，样本分为有标签样本和无标签样本。 模型：模型定义了特征与标签之间的关系。 训练：是指...
第5章 决策树 决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建...
1. 梯度下降法 1.1 梯度下降法的算法思路 算法目的：找到（损失）函数的最小值以及相应的参数值。从而找到最小的损失函数。 梯度下降法：通过模拟小球滚动的方法来得到函数的最小值点。 小球会根据函数形状找到一个下降方向不停的滚动，它的高度一直是下降的。随着时间的推移，小球会滚到底，从而找到最小值点。 但是梯度下降法不能...
1. 代价敏感学习简介 0x1：如何将业务场景中对FP和FN损失的不同接受程度，调整我们的损失函数 1. 什么场景下需要代码敏感学习 在很多真实业务场景中，包括笔者所在的网络安全领域，误报造成的损失常常比漏报来的要大，原因很简单，如果一个IDS系统每天都在产生大量虚警，那么对事件响应处理人员的压力就会非常大，时间久了，大家对IDS的信任度就会下降，同时真实...
《python深度学习》笔记---3.1、神经网络剖析 一、总结 一句话总结： |||-being 训练神经网络主要围绕以下四个方面，构建好架构，还是非常简单的 |||-end 层，多个层组合成网络（或模型）。 输入数据和相应的目标。 损失函数，即用于学习的反馈信号。 优化器，决定学习过程如何进行。 1、层：深度学习的基础组件 ？ 输入张量转化为输出张量：...
http://www.cnblogs.com/Belter/p/6653773.html 注：代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。在学习相关算法的过程中，...