NSGA（非支配排序遗传算法）、NSGAII（带精英策略的非支配排序的遗传算法），都是基于遗传算法的多目标优化算法，都是基于pareto最优解讨论的多目标优化，遗传算法已经做过笔记，下面介绍pareto（帕累托）最优解的相关概念。本文是基于参考文献做的读书笔记。 1 NSGA算法 1.1 Paerot支配关系 1.2 Pareto最优解定义 多目...
1. xgboost在目标函数中加入了正则化项，当正则化项为0时与传统的GDBT的目标函数相同2. xgboost在迭代优化的时候使用了目标函数的泰勒展开的二阶近似，paper中说能加快优化的过程！！xgboost可自定义目标函数，但是目标函数必须二阶可导也是因为这个。GDBT中只用了一阶导数。3. xgboost寻找最佳分割点时，考虑到传统贪心法效率比...
目录 主成分分析(PCA) 一、维数灾难和降维 二、主成分分析学习目标 三、主成分分析详解 3.1 主成分分析两个条件 3.2 基于最近重构性推导PCA 3.2.1 主成分分析目标函数 3.2.2 主成分分析目标函数优化 3.3 基于最大可分性推导PCA 3.4 核主成分分析(KPCA) 四、主成分分析流程 4.1 输入 4.2 输出...
http://www.cnblogs.com/Belter/p/6653773.html 注：代价函数（有的地方也叫损失函数，Loss Function）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代价函数后面的。在学习相关算法的过程中，...
NSGAII（带精英策略的非支配排序的遗传算法），是基于遗传算法的多目标优化算法，是基于pareto最优解讨论的多目标优化，下面介绍pareto（帕累托）最优解的相关概念。 Paerot支配关系 Pareto最优解定义 多目标优化问题与单目标优化问题有很大差异。当只有一个目标函数时,人们寻找最好的解,这个解优于其他所有解,通常是全局最大或最小,即全局最优...