PCA和LDA都是经典的降维算法。PCA是无监督的，也就是训练样本不需要标签；LDA是有监督的，也就是训练样本需要标签。PCA是去除掉原始数据中冗余的维度，而LDA是寻找一个维度，使得原始数据在该维度上投影后不同类别的数据尽可能分离开来。 PCA PCA是一种正交投影，它的思想是使得原始数据在投影子空间的各个维度的方差最大。假设我们要将N维的数据投影到M维...
Fisher判别式（LDA） 简介 上面从贝叶斯公式出发，得到了线性判别分析的公式，这里从另外一个角度来看线性判别分析，也就是常说的Fisher判别式。其实Fisher判别式就是线性判别分析（LDA），只是在讨论Fisher判别式的时候，更侧重于LDA的数据降维的能力。 在应用统计学方法解决模式识别、机器学习中的问题的时候，有一个问题总是会出现：维数问题。...
原文：http://tecdat.cn/?p=3897 文本分析：主题建模 library(tidyverse) theme_set( theme_bw()) 目标 定义主题建模 解释Latent Dirichlet分配以及此过程的工作原理 演示如何使用LDA从一组已知主题中恢复主题结构 演示如何使用LDA从一组未知主题中恢复主题结构 确定为k 选择适...
原文链接：http://tecdat.cn/?p=5689 判别分析包括可用于分类和降维的方法。线性判别分析（LDA）特别受欢迎，因为它既是分类器又是降维技术。二次判别分析（QDA）是LDA的变体，允许数据的非线性分离。最后，正则化判别分析（RDA）是LDA和QDA之间的折衷。 本文主要关注LDA，并探讨其在理论和实践中作为分类和可视化技术的用途。由于Q...
最近跑深度学习，提出的feature是4096维的，放到我们的程序里，跑得很慢，很慢。。。。 于是，一怒之下，就给他降维处理了，但是matlab 自带的什么pca( ), princomp( )函数，搞不清楚怎么用的，表示不大明白，下了一个软件包： 名字：Matlab Toolbox for Dimensionality Reduction 链接：http...
前言 gamma函数 0 整体把握LDA 1 gamma函数 beta分布 1 beta分布 2 Beta-Binomial 共轭 3 共轭先验分布 4 从beta分布推广到Dirichlet 分布 Dirichlet 分布 1 Dirichlet 分布 2 Dirichlet-Multinomial 共轭 主题模型LDA 1 各个基础模型...
http://www.52nlp.cn/lda-math-lda-%E6%96%87%E6%9C%AC%E5%BB%BA%E6%A8%A1 LDA主题模型评估方法--Perplexityhttp://www.52nlp.cn/lda-math-lda-%E6%96%87%E6%9C%AC%E5%BB%BA%E6%A8%A1 LDA-math-LDA 文本建...