词嵌入算法 基于神经网络的表示一般称为词向量、词嵌入（word embedding）或分布式表示（distributed representation）。其核心是上下文的表示以及上下文与目标词之间的关系映射，主要通过神经网络对上下文，以及上下文和目标词之间的关系进行建模。 词向量 最常见的方法是用 One-hot。它假设词之间的语义和语法关系是相互...
在使用预训练的embedding层的时候，一定要注意词表的index，在word2vec中， model.wv.index2word 这个是一个list, index就是词的index，这个是固定的，即便是换到linux平台，这个index也是不变的，所以使用这个。 w2v_for_s2s = Word2Vec.load('model/word2vec_6...
首先感谢无私分享的各位大神，文中很多内容多有借鉴之处。本次将自己的实验过程记录，希望能帮助有需要的同学。 一、从下载数据开始 现在的中文语料库不是特别丰富，我在之前的文章中略有整理，有兴趣的可以看看。本次实验使用wiki公开数据，下载地址如下： wiki英文数据下载：https://dumps.wikimedia.org/enwik...
首先Hierarchical Softmax是word2vec的一种改进方式，因为传统的word2vec需要巨大的计算量，所以该方法主要有两个改进点： 1. 对于从输入层到隐藏层的映射，没有采取神经网络的线性变换加激活函数的方法，而是采用简单的对所有输入词向量求和并取平均的方法。 比如输入的是三个4维词向量：(1,2,3,4),(9,6,11,8),(5,...
1、词向量建模的word2vec模型和用于长文本向量建模的doc2vec模型 在Gensim中实现word2vec模型非常简单。首先，我们需要将原始的训练语料转化成一个sentence的迭代器；每一次迭代返回的sentence是一个word（utf8格式）的列表： class MySentences(object): def __init__...
独热编码 独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。举个例子，假设我们有四个样本（行），每个样本有三个特征（列），如图： 我们的feature_1有两种可能的取值，比如是男/女，这里男用1表示，女用2表示。feature_2 和f...
数据预处理与特征工程 缺失值处理 缺失值处理通常有如下的方法： 对于unknown值数量较少的变量，包括job和marital，删除这些变量是缺失值(unknown)的行； 如果预计该变量对于学习模型效果影响不大，可以对unknown值赋众数，这里认为变量都对学习模型有较大影响，不采取此法； 可以使用数据完整的行作为训练集，以此来预测缺失值，变量hous...