TransE的理解

TransE 理解

一、输入：

实体集合E = {e₁,e₂,……,e_n}，

关系集合 L = { l₁ , l₂ ,……, l_m },

三元组 S { (e_i1,e_j1, l_j1),……,(e_im,e_jm, l_jm)}

Embeddings dim : k

Margin :

Learing Rate : LR

二、输出：

实体集合的向量表示：

E = {e₁=(x₁,x₂,……,x_k)，e₂=(x₁,x₂,……,x_k),……,e_n=(x₁,x₂,……,x_k)}

关系集合的向量表示

L = {l₁=(x₁,x₂,……,x_k)，l₂=(x₁,x₂,……,x_k),……,l_n=(x₁,x₂,……,x_k)}

三、优化目标（取最小值）：

四、算法

五、算法理解

5.1 初始化关系集合L

l_i=( l_i: x₁,x₂,……,x_k)

其中l中的每一个元素由公式来计算，uniform(a,b)表示[a,b）之间的一个随机数

对l单位化

5.2 初始化实体集合E

初始化方式同初始化关系集合L

e_i=( e_i: x₁,x₂,……,x_k)

5.3 在三元组S中随机选择一个子集S_batch

令 T_batch 等于空集

对每一个s=(h,l,t) ，生产 s’=(h’,l,t’) 其中而且h’ != h, t’ != t

T_batch = T_batch + {((h,l,t),(h’,l,t’))}

更新优化目标：

按如下公式更新h,t,l,h’,t’

positive = 2 * LR * (t_before_batch - h_before_batch - l_before_batch)

negtative = 2 * LR * (t'_before_batch - h'_before_batch - l_before_batch)

h = h + positive

t = t - positive

l = l + positive - negtative

h' = h' - negtative

t' = t' + negtative

当优化目标取得最小值时，程序结束