TransE的理解

TransE 理解

一、输入：

　　实体集合E = {e₁,e₂,……,e_n}，

　　关系集合 L = { l₁ , l₂ ,……, l_m },

　　三元组 S { (e_i1,e_j1, l_j1),……,(e_im,e_jm, l_jm)}

       Embeddings dim : k

       Margin : 

       Learing Rate : LR

二、输出：

       实体集合的向量表示：

       E = {e₁=(x₁,x₂,……,x_k)，e₂=(x₁,x₂,……,x_k),……,e_n=(x₁,x₂,……,x_k)}

       关系集合的向量表示

       L = {l₁=(x₁,x₂,……,x_k)，l₂=(x₁,x₂,……,x_k),……,l_n=(x₁,x₂,……,x_k)}

三、优化目标（取最小值）：

　　

四、算法

　　

五、算法理解

5.1  初始化关系集合L

       l_i=( l_i: x₁,x₂,……,x_k)

　　其中l中的每一个元素由公式来计算，uniform(a,b)表示[a,b）之间的一个随机数

　　对l单位化

5.2  初始化实体集合E

　　初始化方式同初始化关系集合L

       e_i=( e_i: x₁,x₂,……,x_k)

5.3  在三元组S中随机选择一个子集S_batch

　　令 T_batch 等于空集

　　对每一个s=(h,l,t) ，生产 s’=(h’,l,t’) 其中而且h’ != h, t’ != t

　　T_batch = T_batch + {((h,l,t),(h’,l,t’))}

　　更新优化目标：

　　按如下公式更新h,t,l,h’,t’

　　positive = 2 * LR * (t_before_batch - h_before_batch - l_before_batch)

　　negtative = 2 * LR * (t'_before_batch - h'_before_batch - l_before_batch)

　　h = h + positive

　　t = t - positive

　　l = l + positive - negtative

　　h' = h' - negtative

　　t' = t' + negtative

　　当优化目标取得最小值时，程序结束