Hinge Loss Function
Hinge Loss 函数一种目标函数，有时也叫max-margin objective。
在Trans系列中，有一个
[max(0,f(h,r,t) + gamma - f(h',r,t'))
]
这样的目标函数，其中(gamma > 0)。为了方便理解，先尝试对上式进行变形，令(Delta = f(h,r,t)-f(h',r,t')) ，然后会有下式
[mathcal{L} = max(0,Delta + gamma)
]
由于
[f(h,r,t) = ||hat{mathbf{h}} + hat{mathbf{r}}-hat{mathbf{t}}||_2^2
]
为了区分正例和负例，(f(h,r,t))的值应该尽可能的小，(f(h',r,t'))的值应该尽可能的大。
我们先看(Delta > 0)的情况，此时(max(0,Delta + gamma) = Delta +gamma > gamma)，此时的(mathcal{L}>gamma)。
再看看(Delta < 0) 的情况，此时(max(0,Delta + gamma))的值需要比较(|Delta|)和(gamma)的大小
如果(|Delta| > gamma)，那么(mathcal{L} = 0)
如果(|Delta| < gamma)，那么(mathcal{L}=Delta + gamma < gamma)
总之而言
[mathcal{L}=egin{cases}
Delta + gamma > gamma & mbox{if } Delta > 0 \
egin{cases}
0 & mbox{if }Delta < 0 mbox{ and } |Delta| > gamma\
0 < Delta + gamma < gamma & mbox{if } Delta < 0 mbox{ and } |Delta| < gamma
end{cases}
end{cases}
]
可以得出的结论是，为了(min(mathcal{L}))，(Delta < 0 mbox{ and } |Delta| > gamma) 是我们的最高理想。也就是说
[f(h,r,t) - f(h',t,r') < -gamma
]
训练算法的前进目标。