1.sigmoid,softmax都是logistic regression,只是一个是二分类,一个是多分类的,都可以做激活函数。
2.softmax-loss是softmax+cross-entropy,softmax-loss中的softmax是作为训练后的模型的预测标记分布输入到cross-entropy中。
3.log loss实际上就是cross-entropy。