（1）logistic回归的本质：
逻辑回归的激活函数是sigmoid函数，可以理解为一个被sigmoid函数归一化后的线性回归；
（2）softmax和逻辑回归的关系：
softmax 回归是逻辑回归的一般形式。当类别数k = 2 时，softmax 回归退化为逻辑回归；logistic处理二分类问题，softmax处理多分类问题；softmax是logistic在多分类问题上的推广；
（3）logistic,softmax与神经网络的关系：
logistic回归可看作只有输入层和输出层的神经网络；
在神经网络中的最后一层隐含层和输出层就可以看成是logistic回归或者softmax回归模型，之前的隐藏层只是从原始输入数据中学习特征，然后把学习得到的特征交给logistic回归或者softmax回归处理。
softmax在神经网络中的作用相当于把输出转换成我们想要的格式，也就是每一个取值对应的0～1之间的概率。
因此，可以把处理分类问题的神经网络分成两部分，特征学习和logistic回归或softmax回归。
其他关于激活函数，可以看这篇文章