把bp算法改写成了CUDA代码，用卡内基梅隆大学的人脸识别图片套尝试了一下人脸识别，对比cpu的速度其实是下降了一倍左右。
原因是这个图像处理只需要用到3个隐藏神经元，缺需要12000个输入神经元。数据copy和运算量的对比才刚达到1比3，根本没用上cuda的优势。
把隐藏神经元数量增加到30个之后，优势就非常明显地体现出来了。cpu算法消耗的时间成倍上涨，而cuda基本不怎么涨。但是也是存在问题的，当隐藏神经元数量进一步上涨之后，cpu算法也就是更慢而已，但是cuda则直接驱动程序失去响应导致程序退出屏幕黑屏了，鲁棒性非常差。
总体来说cuda在神经网络算法上较难体现巨大优势，下次还是用openmp来试试。不过这种多线程编程实在是太累人，一个非常简单短小的cpu程序要经过好几个步骤才能搞成多线程程序，最后收益却并不是特别明显。下次隐藏神经元多的时候再体验一下。