1、如果是通道数比较少的网络结构,比如32-64之间,那么这个网络,全精度和半精度,速度差别不会很大,半精度会稍微快个20%的样子。
2、如果是通道数比较多的网络结构,比如256-512之间,那么这个网络,全精度和半精度,速度差别会比较明显,半精度是全精度速度的四倍。
3、另外batch_size的影响不大。
4、增加通道数,全精度inference的时间变化比较大,半精度inference的时间变化比较小。