最近两年,Transformer在NLP、CV领域都取得了非常好的成绩。结合相关文章,Transformer的底层也是矩阵运算。使用FPGA加速,也会取得很好的效果。
下面这张图,描述了Transformer的所有运算。由于尺寸太大,不能显示,可以下载。 一张图概略了解Transformer
分成两张图后,第一张图展示Transformer的主要运算,第二张图展示使用Transformer的主要网络。
Transformer的主要运算:
Transformer的主要网络: