Transformer课程 第32章Transformer模型FNet架构

第32章：基于Fourier Transform的Transformer模型FNet架构内幕及完整源码实现
1，BERT中Attention本质和功能再思考
2，fourier transform数学原理剖析
3，使用fourier transform取代self-attention layer
4，为什么采用fourier transform会fewer parameters及more memory efficient？
5，fourier transform有效性带来的“mix” input tokens操作的思考
6，FNet处理longer input lengths的设计及实现
7，PreTrainedTokenizer源码完整实现剖析
8，get_special_tokens_mask源码完整实现剖析
9，tokenize源码完整实现剖析
10，FNetTokenizer源码完整实现剖析
11，FNetEmbeddings源码完整实现剖析
12，fourier_transform方法源码完整实现剖析
13，FNetBasicFourierTransform源码完整实现剖析
14，FNetFourierTransform源码完整实现剖析
15，FNetBasicOutput源码完整实现剖析
16，FNetOutput源码完整实现剖析
17，FNetIntermediate源码完整实现剖析
18，FNetLayer源码完整实现剖析
19，FNetEncoder源码完整实现剖析
20，FNetPooler源码完整实现剖析
21，FNetPredictionHeadTransform源码完整实