Transformer课程 第38章Transformer模型MPNet架构

第38章：融合MLM和PLM的Transformer模型MPNet架构内幕及完整源码实现
1，masked language modeling(MLM)数学原理和实现分析
2，permuted language modeling (PLM)数学原理和实现分析
3，为何MPNet为何能够缓解position discrepancy (vs. PLM in XLNet)？
4，BasicTokenizer源码完整实现分析
5，WordpieceTokenizer源码完整实现分析
6，MPNetTokenizer源码完整实现分析
7，MPNetEmbeddings源码完整实现分析
8，MPNetAttention源码完整实现分析
9，MPNetSelfAttention源码完整实现分析
10，MPNetPreTrainedModel源码完整实现分析
11，MPNetIntermediate源码完整实现分析
12，MPNetLayer源码完整实现分析
13，MPNetOutput源码完整实现分析
14，relative_position_bucket源码完整实现分析
15，MPNetEncoder源码完整实现分析
16，MPNetPooler源码完整实现分析
17，MPNetModel源码完整实现分析
18，MPNetForMaskedLM源码完整实现分析
19，MPNetLMHead源码完整实现分析
20，MPNetForSequenceClassification源码完整实现分析
21，MPNetForMultipleChoice源码完整实现分析
22，MPNetForTok