自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第10章: 明星级轻量级高效Transformer模型ELECTRA: 采用Generator-Discri

第10章: 明星级轻量级高效Transformer模型ELECTRA: 采用Generator-Discriminator的Text Encoders解析及ELECTRA模型源码完整实现
1，GAN：Generative Model和Discriminative Model架构解析
2，为什么说ELECTRA是NLP领域轻量级训练模型明星级别的Model？
3，使用replaced token detection机制规避BERT中的MLM的众多问题解析
4，以Generator-Discriminator实现的ELECTRA预训练架构解析
5，ELECTRTA和GAN的在数据处理、梯度传播等五大区别
6，ELECTRA数据训练全生命周期数据流
7，以Discriminator实现Fine-tuning架构解析
8，ELECTRA的Generator数学机制及内部实现详解
9，Generator的Loss数学机制及实现详解
10，Discriminator的Loss数学机制及实现详解
11，Generator和Discriminator共享Embeddings数据原理解析
12，Discriminator网络要大于Generator网络数学原理及工程架构
13，Two-Stage Training和GAN-style Training实验及效果比较
14，ELECTRA数据预处理源码实现及测试
15，Tokenization源码完整实现及测试
16，Embeddings源码实现
17，Attention源码实现
18，借助Bert Model实现Transformer通用部分源码完整实现
19，ELECTRA Gen