自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101第6章
第6章: BERT Pre-training模型源码完整实现、测试、调试及可视化分析
1,词典Vocabulary库构建多层级源码实现及测试
2,Dataset加载及数据处理源码完整实现及测试和调试
3,Next Sentence Prediction机制源码完整实现及测试
4,Masked Language Model机制中80%词汇Masking源码实现
5,Masked Language Model机制中10%词汇随机替换和10%词汇保持不变源码实现
6,Masked Language Model机制下的Output Label操作源码实现
7,加入CLS、SEP 等Tokens
8,Segment Embeddings源码实现
9,Padding源码实现及测试
10,使用DataLoader实现Batch加载
11,BERT的初始化init及forward方法源码实现
12,PositionalEmbeddings源码实现详解
13,TokenEmbeddings源码
14,SegmentEmbeddings源码
15,BERTEmbeddings层源码实现及调试
16,基于Embeddings之多Linear Transformation操作
17,Queries、Keys、Values操作源码
18,Attention机制源码实现
19,Multi-head Attention源码实现
20,Layer Normalization数学原理及源码实现
21,
