您当前的位置: 首页 >  段智华 机器人

自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第6章

段智华 发布时间:2021-11-10 19:39:38 ,浏览量:3

自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101第6章

第6章: BERT Pre-training模型源码完整实现、测试、调试及可视化分析
1,词典Vocabulary库构建多层级源码实现及测试
2,Dataset加载及数据处理源码完整实现及测试和调试
3,Next Sentence Prediction机制源码完整实现及测试
4,Masked Language Model机制中80%词汇Masking源码实现
5,Masked Language Model机制中10%词汇随机替换和10%词汇保持不变源码实现
6,Masked Language Model机制下的Output Label操作源码实现
7,加入CLS、SEP 等Tokens
8,Segment Embeddings源码实现
9,Padding源码实现及测试
10,使用DataLoader实现Batch加载
11,BERT的初始化init及forward方法源码实现
12,PositionalEmbeddings源码实现详解
13,TokenEmbeddings源码
14,SegmentEmbeddings源码
15,BERTEmbeddings层源码实现及调试
16,基于Embeddings之多Linear Transformation操作
17,Queries、Keys、Values操作源码
18,Attention机制源码实现
19,Multi-head Attention源码实现
20,Layer Normalization数学原理及源码实现
21,

关注
打赏
查看更多评论

段智华

暂无认证

  • 3浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录