您当前的位置: 首页 >  段智华 机器人

自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第9章 ALBERT Pre-training模型及Fine-tuning源码完整实现、案例及调试

段智华 发布时间:2021-11-11 20:16:06 ,浏览量:4

自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第9章

第9章: ALBERT Pre-training模型及Fine-tuning源码完整实现、案例及调试
1,Corpus数据分析
2,Pre-training参数设置分析
3,BasicTokenizer源码实现
4,WordpieceTokenizer源码实现
5,ALBERT的Tokenization完整实现源码
6,加入特殊Tokens CLS和SEP
7,采用N-gram的Masking机制源码完整实现及测试
8,Padding操作源码
9,Sentence-Pair数据预处理源码实现
10,动态Token Length实现源码
11,SOP正负样本源码实现
12,采用了Factorization的Embeddings源码实现
13,共享参数Attention源码实现
14,共享参数Multi-head Attention源码实现
15,LayerNorm源码实现
16,共享参数Position-wise FFN源码实现
17,采用GELU作为激活函数分析
18,Transformer源码完整实现
19,Output端Classification和N-gram Masking机制的Loss计算源码
20,使用Adam进行优化源码实现
21,训练器Trainer完整源码实现及调试
22,Fine-tuning参数设置、模型加载
23,基于IMDB影视数据的预处理源码
24,Fine-t

关注
打赏
查看更多评论

段智华

暂无认证

  • 4浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录