自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第17章： BERT CommonLit Readability Prize比赛技术进阶详解

第17章： BERT CommonLit Readability Prize比赛技术进阶详解
1，Data Label based on pairwise comparisions between excerpts
2，Target中数字为0的原因解析
3，文本对比中的技巧
4，target和std构成联合信息
5，Coarse Validation Loop
6，private test set
7，Hold-out validation、K-fold CV validation、Bootstrap resampling
11，Diversity of models：RoBERTa、BERT、DistilRoBERTa等联合使用
12，模型参数多样化：不同来源、不同层次的参数及Hyper parameters
13，多模型结合的training和inference时间复杂度分析
14，验证集pretraining的意义分析
15，对embeddings的size的处理
16，FFN代码分析
17，warmup数学原理及实现剖析
18，learning rate scheduler剖析
19，RoBERTa模型参数结构详解
20，Data enhancement解析和实现
21，外部数据集应该用在two-phase pretraining的具体什么阶段？
22，多样性模型背后的数学原理机制深度剖析
23，多样性数据来源背后的数学原理剖析
24，多层次数据编码数学原理分析
25，One-hot编码和Dense e