Transformer课程 第50章Transformer模型Longformer架构

第50章：基于local windowed attention处理长文本对Transformer模型Longformer架构内幕及完整源码实现
1，“local” context 和“global” context背后的数学原理和实现对比
2，windowed attention实现解析
3，Longformer算法复杂度剖析
4，LongformerTokenizer源码完整实现分析
5，LongformerBaseModelOutput源码完整实现分析
6，LongformerBaseModelOutputWithPooling源码完整实现分析
7，LongformerMaskedLMOutput源码完整实现分析
8，LongformerQuestionAnsweringModelOutput源码完整实现分析
9，LongformerSequenceClassifierOutput源码完整实现分析
10，LongformerMultipleChoiceModelOutput源码完整实现分析
11，LongformerTokenClassifierOutput源码完整实现分析
12，LongformerOutput源码完整实现分析
12，get_question_end_index源码完整实现分析
13，compute_global_attention_mask源码完整实现分析
14，create_position_ids_from_input_ids源码完整实现分析
15，create_position_ids_from_inputs_embeds源码完整实现分析
16，LongformerEmbeddings源码完整实现分析
17，pad_and_transpose_last_tw