Transformer课程 第50章Transformer模型Longformer架构

第50章：基于local windowed attention处理长文本对Transformer模型Longformer架构内幕及完整源码实现 1，“local” context 和“global” context背后的数学原理和实现对比 2，windowed attention实现解析 3，Longformer算法复杂度剖析 4，LongformerTokenizer源码完整实现分析 5，LongformerBaseModelOutput源码完整实现分析 6，LongformerBaseModelOutputWithPooling源码完整实现分析 7，LongformerMaskedLMOutput源码完整实现分析 8，LongformerQuestionAnsweringModelOutput源码完整实现分析 9，LongformerSequenceClassifierOutput源码完整实现分析 10，LongformerMultipleChoiceModelOutput源码完整实现分析 11，LongformerTokenClassifierOutput源码完整实现分析 12，LongformerOutput源码完整实现分析 12，get_question_end_index源码完整实现分析 13，compute_global_attention_mask源码完整实现分析 14，create_position_ids_from_input_ids源码完整实现分析 15，create_position_ids_from_inputs_embeds源码完整实现分析 16，LongformerEmbeddings源码完整实现分析 17，pad_and_transpose_last_tw