Transformer课程 第35章Transformer模型LED架构

第35章：聚焦于长文本处理的Transformer模型LED架构内幕及完整源码实现
1，Self-attention的问题及背后的数学原理分析
2，local windowed attention背后的数学原理分析
3，面向Task的global attention
4，LEDTokenizer源码完整实现解析
5，shift_tokens_right源码完整实现解析
6，make_causal_mask源码完整实现解析
7，expand_mask源码完整实现解析
8，LEDLearnedPositionalEmbedding源码完整实现解析
9，LEDEncoderBaseModelOutput源码完整实现解析
10，LEDSeq2SeqModelOutput源码完整实现解析
11，LEDSeq2SeqLMOutput源码完整实现解析
12，LEDSeq2SeqSequenceClassifierOutput源码完整实现解析
13，LEDSeq2SeqQuestionAnsweringModelOutput源码完整实现解析
14，LEDEncoderSelfAttention源码完整实现解析
15，pad_and_transpose_last_two_dims源码完整实现解析
16，pad_and_diagonalize源码完整实现解析
17，chunk源码完整实现解析
18，mask_invalid_locations源码完整实现解析
19，sliding_chunks_query_key_matmul源码完整实现解析
20，sliding_chunks_matmul_attn_probs_value源码完整实现解析
2