Transformer课程 第49章Transformer模型Reformer架构

第49章：基于Residual Attention机制的Transformer模型Reformer架构内幕及完整源码实现
1，locality-sensitive hashing数学原理解析
2，reversible residual layer实现的数学原理解析
3，Axial Positional Encodings详解
4，LSH Self Attention详解
5，Local Self Attention详解
6，ReformerTokenizer源码完整实现分析
7，stable_argsort源码完整实现分析
8，get_least_common_mult_chunk_len源码完整实现分析
9，AxialPositionEmbeddings源码完整实现分析
10，PositionEmbeddings源码完整实现分析
11，ReformerEmbeddings源码完整实现分析
12，EfficientAttentionMixin源码完整实现分析
13，query_per_attn_head源码完整实现分析
14，value_per_attn_head源码完整实现分析
15，hash_vectors源码完整实现分析
16，get_sorted_bucket_idx_and_undo_sorted_bucket_idx源码完整实现分析
17，set_num_buckets源码完整实现分析
18，attend源码完整实现分析
19，compute_attn_mask源码完整实现分析
20，get_relevant_hid_states_and_buckets源码完整实现分析
21，expand_to_i