LSTM-RNN Python 原生版本实现

LSTM-RNN Python 原生版本实现 ：来自网络大牛Trask。

https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/ 提供详细的代码算法描述，本文不再赘述。

通过一个非常简单的python玩具代码来讲解循环神经网络，通过LSTM-RNN循环神经网络计算两个数的加法。

LSTM-RNN循环神经网络图：

synapse_0 权值矩阵： 2×16  (input_dim,hidden_dim) synapse_1 权值矩阵： 16×1  (hidden_dim,output_dim) synapse_h 权值矩阵： 16×16   (hidden_dim,hidden_dim)

输入层：layer_0 隐藏层：layer_1（循环）(input  + prev_hidden) 输出层：layer_2

LSTM-RNN循环神经网络计算两个数的加法代码：

 

# -*- coding: utf-8 -*-

import copy, numpy as np
np.random.seed(0)

# compute sigmoid non