GRU
GRU(Gated Recurrent Unit),是一种LSTM的变形状态,它将遗忘门和输入门组合成了一个更新门。它还合并了单元状态和隐藏状态,并对单元结构做了简化,可以使模型更简单。
$$
z_t=\sigma(W_z.[h_{t-1}, x_t])
$$
$$
r_t=\sigma(W_r.[h_{t-1},x_t])
$$
$$
h_{t1}=tanh(W_r.[r_t*h_{t-1}, x_t])
$$
$$
h_t=(1-z_t)h_{t-1}+z_th_{t1}
$$
其他详情参考LSTM文档
转载请注明来源,欢迎对文章中的引用来源进行考证,欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论,也可以邮件至 zoubinbf@163.com