检视修改 (#227)

Co-authored-by: Dalong <39682259+eedalong@users.noreply.github.com>
This commit is contained in:
longvoyage
2022-03-29 22:22:15 +08:00
committed by GitHub
parent 06e999d2ce
commit 400f6f1314
8 changed files with 8 additions and 8 deletions

View File

@@ -89,7 +89,7 @@ output = fully_connected(output, fc3_weights)
随着深度神经网络应用领域的扩大诞生出了丰富的模型构建组件。在卷积神经网络的计算过程中前后的输入是没有联系的然而在很多任务中往往需要处理序列信息如语句、语音、视频等为了解决此类问题诞生出循环神经网络Recurrent Neural NetworkRNN
循环神经网络很好的解决了序列数据的问题但是随着序列的增加长序列又导致了训练过程中梯度消失和梯度爆炸的问题因此有了长短期记忆Long Short-term MemoryLSTM
在语言任务中还有Seq2Seq它将RNN当成编解码Encoder-Decoder结构的编码器Encoder和解码器Decode
在解码器中又常常使用注意力机制Attention;基于编解码器和注意力机制又有Transformer
在解码器中又常常使用注意力机制Attention基于编解码器和注意力机制又有Transformer
Transformer又是BERT模型架构的重要组成。随着深度神经网络的发展未来也会诞生各类模型架构架构的创新可以通过各类神经网络基本组件的组合来实现。
### 神经网络层的实现原理