柚子快報激活碼778899分享：人工智能 【神經(jīng)網(wǎng)絡(luò)】GRU

http://yzkb.51969.com/

1.什么是GRU

????????GRU（Gate Recurrent Unit）門控循環(huán)單元，是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的變種種，與LSTM類似通過門控單元解決RNN中不能長期記憶和反向傳播中的梯度等問題。與LSTM相比，GRU內(nèi)部的網(wǎng)絡(luò)架構(gòu)較為簡單。

2.GRU內(nèi)部結(jié)構(gòu)

? ? ? GRU?網(wǎng)絡(luò)內(nèi)部包含兩個門使用了更新門（update?gate）與重置門（reset?gate）。重置門決定了如何將新的輸入信息與前面的記憶相結(jié)合，更新門定義了前面記憶保存到當(dāng)前時間步的量。如果我們將重置門設(shè)置為?1，更新門設(shè)置為?0，那么我們將再次獲得標(biāo)準(zhǔn)?RNN?模型。這兩個門控向量決定了哪些信息最終能作為門控循環(huán)單元的輸出。這兩個門控機(jī)制的特殊之處在于，它們能夠保存長期序列中的信息，且不會隨時間而清除或因為與預(yù)測不相關(guān)而移除。 GRU門控結(jié)構(gòu)如下圖所示:

2-1 更新門

????????更新門幫助模型決定到底要將多少過去的信息傳遞到未來，或到底前一時間步和當(dāng)前時間步的信息有多少是需要繼續(xù)傳遞的。?

????????其中Xt為第?t?個時間步的輸入向量，即輸入序列?X?的第?t?個分量，它會經(jīng)過一個線性變換（與權(quán)重矩陣?W(z)?相乘）。h(t-1)?保存的是前一個時間步?t-1?的信息，它同樣也會經(jīng)過一個線性變換。更新門將這兩部分信息相加并投入到?Sigmoid?激活函數(shù)中，因此將激活結(jié)果壓縮到?0?到?1?之間。以下是更新門的計算公式：

2-2 重置門?

????????重置門主要決定了到底有多少過去的信息需要遺忘。

????????h(t-1)?和?xt?先經(jīng)過一個線性變換，再相加投入?Sigmoid?激活函數(shù)以輸出激活值。

2-3 當(dāng)前記憶內(nèi)容

????????在重置門的使用中，新的記憶內(nèi)容將使用重置門儲存過去相關(guān)的信息。

????????計算重置門?rt?與?Uh(t-1)?的?Hadamard?乘積，即?rt?與?Uh(t-1)?的對應(yīng)元素乘積。因為前面計算的重置門是一個由?0?到?1?組成的向量，它會衡量門控開啟的大小。例如某個元素對應(yīng)的門控值為?0，那么它就代表這個元素的信息完全被遺忘掉。該?Hadamard?乘積將確定所要保留與遺忘的以前信息。?

?2-4?當(dāng)前時間步的最終記憶

? ? ? ? 最終記憶的計算過程中，需要使用更新門，它決定了當(dāng)前記憶內(nèi)容?ht'?和前一時間步?h(t-1)?中需要收集的信息。這一過程可以表示為

?????????zt?為更新門的激活結(jié)果，它同樣以門控的形式控制了信息的流入。zt?與?h(t-1)?的Hadamard?????????乘積表示前一時間步保留到最終記憶的信息，該信息加上當(dāng)前記憶保留至最終記憶的信息就等于最終門控循環(huán)單元輸出的內(nèi)容。

?????????門控循環(huán)單元不會隨時間而清除以前的信息，它會保留相關(guān)的信息并傳遞到下一個單元，因此它利用全部信息而避免了梯度消失問題。

柚子快報激活碼778899分享：人工智能 【神經(jīng)網(wǎng)絡(luò)】GRU

http://yzkb.51969.com/

相關(guān)閱讀