Представим, что у нас есть нейронная сеть, которая работает по принципу «многое ко многим«. Входные данные — x0, х1, … xn, а результаты вывода — y0, y1, … yn. Данные xi и yi являются векторами и могут быть произвольных размеров.
Рекуррентные нейронные сети RNN работают путем итерированного обновления скрытого состояния h, которое является вектором, что также может иметь произвольный размер.
Вес будет представлен как матрица, а смещение как вектор. В данном случае рекуррентная нейронная сеть состоит их трех параметров веса и двух смещений.
Говоря о весе, мы используем матричное умножение, после чего векторы вносятся в конечный результат. Затем применяется гиперболическая функция в качестве функции активации первого уравнения. Стоит иметь в виду, что другие методы активации, например, сигмоиду, также можно использовать.
import numpy as np
from numpy.random import randn
class RNN:
# Классическая рекуррентная нейронная сеть
def __init__(self, input_size, output_size, hidden_size=64):
# Вес
self.Whh = randn(hidden_size, hidden_size) / 1000
self.Wxh = randn(hidden_size, input_size) / 1000
self.Why = randn(output_size, hidden_size) / 1000
# Смещения
self.bh = np.zeros((hidden_size, 1))
self.by = np.zeros((output_size, 1))
Для тренировки рекуррентной нейронной сети будет использована функция потери. Здесь будет использована потеря перекрестной энтропии.
Train: Loss 0.004 | Accuracy: 1.000
Test: Loss 0.007 | Accuracy: 1.000
--- Epoch 900
Train: Loss 0.002 | Accuracy: 1.000
Test: Loss 0.004 | Accuracy: 1.000
--- Epoch 1000
Train: Loss 0.002 | Accuracy: 1.000
Test: Loss 0.003 | Accuracy: 1.000
Потестите на досуге...
Мне пару месяцев разобраться по земному.
Я вам сам напишу язык программы.
Божиею поспе;шествующею милостию
;; Kr;l polski.
Mo;esz napisa; protok;; teleportacji. Nie r;bcie ziemskich czyn;w.
;wiat;o s;oneczne, pisz; do teleportu.
Dolce far niente"
Si; m;ode dziewczyny
Uwielbiaj; si; bawi;,
A twoja ma;a gra si; sko;czy.
B;dziesz mog;a podziwia;
Zach;d s;o;ca z ;;;ka.
Wiatr nigdy nie wywo;a
Takiego d;wi;ku.
Siostro... siostro... ojciec ci; wo;a.
To mamy lepsz; robot; na oku,
;e praca i zabawa si; na siebie na;o;y;y,
Tylko praca, praca i praca.
Jestem w stanie wyobrazi; sobie,
;e mia;a pani dobry pow;d.
Nazywamy to "dolce far niente".