4.6.1 Durchlauf eines RNN anhand eines Beispiels und daraus resultierende Problematik - NerimanK/Cloud-Computing-Technology---Google-Home GitHub Wiki

Ein Vorteil von RNNs ist die Idee, dass sie möglicherweise vorherige Informationen mit der aktuellen Aufgabe verbinden können, z.B. die Verwendung früherer Videoframes könnte das Verständnis des aktuellen Frames vermitteln.

Manchmal müssen die neuesten Informationen betrachtet werden, um die aktuelle Aufgabe auszuführen. Stellen Sie sich beispielsweise ein Sprachmodell vor, das versucht, das nächste Wort basierend auf den vorherigen Wörtern vorherzusagen.

Anhand unseres Beispielsatzes „Let´s talk about current activities concerning the HighNet project“ wird versucht das letzte Wort vorherzusagen. Hierzu wird kein weiterer Kontext gebraucht, da es ziemlich offensichtlich ist, dass das nächste Wort „project“ sein wird. In solchen Fällen, in denen die Lücke zwischen den relevanten Informationen und dem Ort, an dem sie benötigt wird, klein ist, können RNNs ler-nen, die vergangenen Informationen zu verwenden.

In manchen Fällen wird mehr Kontext für das Vorhersagen von Wörtern benötigt. Angenommen, unserem Beispielsatz wird das Wort “projectname” statt “project” hinzugefügt. So wird höchstwahrscheinlich das nächste Wort der eigentliche Projektname als Information vorhergesagt. Um den Projektname einschränken zu können wird der weitere Kontext zu den Projekten benötigt.

Es ist durchaus möglich, dass die Lücke zwischen den relevanten Informationen und dem Punkt, an dem sie benötigt wird, sehr groß wird. Wenn diese Lücke wächst, können RNNs leider nicht mehr lernen, die Informationen miteinander zu verbinden. In diesem Fall können beispielsweise folgende Worte falsch vorhergesagt werden:

„Let´s talk about current activities concerning the projectname HighNet“ „Let´s talk about current projectname HighNet activities concerning the HighNet“ „Let´s talk about current projectname HighNet activities concerning the project“ „Let´s talk about current HighNet project activities concerning the projectname“

Theoretisch sind RNNs absolut in der Lage, solche „langfristigen Abhängigkeiten“ zu handhaben. Ein Mensch könnte sorgfältig Parameter auswählen, um Spielzeug-probleme dieser Form zu lösen.