Οι ακολουθίες έχουν τάξη. Ένα επαναλαμβανόμενο νευρωνικό δίκτυο επεξεργάζεται την είσοδο ένα βήμα τη φορά, μεταφέροντας μια κρυφή κατάσταση προς τα εμπρός που συνοψίζει ό,τι προηγήθηκε. Τα ίδια βάρη ισχύουν σε κάθε βήμα, γεγονός που επιτρέπει στο δίκτυο να χειρίζεται είσοδο μεταβλητού μήκους.

Αυτή η επανάληψη δίνει στο μοντέλο μνήμη, αλλά κάνει επίσης την εκπαίδευση αργή. Κάθε βήμα εξαρτάται από το προηγούμενο, επομένως ο υπολογισμός δεν μπορεί να παραλληλιστεί χρονικά. Οι μεγάλες ακολουθίες προκαλούν επίσης την εξαφάνιση ή την έκρηξη των διαβαθμίσεων.

Κοινές παραλλαγές RNN

• Απλά επαναλαμβανόμενα δίκτυα
• Μακροχρόνια βραχυπρόθεσμη μνήμη
• Περιορισμένες επαναλαμβανόμενες μονάδες
• Αμφίδρομα RNN
• Βαθιά στοιβαγμένα RNN

Τα Transformers αντικατέστησαν τα RNN για τις περισσότερες γλωσσικές εργασίες, επειδή η προσοχή παραλληλίζεται και καταγράφει τις εξαρτήσεις μεγάλης εμβέλειας με μεγαλύτερη αξιοπιστία. Τα RNN εξακολουθούν να εμφανίζονται σε περιβάλλοντα ροής και ενσωματωμένα περιβάλλοντα, όπου η αποτελεσματικότητά τους έχει σημασία.