Πάρτε μια απλή συνάρτηση, στοιβάζετε πολλά αντίγραφα και αφήστε το καθένα να μάθει. Ένα νευρωνικό δίκτυο είναι μια σύνθεση στρώσεων, όπου κάθε στρώση εφαρμόζει βάρη, μια πόλωση και μια μη γραμμικότητα. Η εκπαίδευση προσαρμόζει αυτά τα βάρη ώστε να ταιριάζουν στα δεδομένα.

Ο σχεδιασμός είναι ελαφρώς εμπνευσμένος από βιολογικούς νευρώνες, αν και η ομοιότητα είναι επιφανειακή. Αυτό που έχει σημασία είναι ότι η αρχιτεκτονική μπορεί να προσεγγίσει πολύπλοκες συναρτήσεις δεδομένης επαρκούς χωρητικότητας και δεδομένων. Τα θεωρήματα καθολικής προσέγγισης το υποστηρίζουν αυτό, αν και δεν λένε τίποτα για το αν η εκπαίδευση θα βρει μια καλή λύση.

Συνήθεις τύποι δικτύων

• Δίκτυα ανάδρασης
• Συνελικτικά δίκτυα
• Επαναλαμβανόμενα δίκτυα
• Μετασχηματιστές
• Δίκτυα γραφημάτων

Το βάθος βοηθάει. Τα ρηχά δίκτυα μπορούν να προσεγγίσουν πολλές συναρτήσεις, αλλά τα βαθιά δίκτυα μαθαίνουν ιεραρχικά χαρακτηριστικά πιο αποτελεσματικά. Αυτή η αποτελεσματικότητα είναι ο λόγος για τον οποίο η βαθιά μάθηση απογειώθηκε μόλις η εκπαίδευση έγινε πρακτική.