Στοιβάζοντας γραμμικές πράξεις, εξακολουθείτε να έχετε μια γραμμή. Προσθέστε μια συνάρτηση ενεργοποίησης μεταξύ των στρώσεων και των καμπυλώσεων του δικτύου. Αυτή η καμπύλη είναι που επιτρέπει σε ένα νευρωνικό δίκτυο να μοντελοποιεί καμπύλες, ακμές και οτιδήποτε άλλο δεν μπορεί να αποτυπώσει η ευθεία αριθμητική.

Οι ανορθωμένες γραμμικές μονάδες, ή ReLU, κυριαρχούν στη σύγχρονη πρακτική. Εξάγουν μηδέν για αρνητικές εισόδους και περνούν θετικές τιμές αμετάβλητες. Είναι φθηνές στον υπολογισμό και εκπαιδεύονται γρήγορα. Το Sigmoid και το tanh ήρθαν πρώτα, συμπιέζοντας τις εξόδους σε οριοθετημένα εύρη, αλλά κορεσμούν και επιβραδύνουν τη μάθηση σε βαθιά δίκτυα.

Κοινές λειτουργίες ενεργοποίησης

• ReLU, η προεπιλογή για τα περισσότερα βαθιά δίκτυα
• Διαρροή ReLU, επιτρέποντας μια μικρή διαβάθμιση για τα αρνητικά
• Σιγμοειδές, που χρησιμοποιείται για δυαδικές εξόδους
• Tanh, συμπίεση με μηδενικό κέντρο
• Softmax, μετατροπή βαθμολογιών σε πιθανότητες

Η λάθος επιλογή μετράει. Ένα δίκτυο μόνο γραμμικών ενεργοποιήσεων καταρρέει σε έναν μόνο γραμμικό μετασχηματισμό, ανεξάρτητα από το πόσα επίπεδα στοιβάζετε. Η μη γραμμικότητα δεν είναι διακόσμηση. Είναι ο λόγος που το βάθος βοηθάει καθόλου.