Fonctions d'activation - GuillaumePriou/Neural-Network GitHub Wiki
2 types de fonctions d'activation :
- fonctions réelles
- fonctions vectorielles
Fonctions d'activation réelles
Entrée : un nombre réel Sortie : un nombre réel
Utilisé par les neurones de la couche d'entrée et des couches cachées.
Fonction identité
Fonction classique
f(x) = x
Fonction dérivée
f'(x) = 1
pour les neurones de la couche d'entrée
Fonction logistique
Fonction classique
Fonction dérivée
**** Fonction tangente hyperbolique **** Fonction ReLu **** Fonction "Echelon" de Heavis de zero **** Fonction "Echelon" de Heavis de moins un
Lien article Wikipedia "Fonction d'activation"
Fonctions d'activation vectorielles
Entrée : vecteur de réels Sortie : vecteur de réels
Utilisé par les neurones de la couche de sortie.
**** Fonction SoftMax