Search
  • Nouvelles
  • Apprentissage automatique, apprentissage biologique

Une technique biologiquement plausible pour l’entraînement d’un réseau neuronal

by Kurt Kleiner mai 17 / 17
neuralnet-banner

Ces dernières années, des spécialistes de l’intelligence artificielle ont réalisé des percées en créant des réseaux neuronaux fondés sur la structure du cerveau humain. Mais leurs travaux ne font pas que mener à de meilleurs ordinateurs – ils rehaussent notre compréhension du fonctionnement des réseaux neuronaux dans notre propre cerveau. 

Le codirecteur du programme Apprentissage automatique, apprentissage biologique, Yoshua Bengio, et son étudiant, Benjamin Scellier, tous deux de l’Université de Montréal, ont inventé une nouvelle façon d’entraîner des réseaux neuronaux artificiels qui pourraient aider les neuroscientifiques théoriques à comprendre comment les réseaux neuronaux naturels apprennent et corrigent les erreurs.

Ils appellent la technique « propagation à l’état d’équilibre » et c’est une solution de rechange à une technique répandue d’entraînement des réseaux neuronaux appelée rétropropagation.

Pour entraîner un réseau neuronal artificiel par rétropropagation, il faut d’abord lui présenter un intrant, propager le signal en aval dans le réseau, examiner l’extrant et comparer celui-ci à l’extrant que vous auriez idéalement souhaité obtenir. La différence entre les deux s’appelle l’erreur. À la deuxième étape, vous « rétropropagez » l’erreur à travers le réseau et apportez des ajustements aux neurones et aux synapses individuels pour que l’extrant se rapproche le plus possible du résultat idéal. En répétant le processus plusieurs fois, vous réduisez graduellement l’erreur dans le réseau neuronal et le rapprochez de l’extrant souhaité.

neural-graphic
Ces illustrations représentent un réseau où la propagation à l’état d’équilibre fonctionne, à gauche, avec de nombreuses connexions récurrentes et symétriques entre les nœuds. À droite, on peut voir un type de réseau multicouche où la rétropropagation se révèle utile.

Toutefois, le mécanisme de la rétropropagation dans les réseaux neuronaux artificiels n’a jamais semblé plausible sur le plan biologique, dit Scellier. Entre autres parce qu’elle requiert un circuit computationnel spécial pour la rétropropagation des erreurs, dont l’existence semble improbable dans un organisme évolué, d’après les connaissances actuelles en neuroscience.

La nouvelle technique de propagation à l’état d’équilibre est possible à l’aide d’un seul circuit et d’un seul type de calcul, dit Scellier. « Notre modèle ne requiert qu’un type de dynamique neuronale pour réaliser l’inférence et la rétropropagation des erreurs. Les calculs effectués dans le réseau se fondent sur un modèle neuronal standard et sur une forme standard de plasticité synaptique. » Conséquemment, la probabilité est plus grande que cela soit similaire à un processus véritable qui a évolué dans le cerveau et pourrait fournir le début d’une réponse quant au mécanisme d’apprentissage des circuits neuronaux biologiques.

Voilà l’un des objectifs principaux de nos travaux, dit Scellier.

« Aujourd’hui, il y a un grand fossé entre la neuroscience et les réseaux neuronaux utilisés en intelligence artificielle. Nous avons pour méthode de commencer avec un modèle doté de bonnes propriétés d’apprentissage automatique et d’ajouter graduellement des détails pour qu’il devienne plus réaliste sur le plan biologique », dit-il. 

Pour les neuroscientifiques, la prochaine étape sera de concevoir des expériences pour tenter de comprendre si le cerveau lui-même utilise des techniques similaires.


L’article « Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation » a été publié dans la revue Frontiers in Computational Neuroscience.