Nouveau mécanisme d'apprentissage pour les réseaux neuronaux inspirés du cerveau

Les réseaux neuronaux artificiels - qui sont à la base de la révolution moderne de l'IA - s'inspirent du cerveau, mais apprennent à l'aide d'outils mathématiques pour lesquels il n'existe encore aucun mécanisme correspondant connu dans le cerveau biologique. Une méthode centrale dans l'entraînement de ces réseaux est la « rétropropagation d'erreur » : alors que l'information traitée est propagée vers l'avant à travers le réseau, les signaux d'erreurs se propage vers l'arrière afin d'ajuster les connexions entre les neurones artificiels. Pour que cela fonctionne, les connexions destinées à la transmission vers l'avant et vers l'arrière doivent être très précisément synchronisées. Dans les ordinateurs numériques, cela peut être facilement mis en œuvre sur le plan technique - mais ce n'est pas le cas dans le cerveau biologique ni dans les systèmes informatiques inspirés du cerveau (neuromorphiques) : dans les deux cas, les connexions entre neurones, appelées synapses, sont unidirectionnelles ; ainsi, les informations transmises vers l'avant et vers l'arrière entre des paires de neurones circulent nécessairement par des canaux distincts. Ce problème fondamental a été identifié dès les années 1980 et a longtemps été considéré comme un argument démontrant que notre cerveau n'était pas capable de rétropropagation d'erreurs.

Une équipe de recherche dirigée par l'Institut de physiologie de l'Université de Berne présente une nouvelle étude qui montre comment les cerveaux - tant biologiques que artificiels - peuvent contourner ce problème de manière simple. Le nouveau mécanisme d'apprentissage « Spike-based Alignment Learning » (SAL) permet d'ajuster les connexions à l'aide d'informations directement accessibles au niveau de chacune d'entre elles. Cette approche a été mise au point par Timo Gierlich et le Dr Mihai A. Petrovici, du groupe de recherche NeuroTMA de l'Université de Berne, en collaboration avec des scientifiques de l'Université de Heidelberg et de l'institut des sciences et technologies d'Okinawa. Mihai A. Petrovici dirige le groupe de recherche « Théorie, modélisation et applications neuro-inspirées » (NeuroTMA) au sein de l'Institut de physiologie. Ce groupe développe des modèles théoriques de réseaux neuronaux afin de mieux comprendre le traitement biologique de l'information et de le transposer à des systèmes informatiques neuromorphiques. L'étude a été publiée dans Nature Communications.

Comment le bruit devient un signal d'apprentissage

Les cellules nerveuses biologiques transmettent des informations en émettant de brèves impulsions électriques, appelées « spikes ». Les intervalles de temps entre ces impulsions varient légèrement. Le SAL utilise ces petites variations aléatoires des signaux, appelées « bruit », pour identifier les paires de connexions qui ne sont pas encore bien synchronisées. Chaque connexion peut alors s'ajuster d'elle-même, sans avoir besoin d'informations provenant d'autres parties du réseau. Lorsqu'une paire de neurones est connectée de manière asymétrique, cela se traduit par une asymétrie dans leurs schémas de spikes : un neurone active son partenaire plus souvent que l'inverse. Chaque synapse a accès directement à ces schémas et peut ainsi s'adapter pour compenser d'éventuelles asymétries, sans avoir besoin d'informations provenant de zones éloignées du réseau. Le « bruit » ne désigne donc pas ici un son, mais de petites variations aléatoires telles qu'on les observe également dans le cerveau et dans les composants électroniques. « Dans les systèmes électroniques, le bruit est généralement considéré comme un facteur perturbateur. Dans notre approche, cependant, il fournit précisément la variation à partir de laquelle le réseau peut tirer des informations sur ses connexions », explique Timo Gierlich, doctorant à l'Institut de physiologie de l'Université de Berne et premier auteur de l'étude.

Résoudre un problème fondamental d'apprentissage

Les scientifiques ont testé SAL sur différents réseaux artificiels, allant de modèles inspirés du cerveau à la reconnaissance d'images. Dans tous les cas, SAL a réussi à apprendre de manière fiable les connexions nécessaires, alors que chaque connexion n'utilisait que les informations provenant de son environnement immédiat. Même en matière de reconnaissance d'images, SAL permet d'obtenir des résultats bien meilleurs que les modèles incapables de compenser les connexions asymétriques. La rétropropagation d'erreurs classique est certes restée la méthode la plus précise, mais elle nécessite l'échange d'informations entre des parties du réseau très éloignées les unes des autres - ce qui est difficile à mettre en œuvre dans le cerveau et dans les systèmes neuromorphiques.

« Notre objectif n'est pas de remplacer la rétropropagation d'erreurs sur les ordinateurs classiques », explique le Dr Mihai A. Petrovici. « Nous voulons comprendre comment un réseau peut apprendre efficacement, même lorsque chaque connexion n'utilise que les informations localement accessibles. Cela permet de concevoir des architectures de calcul innovantes qui ne nécessitent pas le transport de grandes quantités d'informations sur de longues distances et qui gagnent ainsi considérablement en vitesse et en efficience. »

De la recherche sur le cerveau à la puce informatique

Le SAL pourrait s'avérer particulièrement intéressant pour l'informatique neuromorphique, dont le fonctionnement s'inspire de celui du cerveau. Dans ce contexte, les composants électroniques, à l'instar des cellules nerveuses, ne sont jamais tout à fait identiques et peuvent évoluer avec le temps. Le SAL peut compenser en partie ces différences et contribuer ainsi à la mise au point de systèmes d'apprentissage plus robustes. Parmi les applications futures possibles, les chercheurs citent notamment les capteurs intelligents et les appareils portables qui continuent de fonctionner de manière fiable même lorsque leurs composants ou leur environnement changent.

Pour l'instant, le SAL n'a été étudié qu'à l'aide d'analyses mathématiques et de simulations informatiques, mais certains composants du modèle ont déjà fait l'objet d'études expérimentales. Des développeurs de systèmes neuromorphiques s'emploient désormais à implémenter ce mécanisme dans leurs systèmes. « La prochaine étape consiste à tester nos prédictions théoriques sur des systèmes réels », explique Petrovici. « La combinaison des neurosciences théoriques et de l'informatique neuromorphique nous permet d'étudier des questions fondamentales sur la manière dont les systèmes neuronaux physiques peuvent apprendre de façon efficace et robuste. »