Neuer Lernmechanismus für gehirninspirierte Netzwerke

Künstliche neuronale Netze - die Basis der modernen KI-Revolution - sind zwar vom Gehirn inspiriert, lernen aber mit mathematischen Verfahren, für die es in der Biologie noch keine bekannten entsprechenden Mechanismen gibt. Ein zentrales Verfahren beim Training solcher Netzwerke ist die sogenannte «Fehler-Rückpropagation»: Dabei werden Fehlersignale durch das künstliche neuronale Netzwerk zurückgeleitet, damit die Verbindungen zwischen künstlichen Neuronen angepasst werden können. Damit das funktioniert, müssen die Verbindungen für die Vorwärts- und Rückwärtsübertragung sehr genau aufeinander abgestimmt sein. In digitalen Computern lässt sich das technisch einfach umsetzen - im biologischen Gehirn und in gehirninspirierten (neuromorphen) Computersystemen jedoch nicht: In beiden Fällen sind Verbindungen - sogenannte Synapsen - zwischen Neuronen unidirektional, also fliesst Vorwärts- und Rückwärtsinformation zwischen Paaren von Neuronen notwendigerweise durch getrennte Kanäle. Dieses fundamentale Problem wurde bereits in den 1980ern erkannt und galt lange als Argument dafür, dass unser Gehirn nicht zu Fehler-Rückpropagation fähig ist.

Ein Forschungsteam unter der Leitung des Instituts für Physiologie der Universität Bern präsentiert nun einen neuen Ansatz, der aufzeigt, wie Gehirne - sowohl biologische als auch neuromorphe - dieses Problem auf einfache Weise umgehen können. Der neu entwickelte Lernmechanismus «Spike-based Alignment Learning» (SAL) ermöglicht es, Verbindungen mithilfe von Informationen anzupassen, die direkt an der jeweiligen Synapse verfügbar sind. Entwickelt wurde der Ansatz von Timo Gierlich und Dr. Mihai A. Petrovici von der NeuroTMA Forschungsgruppe der Universität Bern gemeinsam mit Forschenden der Universität Heidelberg und des Okinawa Institute of Science and Technology. Petrovici leitet am Institut für Physiologie die Forschungsgruppe Neuro-inspirierte Theorie, Modellierung und Anwendungen (NeuroTMA), welche theoretische Modelle neuronaler Netzwerke entwickelt, um biologische Informationsverarbeitung besser zu verstehen und auf neuromorphe Computersysteme zu übertragen. Die Studie ist in Nature Communications erschienen.

Wie Rauschen zum Lernsignal wird

Biologische Nervenzellen geben Informationen weiter, indem sie kurze elektrische Impulse feuern - die sogenannten Spikes. Die genauen Zeitabstände zwischen diesen Impulsen schwanken leicht. SAL nutzt solche kleinen zufälligen Schwankungen der Signale, das sogenannte «Rauschen», um zu erkennen, welche Verbindungen im Netzwerk noch nicht gut aufeinander abgestimmt sind. Wenn ein Paar von Neuronen asymmetrisch vor- und rückwärts verbunden ist, manifestiert sich das als Asymmetrie in ihren Spikemustern - das eine Neuron bringt das andere häufiger zum Feuern, als umgekehrt. Einzelne Synapsen haben direkten Zugriff auf diese Spikemuster und können sich daraufhin selbst anpassen, um eventuelle Asymmetrien auszugleichen, ohne Informationen von weit entfernten Stellen im Netzwerk zu benötigen. «Rauschen» bedeutet hier also nicht Geräusch, sondern kleine zufällige Veränderungen, wie sie auch im Gehirn und in elektronischen Bauteilen vorkommen. «Rauschen gilt in technischen Systemen meist als Störfaktor. In unserem Ansatz liefert es aber genau die Variation, aus der das Netzwerk Informationen über seine Verbindungen gewinnen kann», sagt Timo Gierlich, Doktorand am Institut für Physiologie der Universität Bern und Erstautor der Studie.

Ein grundlegendes Lernproblem lösen

Die Forschenden testeten SAL in verschiedenen künstlichen Netzwerken - von gehirnähnlichen Modellen bis zur Bilderkennung. In allen Fällen gelang es SAL, die benötigten Verbindungen zuverlässig aufeinander abzustimmen, obwohl jede Verbindung nur Informationen aus ihrer unmittelbaren Umgebung nutzt. Auch bei der Bilderkennung erlaubt SAL viel bessere Ergebnisse als Modelle, die asymmetrische Verbindungen nicht ausgleichen können. Die klassische Fehler-Rückpropagation blieb zwar am genauesten, benötigt dafür aber den Austausch von Informationen zwischen weit voneinander entfernten Teilen des Netzwerks - etwas, das im Gehirn und in neuromorphen Computersystemen nur schwer umsetzbar ist. «Unser Ziel ist nicht, Fehler-Rückpropagation auf herkömmlichen Computern zu ersetzen», sagt Dr. Mihai A. Petrovici. «Wir wollen verstehen, wie ein Netzwerk auch dann leistungsfähig lernen kann, wenn jede Verbindung nur die Informationen nutzt, die direkt an ihrem eigenen Ort verfügbar sind. Das ermöglicht den Entwurf neuartiger Rechenarchitekturen, die ohne den Transport grosser Informationsmengen über lange Strecken auskommen, und dadurch ein Vielfaches an Geschwindigkeit und Energieeffizienz gewinnen.»

Von der Hirnforschung zum Computerchip

SAL könnte insbesondere für neuromorphes Computing interessant sein, dessen Funktionsweise sich am Gehirn orientiert. Dabei sind die elektronischen Bauteile - ähnlich wie Nervenzellen - nie völlig identisch und können sich mit der Zeit verändern. SAL kann solche Unterschiede sehr effektiv ausgleichen und dadurch zu robusteren lernfähigen Systemen beitragen. Die Forschenden nennen als mögliche künftige Anwendungen unter anderem intelligente Sensoren und tragbare Geräte, die auch dann zuverlässig funktionieren, wenn sich ihre Bauteile oder ihre Umgebung verändern.

Noch wurde SAL nur mit mathematischen Analysen und Computersimulationen untersucht, aber einzelne Komponenten des Modells wurden bereits experimentell erforscht. Auch neuromorphe Entwickler sind nun dabei, den Mechanismus in ihren Systemen zu implementieren. «Der nächste Schritt ist, unsere theoretischen Vorhersagen an realen Systemen zu testen», sagt Petrovici. «Die Verbindung von theoretischer Neurowissenschaft und neuromorphem Computing ermöglicht es uns, grundlegende Fragen darüber zu untersuchen, wie physische neuronale Systeme effizient und robust lernen können.»