Der hohe Energieverbrauch beim Lernen von künstlichen neuronalen Netzwerken ist eine der größten Hürden für den breiten Einsatz von Artificial Intelligence (AI), vor allem bei mobilen Anwendungen. Ein Ansatz, um dieses Problem zu lösen ist, von Erkenntnissen über das menschliche Gehirn zu lernen: Dieses hat zwar die Rechenleistung eines Supercomputers, braucht mit 20 Watt aber nur ein Millionstel von dessen Energie. Verantwortlich dafür ist unter anderem die effiziente Informationsweitergabe zwischen den Neuronen im Gehirn: Diese senden kurze, elektrische Impulse (Spikes) an andere Neuronen – um Energie zu sparen aber nur so oft, wie unbedingt notwendig.
Ereignisbasierte Informationsverarbeitung
Diese Funktionsweise hat sich eine Arbeitsgruppe rund um die beiden TU Graz-Informatiker Wolfgang Maass und Robert Legenstein bei der Entwicklung des neuen maschinellen Lernalgorithmus e-prop (kurz für e-propagation) zu eigen gemacht: Die Forschenden des Instituts für Grundlagen der Informationsverarbeitung, die auch Teil des europäischen Leuchtturmprojekts Human Brain Project sind, nutzen in ihrem Modell Spikes zur Kommunikation zwischen Neuronen in einem künstlichen neuronalen Netz. Die Spikes werden nur dann aktiv, wenn sie für die Informationsverarbeitung im Netzwerk gebraucht werden. Das Lernen ist für solche wenig aktiven Netzwerke eine besondere Herausforderung, da es längere Beobachtungen braucht um zu ermitteln, welche Neuronenverbindungen die Netzwerkleistung verbessern.
Die Methode ist ähnlich leistungsfähig wie die besten und aufwändigsten bekannten anderen Lernmethoden. Erkenntnisse dazu wurden nun im wissenschaftlichen Journal Nature Communications publiziert, mehr Details finden Sie auch in den TU Graz News.
Originalpublikation
A solution to the learning dilemma for recurrent networks of spiking neurons in Nature Communications
Guillaume Bellec, Franz Scherr, Anand Subramoney, Elias Hajek, Darjan Salaj, Robert Legenstein, Wolfgang Maass;
DOI: 10.1038/s41467-020-17236-y
Kontakt
TU Graz | Institute of Theoretical Computer Science
Wolfgang MAASS
Em.Univ.-Prof. Dipl.-Ing. Dr.rer.nat.
Tel.: +43 316 873 5822
maass@igi.tugraz.at
Robert LEGENSTEIN
Univ.-Prof. Dipl.-Ing. Dr.techn.
Tel.: +43 316 873 5824
robert.legenstein@igi.tugraz.at