Künstliche neuronale Netzwerke orientieren sich an der Funktionsweise der komplexen Netzwerke von Nervenzellen und werden eingesetzt, um in großen Datenmengen nach Mustern zu suchen. Anders als das Gehirn verbrauchen diese Netzwerke im Computer aber sehr viel Energie, wenn sie etwa in der Bildklassifizierung für Gesichts- und Objekterkennung eingesetzt werden. Forscher der TU Graz haben einen Ansatz für besonders energieschonende künstliche neuronale Netzwerke, gefunden.

Das menschliche Gehirn hat die Rechenleistung eines Supercomputers, mit rund 20 Watt braucht es aber nur ein Millionstel von dessen Energiebedarf. Verantwortlich dafür ist unter anderem die effiziente Informationsweitergabe zwischen den Neuronen im Gehirn: Diese senden dazu kurze elektrische Impulse (Spikes) an andere Neuronen – um Energie zu sparen, aber nur so oft, wie es unbedingt notwendig ist. Die Information wird dabei nicht nur durch die Anzahl der Spikes, sondern auch durch ihre zeitlichen variablen Muster codiert.

„Man kann sich das vorstellen wie einen Morse-Code. Auch die Pausen zwischen den Signalen übertragen Informationen“, erklärte der Grazer Informatiker Wolfgang Maass vom Institut für Grundlagen der Informationsverarbeitung der TU Graz am Donnerstag anlässlich der jüngsten Publikation im Fachjournal „Nature Machine Intelligence“.

Diese Erkenntnis machen sich die Grazer Forscher zunutze, um den Einsatz von Künstlicher Intelligenz (AI) bei Bilderkennung oder andere Deep-Learning- Anwendungen energieeffizienter zu machen. Vor allem bei mobilen Anwendungen ist der hohe Energieverbrauch beim Lernen von künstlichen neuronalen Netzwerken eine der größten Hürden für den breiten Einsatz von Artificial Intelligence. Maass und sein Doktorand Christoph Stöckl nutzten in ihrem Modell daher Spikes zur Kommunikation zwischen Neuronen in einem künstlichen neuronalen Netz. Zuletzt haben sie künstliche neuronale Netzwerke in Computer-Simulationen zur Bildklassifizierung derart optimiert, dass die künstlichen Neuronen – ähnlich wie jene im Gehirn – nur relativ selten Signale aussenden müssen und eben diese Signale sehr einfach sind.

Dass eine Spike-basierte Hardware den Energieverbrauch von Anwendungen mit neuronalen Netzen reduzieren kann, ist nicht neu. Für sehr tiefe und große neuronalen Netze, die für wirklich gute Bildklassifikation wie beispielsweise bei Fahrerassistenzsysteme gebraucht werden, wurde sie jedoch noch nie realisiert. Die nunmehr nachgewiesene Klassifizierungsgenauigkeit mit diesem Design komme sehr nahe an den Status quo derzeitiger Bildklassifizierungstools heran, so die Forscher.

Laut Maass und Stöckl kommt es bei der Informationsübertragung nicht nur darauf an, wie viele Spikes ein Neuron, sondern auch, wann das Neuron diese Spikes aussendet. Die Zeit bzw. die zeitlichen Abstände zwischen den Spikes codieren sich sozusagen selbst und können daher sehr viel zusätzliche Information übertragen. „Wir zeigen, dass mit wenigen Spikes – in unseren Simulationen sind es durchschnittlich zwei – genauso viel Informationen zwischen den Prozessoren vermittelt werden können wie in energieaufwendiger Hardware“, betonte Maass. Laut den Forschern könnten die Ergebnisse die Entwicklung von energieeffizienter KI-Anwendungen drastisch beschleunigen.

( S E R V I C E – C. Stoeckl, W. Maass „Optimized spiking neurons can classify images with high accuracy through temporal coding with two spikes. Nature Machine Intelligence, März 2021, DOI: 10.5281/zenodo.4326749 )

APA