KI Forscher simulieren neuronales Netz mit nur einem Neuron

Wer ein neuronales Netz trainieren möchte, braucht einen Supercomputer, der bei seiner Arbeit sehr viel Strom verbraucht. Forscher könnten nun eine Lösung für dieses Problem gefunden haben.

Anbieter zum Thema

PFLITSCH GmbH & Co. KG

TU Berlin

Forscher der Technischen Universität (TU) Berlin haben eine mögliche Optimierung für neuronale Netze gefunden. Wie die Universität mitteilt ist es gelungen, ein neuronales Netz mit nur einem einzigen, im Softwarecode programmierten Neuron zu simulieren. Dafür haben die Forscher das Neuron zeitlich versetzt angesteuert und ausgelesen. Das Neuron habe damit innerhalb von Sekundenbruchteilen die Rollen aller virtuellen Neuronen einnehmen können. Die Ergebnisse ihrer Forschung wurden nun als „Editors’ Highlight“ in der Zeitschrift Nature Communications veröffentlicht.

CO2-Ausstoß vergleichbar mit 700.000 Kilometern Autofahrt

Ziel der Forscher war es, zwei Probleme von künstlicher Intelligenz und neuronaler Netzwerke zu lösen. „Unsere Forschung adressiert zwei Beschränkungen, mit denen die heutigen neuronalen Netze konfrontiert sind“, sagt Serhiy Yanchuk, Leiter der Arbeitsgruppe Angewandte Dynamische Systeme an der TU Berlin. Das sei zum einen der hohe Stromverbrauch von neuronalen Netzen, die in Supercomputern simuliert werden. Er zitiert dabei eine Studie der Universität Kopenhagen. Demnach verbrauche ein Trainingszyklus für eines der aktuell besten KI-Programme zur Spracherzeugung sehr viel Strom. Gemessen am CO2-Ausstoß sei eine Autofahrt über 700.000 Kilometer damit vergleichbar.

„Auf der anderen Seite gibt es auch neuronale Netze, deren Neuronen als reale physikalische Systeme aufgebaut werden“, erklärt Yanchuk. Während es in Supercomputern bereits möglich ist, Milliarden von Neuronen zu programmieren, erreichen die jüngsten Hardware-Implementierungen bisher nur eine Anzahl von einigen Tausend künstlichen Nervenzellen, heißt es weiter.

Erste Erfolge

Die Lösung ist laut den Forschern der TU Berlin, nur ein einzelnes Neuron zu verwenden. Dieses nimmt durch zeitverzögertes Ansteuern und Auslesen nacheinander die Rollen aller Neuronen im neuronalen Netz ein. Spezielle Verzögerungsleitungen nehmen dafür den Zustand des Neurons auf, modulieren ihn in geeigneter Weise und senden das daraus resultierende verzögerte Signal zurück, so die Forscher. „Dass das prinzipiell möglich ist, haben wir jetzt im Computer gezeigt. Für eine Realisierung in Hardware kämen vor allem laserbasierte Schaltungen in Frage, weil diese so schnell sind, dass die Zeitverzögerungen besonders kurz ausfallen“, erklärt Florian Stelzer, der Erstautor der Studie. Die normalerweise räumliche Distanz zwischen zwei Neuronen im Netzwerk würde bei diesem Konzept durch eine zeitliche Verschiebung ersetzt.

Das Ergebnis nennen die Forscher ein „Folded-in-time Deep Neural Network“ (Fit-DNN). Im Computer habe es bereits eine für neuronale Netze typische Aufgabe bewältigt: Es konnte Bilder von Kleidungsstücken, die durch überlagertes Rauschen unkenntlich gemacht wurden, wieder rekonstruieren.

(ID:48024632)