Lernalgorithmus E-prop

Energieeffizient lernen

Ein Forschungsteam an der Technischen Universität Graz hat die KI-Lernmethode E-prop entwickelt, mit der Hardware-Implementierungen von künstlicher Intelligenz energieeffizienter gestaltet werden können.
Die beiden TU Graz-Informatiker Robert Legenstein und Wolfgang Maass (v.l.) arbeiten an energieeffizienten AI-Systemen und lassen sich dabei von der Funktionsweise des menschlichen Gehirns inspirieren.
Die beiden TU Graz-Informatiker Robert Legenstein und Wolfgang Maass (v.l.) arbeiten an energieeffizienten AI-Systemen und lassen sich dabei von der Funktionsweise des menschlichen Gehirns inspirieren.Bild: TU Graz

Der hohe Energieverbrauch beim Lernen von künstlichen neuronalen Netzwerken ist eine große Hürde für den breiten Einsatz künstlicher Intelligenz (KI), vor allem bei mobilen Anwendungen. Ein Ansatz, um sich diesem Problem zu nähern ist, von Erkenntnissen über das menschliche Gehirn zu lernen: Dieses verfügt über immense Rechenleistung, braucht mit 20 Watt aber nur ein Millionstel von dessen Energie. Verantwortlich dafür ist unter anderem die effiziente Informationsweitergabe zwischen den Neuronen im Gehirn: Diese senden dazu kurze, elektrische Impulse (Spikes) an andere Neuronen – um Energie zu sparen aber nur so oft, wie unbedingt notwendig.

Diese Funktionsweise hat sich ein Team der TU Graz um die Informatiker Wolfgang Maass und Robert Legenstein bei der Entwicklung des maschinellen Lernalgorithmus E-prop (kurz für e-propagation) zu eigen gemacht. Die Arbeitsgruppe des Instituts für Grundlagen der Informationsverarbeitung, nutzen in ihrem Modell Spikes zur Kommunikation zwischen Neuronen in einem künstlichen neuronalen Netz. Die Spikes werden nur dann aktiv, wenn sie für die Informationsverarbeitung im Netzwerk gebraucht werden. Das Lernen ist für solche wenig aktiven Netzwerke eine besondere Herausforderung, da es längere Beobachtungen braucht um zu ermitteln, welche Neuronenverbindungen die Netzwerkleistung verbessern.

Dezentrale Methode

Bisherige Methoden erzielten zu geringe Lernerfolge oder erforderten enormen Speicherplatz. E-prop löst nun dieses Problem mittels einer vom Gehirn abgeschauten dezentralen Methode, bei der jedes Neuron in einer sogenannten E-trace (eligibility trace; dt. Ereignisspur) dokumentiert, wann seine Verbindungen benutzt wurden. Die Methode ist ähnlich leistungsfähig wie bekannte andere Lernmethoden.

Bei vielen der derzeit eingesetzten Maschine-Learning-Techniken werden alle Netzwerkaktivitäten zentral und offline gespeichert, um alle paar Schritte nachvollziehen zu können, wie die Verbindungen während der Berechnungen benutzt wurden. Dies erfordert aber einen ständigen Datentransfer zwischen dem Speicher und den Prozessoren — eine der Hauptursachen für den zu großen Energieverbrauch gegenwärtiger KI-Implementationen. E-prop hingegen funktioniert vollkommen online und erfordert auch im realen Betrieb keinen separaten Speicher.

Nicht über die Cloud gehen

Maass und Legenstein hoffen, dass der Algorithmus die Entwicklung einer neuen Generation von mobilen lernfähigen Rechensystemen vorantreibt, die nicht mehr programmiert werden müssen, sondern nach dem Vorbild des menschlichen Gehirns lernen und sich dadurch an laufend neue Anforderungen anpassen. Ziel ist es, diese Rechensysteme nicht mehr energieintensiv ausschließlich über eine Cloud lernen zu lassen, sondern den größeren Teil der Lernfähigkeit effizient in mobile Hardware-Komponenten einzubauen und dadurch Energie zu sparen.

Erste Schritte, E-prop in die Anwendung zu bringen, wurden bereits gemacht: So arbeitet das Team der TU Graz gemeinsam mit der Advanced Processor Technologies Research Group (APT) der Universität Manchester im Human Brain Projekt daran E-prop in das dort entwickelte neuromorphe Spinnaker-System einzubauen. Gleichzeitig arbeitet die TU Graz gemeinsam mit Intel daran, den Algorithmus in die nächsten Version von Intels neuromorphen Chip Loihi zu integrieren.

Das könnte Sie auch Interessieren

Anzeige

Anzeige

Bild: ©NicoElNino/stock.adobe.com
Bild: ©NicoElNino/stock.adobe.com
Strukturierter Beratungsansatz für KI-Einsatzbereiche im Unternehmen

Strukturierter Beratungsansatz für KI-Einsatzbereiche im Unternehmen

„Künstliche Intelligenz ist eine, wenn nicht die wichtigste Zukunftstechnologie für Unternehmen.“ Diese Aussage bejahen 70 Prozent der Befragten der jüngsten Bitkom-Studie zu KI. Aber nur 10 Prozent aller Unternehmen haben KI-Technologie aktiv im Einsatz, lediglich 30 Prozent planen und diskutieren deren Anwendung. Was ist der Grund für diese große Diskrepanz?

Bild: Blue Yonder, Inc.
Bild: Blue Yonder, Inc.
Künstliche Intelligenz – mehr als eine Wissenschaft

Künstliche Intelligenz – mehr als eine Wissenschaft

Data Science ist mittlerweile ein fester Bestandteil der strategischen Planung in vielen Unternehmen. Um künftige Entwicklungen realistisch zu planen, brauchen wir Künstliche Intelligenz (KI) und Maschinelles Lernen (ML). Insbesondere im Einzelhandel vertrauen immer mehr große Player auf KI-Lösungen, die präzise Prognosen ermöglichen und zum Beispiel Bestände oder Preise optimieren. Doch viele Entscheidungsträger glauben noch nicht daran, dass KI in den Lieferketten der Zukunft eine tragende Rolle spielen wird. Der Grund hierfür liegt in einer falschen Sicht auf die Wissenschaft.

Bild: ©Stock57/stock.adobe.com
Bild: ©Stock57/stock.adobe.com
KI-Verfahren für die Produktion

KI-Verfahren für die Produktion

Mathematiker der Hochschule Darmstadt (h_da) entwickeln gemeinsam mit dem Hanauer Simulationsdienstleister und Softwareunternehmen SimPlan und dem Automationsexperten Fibro Läpple Technology neue KI-Technologien. Im Rahmen des Loewe-Projekts ‚KISPo‘ will das Konsortium eine autonome, selbstlernende Steuerungssoftware für Produktionsanlagen entwickeln, wie sie z.B. bei der Herstellung von Komponenten für Windräder oder Elektromotoren zum Einsatz kommen. Es wäre die erste KI-Software dieser Art. Damit würde eine von Industrieverbänden und Forschung lange bemängelte Technologielücke geschlossen. Das Land Hessen fördert das Projekt für zwei Jahre mit 320.000 Euro. Konsortialführerin ist die Hochschule Darmstadt.

Bild: ©NicoElNino/stock.adobe.com
Bild: ©NicoElNino/stock.adobe.com
Chancen und Herausforderungen von Machine Learning in der Fertigung

Chancen und Herausforderungen von Machine Learning in der Fertigung

Automatisierung, künstliche Intelligenz (KI), Internet of Things (IoT) und Machine Learning (ML) sind heutzutage bekannte Technologien und kommen bereits in vielen Unternehmen zum Einsatz. Mit Hilfe von Machine Learning wird es IT-Systemen ermöglicht, Muster und Zusammenhänge aus Daten zu lernen und sich selbst zu verbessern. Dabei ist keine explizite Programmierung notwendig. Die Bearbeitung von Kundenanfragen, die Erkennung möglicher Störfälle sowie unerwarteter Ereignisse wie z.B. Cyberangriffe sind klassische Anwendungsfelder von ML. Aber auch die Unterstützung bei einer rein datengestützten Entscheidungsfindung und die Interpretation großer Datenmengen gehören dazu.

Bild: ©Shuo/stock.adobe.com
Bild: ©Shuo/stock.adobe.com
Sensoren lernen das Denken

Sensoren lernen das Denken

Im Fraunhofer-Leitprojekt NeurOSmart forscht das Fraunhofer IPMS zusammen mit vier weiteren Instituten (ISIT, IMS, IWU, IAIS) unter Leitung des Fraunhofer ISIT gemeinsam an energieeffizienten und intelligenten Sensoren für die nächste Generation autonomer Systeme. Dabei sollen die Brücken zwischen Wahrnehmung und Informationsverarbeitung durch innovative Elektronik neu definiert werden.

Bild: ©ipopba/stock.adobe.com
Bild: ©ipopba/stock.adobe.com
Wie KI 2022 praktikabel wird

Wie KI 2022 praktikabel wird

Künstliche Intelligenz war bereits in der Vergangenheit in aller Munde, schaffte es aber doch oft nicht bis in die Anwendung. Das wird sich 2022 ändern – auch weil sich langsam Standards etablieren und sich neue, konkrete Einsatzmöglichkeiten ergeben. In welchen Bereichen Business-Implementierungen zu erwarten sind, erläutert Bernhard Niedermayer, Head of AI bei Cloudflight.

Anzeige

Anzeige

Anzeige