Simulationsmodelle der Virtuellen Inbetriebnahme als Lernumgebung für Reinforcement Learning Algorithmen

Artikelserie Stuttgarter Innovationstage (Teil 1): Selbstlernende Steuerungssysteme

Die Umstellung eines Produktionssystems, z.B. einer Roboterzelle, auf ein neues Produkt muss künftig schnell und mit wenig Aufwand möglich sein. Die Steuerungssysteme, sowie die zugehörigen Engineering Methoden, müssen dabei intelligent und lernfähig werden, manuelle Aufwände in der Entwicklung zu reduzieren. Die virtuelle Inbetriebnahme stellt eine geeignete Lernumgebung dar, in der sich das Steuerungssystem mit Methoden der künstlichen Intelligenz selbst programmiert. Dafür müssen die Simulationswerkzeuge erweitert und möglichst standardisierte Schnittstellen geschaffen werden.
 Die Simulationsmodelle der virtuellen Inbetriebnahme sind eine geeignete Lernumgebung für verschiedene Anwendungsfälle der Produktionstechnik.
Die Simulationsmodelle der virtuellen Inbetriebnahme sind eine geeignete Lernumgebung für verschiedene Anwendungsfälle der Produktionstechnik.Bild: Institut für Steuerungstechnik der Werkzeugmaschinen und Fertigungseinrichtungen (ISW)

Schnittstelle zum VIBN-Werkzeug

Um Reinforcement Learning für Produktionssysteme nutzbar zu machen ist es wichtig auf bereits existierende Ansätze und vor allem Software-Bibliotheken zurückzugreifen. Der Steuerungsentwickler soll in die Lage versetzt werden aktuellen Methoden und Algorithmen integrieren zu können, ohne diese selbst zu entwickeln oder anzupassen. Wichtig dafür ist es, die Lernumgebung an bestehenden Standards zu orientieren. OpenAI, Google und Microsoft stellen standardisierte Lernumgebungen als Bibliothek als zur Verfügung um eigene Lernalgorithmen zu valideren und zu vergleichen. Das am häufigsten verwendete Toolkit, OpenAI Gym, stellt Open-Source-Lernumgebungen für Computerspiele, physikbasierte Simulationen oder klassische Steuerungs- und Regelungsprobleme zur Verfügung. Es definiert dadurch einen DeFacto-Standard für Lernumgebungen, in Bezug auf den Aufbau und die Schnittstellen. Besonders interessant ist die Tatsache, dass für eine solche OpenAI-Gym-Lernumgebung auch Open-Source-Algorithmen (OpenAI Baselines) zur Verfügung stehen, die aktuelle Entwicklungen und Fortschritte aus der Forschung beinhalten. Diese Algorithmen werden in verschiedenen Communitys laufend verbessert und erweitert und sind auf eine Vielzahl von Anwendungsfällen anwendbar, solange die zugehörigen Lernumgebungen dem OpenAI-Standard entsprechen.

Lernumgebung für Zeilensteuerung und Motion

Durch entsprechende Erweiterungen eines VIBN-Simulationswerkzeuges, sodass der OpenAI-Standard eingehalten werden kann, stehen folglich eine Vielzahl von Lernalgorithmen zur Verfügung. Am ISW der Uni Stuttgart wurde eine entsprechende Lösung in Verbindung mit einem VIBN-Simulationswerkzeug entwickelt. Für die Erfüllung des OpenAI-Standards waren dabei bestimmte Funktionen des Werkzeugs gegeben. Es muss eine Schnittstelle für den Austausch von Signalen, zwischen dem Agenten und der Simulation bestehen. Üblicherweise existieren bei VIBN-Simulationswerkzeugen dazu Schnittstellen auf Feldbusebene, um denselben Kommunikationsweg wie am realen System zu realisieren. Für eine VIBN-Lernumgebung müssen jedoch weitere relevante Funktionen wie das Starten, Stoppen und Resetten von Simulationen sowie das Parametrieren von Simulationsmodellen realisiert werden. Daher wurde auf Basis einer Remote-Schnittstelle des VIBN-Simulationswerkzeuges eine spezielle Kommunikationsschnittstelle entwickelt, welche den OpenAI-Standards entspricht. Die entwickelte VIBN-Lernumgebung wurde bisher für einfache Logiksteuerungen (Zellensteuerung) und Bewegungssteuerungen (Motion) für Robotersysteme getestet.

Steuerungstechnik aus der Cloud? Der damals kontrovers diskutierte Ansatz wurde vor fünf Jahren erstmals umfangreich auf der Fachtagung Stuttgarter Innovationstage präsentiert. Zum fünfjährigen Jubiläum werden Experten und Anwender am 2. und 3. März 2021 in einer Podiumsdiskussion die Fortschritte der Steuerungstechnik aus der Cloud und reale Anwendungsfälle aufzeigen. Zusätzlich geben an beiden Tagen die Schwerpunktthemen Software Defined Manufacuturing und Intelligente Produktion Einblicke in aktuelle Trends und Entwicklungen. Die Fachvorträge und der direkte Kontakt zu den geladenen Experten aus den Fachbereichen der IT und Automatisierungstechnik ermöglichen den interdisziplinären Austausch mit den Gestaltern der Steuerungstechnik von morgen. Weitere Infos zur Fachtagung unter www.stuttgarter-innovationstage.de

Artikelserie Stuttgarter Innovationstage

Teil1: Selbstlernende Steuerungssysteme (SPS-MAGAZIN 10/2020)

Teil2: Umati für Werkzeugmaschinen (SPS-MAGAZIN 11/2020)

Teil3: KI-basierte Qualitätsüberwachung (SPS-MAGAZIN 13/2020)

Teil4: Computer Vision in der Steuerung (SPS-MAGAZIN 1/2021)

Seiten: 1 2Auf einer Seite lesen

ISW Institut für Steuerungstechnik der

Das könnte Sie auch Interessieren

Bild: ©NicoElNino/stock.adobe.com
Bild: ©NicoElNino/stock.adobe.com
Strukturierter Beratungsansatz für KI-Einsatzbereiche im Unternehmen

Strukturierter Beratungsansatz für KI-Einsatzbereiche im Unternehmen

„Künstliche Intelligenz ist eine, wenn nicht die wichtigste Zukunftstechnologie für Unternehmen.“ Diese Aussage bejahen 70 Prozent der Befragten der jüngsten Bitkom-Studie zu KI. Aber nur 10 Prozent aller Unternehmen haben KI-Technologie aktiv im Einsatz, lediglich 30 Prozent planen und diskutieren deren Anwendung. Was ist der Grund für diese große Diskrepanz?

Bild: Blue Yonder, Inc.
Bild: Blue Yonder, Inc.
Künstliche Intelligenz – mehr als eine Wissenschaft

Künstliche Intelligenz – mehr als eine Wissenschaft

Data Science ist mittlerweile ein fester Bestandteil der strategischen Planung in vielen Unternehmen. Um künftige Entwicklungen realistisch zu planen, brauchen wir Künstliche Intelligenz (KI) und Maschinelles Lernen (ML). Insbesondere im Einzelhandel vertrauen immer mehr große Player auf KI-Lösungen, die präzise Prognosen ermöglichen und zum Beispiel Bestände oder Preise optimieren. Doch viele Entscheidungsträger glauben noch nicht daran, dass KI in den Lieferketten der Zukunft eine tragende Rolle spielen wird. Der Grund hierfür liegt in einer falschen Sicht auf die Wissenschaft.

Bild: ©Stock57/stock.adobe.com
Bild: ©Stock57/stock.adobe.com
KI-Verfahren für die Produktion

KI-Verfahren für die Produktion

Mathematiker der Hochschule Darmstadt (h_da) entwickeln gemeinsam mit dem Hanauer Simulationsdienstleister und Softwareunternehmen SimPlan und dem Automationsexperten Fibro Läpple Technology neue KI-Technologien. Im Rahmen des Loewe-Projekts ‚KISPo‘ will das Konsortium eine autonome, selbstlernende Steuerungssoftware für Produktionsanlagen entwickeln, wie sie z.B. bei der Herstellung von Komponenten für Windräder oder Elektromotoren zum Einsatz kommen. Es wäre die erste KI-Software dieser Art. Damit würde eine von Industrieverbänden und Forschung lange bemängelte Technologielücke geschlossen. Das Land Hessen fördert das Projekt für zwei Jahre mit 320.000 Euro. Konsortialführerin ist die Hochschule Darmstadt.

Bild: ©NicoElNino/stock.adobe.com
Bild: ©NicoElNino/stock.adobe.com
Chancen und Herausforderungen von Machine Learning in der Fertigung

Chancen und Herausforderungen von Machine Learning in der Fertigung

Automatisierung, künstliche Intelligenz (KI), Internet of Things (IoT) und Machine Learning (ML) sind heutzutage bekannte Technologien und kommen bereits in vielen Unternehmen zum Einsatz. Mit Hilfe von Machine Learning wird es IT-Systemen ermöglicht, Muster und Zusammenhänge aus Daten zu lernen und sich selbst zu verbessern. Dabei ist keine explizite Programmierung notwendig. Die Bearbeitung von Kundenanfragen, die Erkennung möglicher Störfälle sowie unerwarteter Ereignisse wie z.B. Cyberangriffe sind klassische Anwendungsfelder von ML. Aber auch die Unterstützung bei einer rein datengestützten Entscheidungsfindung und die Interpretation großer Datenmengen gehören dazu.

Bild: ©Shuo/stock.adobe.com
Bild: ©Shuo/stock.adobe.com
Sensoren lernen das Denken

Sensoren lernen das Denken

Im Fraunhofer-Leitprojekt NeurOSmart forscht das Fraunhofer IPMS zusammen mit vier weiteren Instituten (ISIT, IMS, IWU, IAIS) unter Leitung des Fraunhofer ISIT gemeinsam an energieeffizienten und intelligenten Sensoren für die nächste Generation autonomer Systeme. Dabei sollen die Brücken zwischen Wahrnehmung und Informationsverarbeitung durch innovative Elektronik neu definiert werden.

Bild: ©ipopba/stock.adobe.com
Bild: ©ipopba/stock.adobe.com
Wie KI 2022 praktikabel wird

Wie KI 2022 praktikabel wird

Künstliche Intelligenz war bereits in der Vergangenheit in aller Munde, schaffte es aber doch oft nicht bis in die Anwendung. Das wird sich 2022 ändern – auch weil sich langsam Standards etablieren und sich neue, konkrete Einsatzmöglichkeiten ergeben. In welchen Bereichen Business-Implementierungen zu erwarten sind, erläutert Bernhard Niedermayer, Head of AI bei Cloudflight.