Sensorik

Embedded KI im Sensor

KI-Funktionen kommen nicht nur in leistungsstarken IT-Systemen mit Nvidia-Hardware zum Einsatz. Sie werden inzwischen auch in ressourcenlimitierten IoT-Geräten für dezentrale Anwendungen genutzt, um spezielle Funktionen zu realisieren. Durch die Entwicklung solcher KI-basierter Endpunkte ergeben sich völlig neue Einsatzmöglichkeiten, z. B. für den Einsatz zusammen mit einer SPS, aber auch umfangreiche Anforderungen an die Entwicklung und den Test.

Sensoren bilden die Datenendpunkte in unzähligen Anwendungen. In der Regel kommen dabei digitale Sensorelemente zum Einsatz, die analoge Messgrößen erfassen, mit Hilfe eines A/D-Wandler digitalisieren und über eine Kommunikationsschnittstelle zur weiteren Nutzung an externe Systeme weiterleiten. Durch die A/D-Konvertierung und Kommunikationsfunktion ist ein Sensor-interner Mikrocontroller (MCU) plus Software erforderlich. Konzeptionell lassen sich beim derzeitigen Stand der Technik in diese MCU auch KI-Funktionen integrieren. Auf Grund mechanischer Limitierungen, aber auch aus Kostenaspekten, kommen in solchen Endpunkten allerdings nur Mikrocontroller mit relativ geringer Rechenleistung und kleinen RAM-Speicherkapazitäten zum Einsatz, die teilweise sogar eine Batteriespannungsversorgung nutzen. Eine solche Embedded-System-Konfiguration eignet sich zwar nicht als Entwicklungsumgebung, um komplexe KI-Modelle mit Hilfe künstlicher neuronaler Netzwerke zu erzeugen, aber durchaus als Plattform, um an Hand extern erstellter KI-Modelle automatische Entscheidungen zu treffen (also in einer „Deep Learning-Inferenz-Betriebsart“ spezielle Regressions- und Klassifizierungsaufgaben zu bewerkstelligen).

Ein typisches Anwendungsbeispiel wäre ein Bildsensor, der statt eines Videodaten-Streams als Ausgangsdaten innerhalb der erfassten Bilddaten selbstständig bestimmte Objekte erkennt und über entsprechende Datenmuster lediglich die Objektpräsenz im Erfassungsbereich am Ausgang anzeigt (KI-basierter Präsenzmelder) oder aber die Anzahl der erkannten Objekte zählt und den aktuellen Zählerstand ausgangsseitig zur Verfügung stellt (KI-basierter Objektzähler). Ein weiteres Beispiel wären KI-basierte (virtuelle) Sensoren für vorausschauende bzw. präventive Wartungsmaßnahmen in Maschinen und Anlagen – also für Predictive bzw. Preventive Maintenance-Aufgaben. Solche Softsensoren können Maschinenzustände an Hand erlernter Datenmuster erkennen sowie Ausfälle vorhersagen und dadurch Stillstandszeiten minimieren. Dafür lassen sich Schwingungsdaten kritischer Anlagenkomponenten mit Hilfe einer IMU (Inertial Measurement Unit) oder Geräusche per Akustiksensor erfassen und durch Machine Learning-Algorithmen auswerten.

Konzeption, Implementierung und Feldtest der KI-Funktionen für einen Softsensor in einer Automatisierungsanwendung erfordern einen funktionsübergreifenden, kooperativen und iterativen Prozess sowie die Experten für verschiedene Rollen (z. B. Data Scientisten, Embedded-Entwickler und Anwendungsexperten). Die Ausgangsdatenqualität der finalen Sensorbaugruppe hängt in der Praxis besonders vom Umfang der kooperativen Zusammenarbeit in der Feldtestphase ab.

KI-Sensor-Entwicklerteam

Die KI-Funktionen eines Softsensors erfordern in jedem Fall eine spezielle Embedded-Softwareentwicklung, um das erforderliche Modell und den Inferenzcode für eine bestimmte Sensor-Hardware zu erstellen. Die Konzeption, Implementierung und der Feldtest dieser Software sind allerdings eine typische Cross-Entwicklungsaufgabe, die darüber hinaus für einen effektiven Praxiseinsatz eine sehr spezielle Software-Wartungs-Pipeline erfordert. Insgesamt sind mit Modell entwerfen, Modell trainieren und testen, Modell nutzen sowie den Modelleinsatz überwachen vier Aufgabenbereiche erkennbar. Des Weiteren lassen sich in einer Endpunkt-KI-Entwicklung drei verschiedene Rollen identifizieren, die ein zur Anwendung passendes Expertenteam erfordern, um die unterschiedliche Teilaufgaben bearbeiten:

KI-Modell-Architekt: Konzeptentwurf für das Eingangsdatenbild und die Ausgangsinformation(en) des neuronalen Netzwerks. Die Modellarchitektur sowie den Detailentwurf der einzelnen Hidden Layer festlegen. Codieren des KI-Modells und eines passenden ML-Trainingsprozesses, z. B. mit Hilfe einer geeigneten Machine Learning-Bibliothek, wie TensorFlow und Keras. Austesten des Modells mit Hilfe passender Daten. Falls erforderlich, passende Testdaten erzeugen, um die Vorhersage- bzw. Klassifizierungsgenauigkeit des KI-Modells zu ermitteln. Implementierung einer ML-Modell-Trainingsumgebung für den Praxiseinsatz. Die Weitergabe des KI-Modells in einem geeigneten Dateiformat sicherstellen (z. B. TFLITE oder ONNX). Bei Bedarf spezielle Filterfunktionen für die Trainingsdaten erstellen. In der Regel eignen sich für diese Teilaufgaben praxiserfahrene Data Scientisten oder entsprechend geschulte Softwareentwickler.

KI-Modell-Integrator/Modell-Trainer: Datenlogger-Funktion realisieren, um praxisbezogene Trainingsdaten zu erfassen. Mit diesen Daten lässt sich das vom KI-Modell-Architekten zur Verfügung gestellte Deep Learning-Modell bei Bedarf jederzeit neu trainieren. Inferenzcode für das jeweilige Zielsystem erstellen, KI-Modell integrieren, geeignete Testkonzepte entwickeln und Komponententests für den vollständigen Inferenzbaustein (Code plus Modell) durchführen. Schnittstelle zur Weitergabe der Inferenzausgangsdaten implementieren und testen. Installationspaket für den jeweiligen Endpunkt erstellen. Die Trainer/Integrator-Rolle erfordert Embedded-Softwareexperten, die sich mit der Firmware- und Anwendungsentwicklung für die Endpunkt-Hardware auskennen.

KI-Modell-Anwender: Ist für den Betrieb des Endpunkts in der Zielumgebung verantwortlich. Der Anwender nutzt das KI-Modell, um bestimmte Aufgaben im operativen Alltag zu erledigen. Ein Beispiel wäre die frühzeitige Unwuchterkennung an Maschinenelementen als KI-basierte Anomaliedetektion sowie das Koordinieren der Wartungstermine, um einen unerwarteten Maschinenstillstand zu vermeiden. Jede Anomalität wird der Steuerung über das SPS-Eingangsdatenbild angezeigt und erzeugt darüber hinaus eine optionale Meldung an ein übergeordnetes System. Der Anwender sorgt des Weiteren für ein Performance-Monitoring, um den Wirkungsgrad im Praxiseinsatz zu bestimmen und falls erforderlich durch ein erneutes Training in die Wege zu leiten. Ein Modell-Anwender wird des Weiteren per Schulung in die Lage versetzt, einfache Wartungsarbeiten auszuführen (z. B. Aufspielen eines neuen Installationspakets, Feststellen der Versionierung des jeweils installierten KI-Modells usw.).

Die Modellentwicklung und Erstinbetriebnahme eines KI-basierten Softsensors erfordert eine temporäre Remote-Entwicklungsumgebung (siehe „Inbetriebnahme-Box“ in Bild), um die Beteiligten untereinander zu vernetzten. In dieser Phase wird die Softwaresensor-Einheit in einem Testbed-Mode betrieben, um die zur Verfügung stehenden Rohdaten zu analysieren und das neuronale Netzwerk zu entwerfen.

Testen als Teamarbeit

KI-Modell-Entwickler und Integratoren werden die Modul- und Integrationstestaufgaben einer KI-basierten Softsensor-Endpunktentwicklung in der Regel zunächst einmal in den jeweiligen Entwicklungsumgebungen oder speziellen Laboren, nicht aber im tatsächlichen Anwendungsumfeld durchführen. Dadurch funktionieren viele Lösungen in der Installationsphase nicht wirklich optimal. Erforderlich ist auf jeden Fall eine intensive Feldtestphase in den Anwendungsumgebungen unter Einbeziehung des Anwenders und weiterer Experten mit dem erforderlichen Domänenwissen. Dafür sind spezielle Prozesse sowie kooperative und einfach zugängliche Testwerkzeuge erforderlich, die die zuvor beschriebenen Rollen berücksichtigen. Abbildung 1 liefern eine Übersicht zu den diversen Entwicklungsteilaufgaben inklusive Feldtest und Praxiseinsatz sowie ein Zuordnungsbeispiel hinsichtlich der jeweiligen Rollen.

In verschiedenen Praxisprojekten hat sich gezeigt, dass beispielsweise der KI-Architekt in der Regel bereits beim Start der Entwicklungsarbeiten einen (Fern-) Zugriff auf die tatsächliche Zielumgebung für den Sensoreinsatz benötigt. Das Fehlen dieser Zugriffsmöglichkeit hat in der Praxis häufig Auswirkungen auf Qualität und Effizienz, da dann ersatzweise Simulationswerkzeuge zum Einsatz kommen. Kontextbezogene Simulationsdaten zu IR/RGB-Bild-, LiDAR-, MEMS-Mikrofone sowie Beschleunigungs- und Vibrationssensoren mit einer IMU lassen sich zwar zum Entwurf und Training eines Embedded-KI-Modells nutzen. Im Praxisalltag versagen diese Modelle dann allerdings vielfach. Die Ursachen solcher Praxisprobleme sind unterschiedliche Umgebungsbedingungen und die damit verbundenen Störgrößen. Es empfiehlt sich daher schon beim Projektstart einer KI-basierten Sensorentwicklung eine Feldtest-taugliche „virtuelle Co-Entwicklungs- und Debugging-Umgebung“ in einem echten Anwendungsumfeld einzurichten und im Rahmen der Feldtests weitere Instanzen hinzuzufügen. Abbildung 2 illustriert ein Beispiel für einen Softsensor, der mit Hilfe eines KI-Modells eine Zielgröße für das Eingangsdatenbild einer SPS erzeugt.

Auf dem Automatisierungstreff 2025 (8. bis 9. April im WTZ-Tagungszentrum in Heilbronn) veranstaltet SSV Software Systems am 8. April den Anwender-Workshop „KI-basierte Sensorik als SPS-Erweiterung“.

Im zum Workshop gehörenden Hands-on werden zwei Beispiele von den Sensorrohdaten bis zum KI-Modell behandelt:

1. Eine Predictive-Maintenance-Erweiterung, um aus Vibrationsdaten KI-basiert den Verschleiß rotierender Komponenten zu bestimmen und eine vorausschauende Wartung zu realisieren.

2. Eine Machine-Vision-Anwendung, um per Bildsensor bestimmte Objekte auf einem Transportband automatisch zu erkennen und zu zählen (KI-basierte Objekterkennung). Den Teilnehmern wird aufgezeigt, dass durch den Einsatz passender Methoden und Werkzeuge das Erstellen eines KI-Modells in etwa so komplex ist, wie die Konfiguration einer vernetzten Anlage – also mit anderen Worten: Eine durchaus zu bewältigende Aufgabenstellung.

Mehr Informationen und Anmeldung