Perfekte Mensch-Maschine-Kooperation mit NeurOSmart

Robotertechnik, die nicht nur einfache Aufgaben ausführt, sondern den Menschen bei allen Aufgaben unterstützt, gehört zu den Schlüsseltechnologien in der industriellen Fertigung. Doch dafür müssen Roboter komplexe Bewegungsabläufe beherrschen, Befehle ausführen und dabei jederzeit Sicherheitsabstand zum Menschen halten. Diese Form der Zusammenarbeit zwischen Mensch und Maschine haben Fraunhofer-Forschende jetzt im Leitprojekt NeurOSmart ermöglicht.

Die Forschenden kombinieren mehrere Technologien: Ein Sensorsystem mit LIDAR-Laser, das den Arbeitsplatz von Mensch und Computer laufend überwacht. KI-gestützte Chips, die direkt am Sensorsystem die Signale auswerten; neuromorphe Chiptechnologie, die wie das menschliche Gehirn funktioniert und deshalb sehr energieeffizient arbeitet.

Am Projekt beteiligt waren neben dem Fraunhofer-Institut für Siliziumtechnologie ISIT auch das für Photonische Mikrosysteme IPMS, für Mikroelektronische Schaltungen IMS, für Werkzeugmaschinen und Umformtechnik IWU und für Intelligente Analyse- und Informationssysteme IAIS.

Koordiniert wurde NeurOSmart vom Fraunhofer ISIT. »Gemeinsam mit den Projektpartnern haben wir die Technologien weiterentwickelt und in ein Gesamtsystem integriert. Für den Menschen ist die Kooperation mit der Maschine ohne Risiko«, sagt Prof. Shanshan Gu-Stoppel, Gruppenleiterin Optische Systeme am Fraunhofer ISIT und Honorarprofessorin für Mikrotechnologie an der FH Westküste in Heide.

Sensorsystem mit LIDAR-Laser

Das Sensorystem überwacht aus der Vogelperspektive den Bereich, in dem sich Mensch und Roboter bewegen. Die Forschenden nutzen einen LIDAR-Laser (Light Detection and Ranging). Dieser Lasertyp sendet kurze Impulse im Nahinfrarot-Bereich und nutzt die Reflektionen für die 3D-Entfernungsmessung. Bewegliche MEMS-Spiegel (Micro-Electro-Mechanical Systems) schicken den Laser über die gesamte Arbeitsfläche und generieren ein hochauflösendes 3D-Bild. Den Forschenden ist es gelungen, Leistung und Energieeffizienz der Spiegel zu steigern. »Wir nutzen piezoelektrisches Aluminiumscandiumnitrid (AlScN) mit einer Schichtdicke von nur 1 Mikrometer für die MEMS-Spiegel«, erklärt Gu-Stoppel.

Ein zentrales Feature von NeurOSmart ist die direkte Integration der Datenverarbeitung in das Sensorsystem. Zunächst wird die große Menge an Bilddaten, die aufgrund des weiten Sichtfeldes des Sensors entsteht, vorverarbeitet. KI-gestützte Algorithmen, die vom Fraunhofer IMS entwickelt werden, bündeln die eingehenden Signale und erkennen die Bereiche in der Szene, die von besonderem Interesse sind. Dadurch kann der Sensor für die folgenden Analysen exakt ausgerichtet werden, was Leistung spart und die Datenrate senkt.

Neuromorphic Computing

Auch der nächste Schritt, die eigentliche Auswertung der Daten, die als Grundlage für die Steuerung des Roboters dient, findet direkt im Sensorsystem statt. Hier setzen die Forschenden des Fraunhofer IPMS unter Leitung von Prof. Thomas Kämpfe, Geschäftsfeldleiter am Center Nanoelectronic Technologies, auf das Konzept Neuromorphic Computing. Sie haben einen speziellen Beschleuniger-Chip entwickelt. Der Prozessor besteht aus vielen kleinen Recheneinheiten, die auf einem Wafer in einer Matrix zusammengeschaltet werden. Jeder Chip agiert als »denkende Zelle« und trifft eigene Entscheidungen. Die Technologie orientiert sich an der Arbeitsweise des menschlichen Gehirns - daher der Begriff Neuromorphic Computing.

Die dafür erforderlichen, hochspezialisierten KI-Modelle werden dabei durch das Fraunhofer IAIS entwickelt. Vom Empfang der Signale über die Auswertung bis zur mechanischen Reaktion des Roboterarms vergehen nur wenige Millisekunden. Dies ermöglicht eine sichere Kooperation auch mit Schwerlastrobotern, welche durch die KI langsamer geschaltet oder gestoppt werden, wenn ein Mensch zu nahekommt. Dank Simulation der gesamten Roboterzelle konnte das Fraunhofer IAIS dabei Gefahrensituationen für das Training simulieren, die in echt nicht nachstellbar sind.

»Neuromorphic Computing ist ein großer Schritt hin zu einer Hardware-Architektur, die ressourcenintensive KI-Anwendungen nicht nur schnell, sondern auch sehr energiesparend abarbeitet«, sagt Thomas Kämpfe. Fraunhofer-ISIT-Forscherin Gu-Stoppel ergänzt: »Die Technologien von NeurOSmart machen die industrielle Produktion nicht nur agiler und effizienter, sie machen die Fabrikhalle für alle Mitarbeiterinnen und Mitarbeiter zu einem sicheren, kreativen und menschenfreundlichen Ort.«

Maßgeschneiderte Anwendungen für die Industrie

Die Komponenten und Techniken von NeurOSmart bilden eine standardisierte Technologieplattform. Industriekunden könnten für ihr individuelles Szenario jeweils eigene Anwendungen aufbauen. Die energieeffizienten Technologien von NeurOSmart mit den daraus folgenden längeren Akkulaufzeiten könnten in Zukunft auch in Drohnen oder bei Sensorsystemen in der Landwirtschaft zum Einsatz kommen.

Projektziel:
Sensornahe Datenverarbeitung mit hoher Leistung und Energieeffizienz

Anwendungen:
Robotersysteme, mobile Systeme

Projektpartner:
Fraunhofer-Institut für
Siliziumtechnologie ISIT
Projektkoordination, Entwicklung von piezo- und ferroelektrischen Materialien, MEMS-Spiegel

Fraunhofer-Institut für
Photonische Mikrosysteme IPMS
High-Performance-Chips (HPC), Speichertechnologien

Fraunhofer-Institut für
Mikroelektronische Schaltungen IMS
KI-gestützte Datenvorverarbeitung, Systemintegration, Sensorsystem mit
LIDAR-Laser

Fraunhofer-Institut für
Werkzeugmaschinen und Umformtechnik IWU
Evaluation des neuartigen Sensorsystems im Anwendungsszenario
Mensch-Roboter-Kollaboration

Fraunhofer-Institut für
Intelligente Analyse- und Informationssysteme IAIS
Entwicklung von hocheffizienten, für das Deployment von auf neuromorpher Hardware spezialisierten KI-Modellen zur Personenerkennung

• Fraunhofer-Leitprojekt NeurOSmart (neurosmart.fraunhofer.de)