Empathische Montageassistenz |
Assistenzsysteme zwischen KI-basierter Datenanalyse und empathischen Digitalen Zwillingen
| Zeitschrift | Industry 4.0 Science |
| Ausgabe | 41. Jahrgang, 2025, Ausgabe 5, Seite 6-13 |
| Open Access | https://doi.org/10.30844/I4SD.25.5.6 |
| Literatur | Teilen | Zitieren | Download |
Abstract
Keywords
Artikel
Das Umfeld produzierender Unternehmen in Deutschland ist von Herausforderungen wie dem demografischen Wandel, stagnierender Arbeitsproduktivität und hochdynamischen Absatz- und Beschaffungsmärkten geprägt. Um Unternehmen bei der Bewältigung der daraus resultierenden Anforderungen zu unterstützen, hat Fraunhofer das Leitprojekt EMOTION gestartet. EMOTION zielt darauf ab, die Resilienz von Industrieunternehmen durch den Einsatz von empathischen technischen Systemen für die Produktion (zum Beispiel für die Montageassistenz) zu stärken [1].
EMOTION beruht auf der Annahme, dass Empathie die Zusammenarbeit fördert und somit zu mehr Flexibilität und Resilienz führt. Empathische technische Systeme werden als Erweiterung kognitiver technischer Systeme betrachtet. Durch eine solche Erweiterung können kognitive technische Systeme ihre Umgebung wahrnehmen, Entscheidungen treffen und handeln. Darüber hinaus erkennen empathische technische Systeme die Intentionen anderer menschlicher sowie technischer Akteure und können dieses Wissen nutzen, um empathisch zu reagieren. Empathische Reaktionen müssen nicht altruistisch, sondern können auch egoistisch oder dazwischen sein.
Empathische technische Systeme können zwar Zustand und Intention anderer Akteure berücksichtigen, aber keine menschlichen Emotionen erkennen – dies entspricht sowohl ethischen Überlegungen als auch den Vorschriften des Gesetzes über künstliche Intelligenz (KI-Verordnung) des Europäischen Parlaments und des Rates der Europäischen Union [2].
In diesem Artikel wird das Konzept eines digitalen Assistenzsystems vorgestellt, das auf einem empathischen digitalen menschlichen Zwilling sowie künstlicher Intelligenz für die Analyse von Produktionsprozessdaten basiert. Gerade in der manuellen Montage besteht ein hohes Potenzial für den Einsatz technischer Empathie zur Unterstützung von Menschen. Zudem fällt ein hoher Anteil der Herstellungskosten eines Produkts in dieser Prozessphase an. Die manuelle Montage ist häufig notwendig, wenn komplexe, möglicherweise kundenspezifische Güter in kleinen Stückzahlen hergestellt werden – ein Kerngeschäft vieler deutscher Industrieunternehmen. Durch den Einsatz eines Assistenzsystems könnten Qualität und Flexibilität der manuellen Montagearbeit gesteigert und gleichzeitig Kosten gesenkt werden. Dies kann durch geeignete Überwachung, Feedback- und Informationsbereitstellung sowie unterstützende Funktionen, beispielsweise in der Analyse, erreicht werden.
Der Artikel ist wie folgt aufgebaut: Zunächst wird der aktuelle Stand der Technik von Montageassistenzsystemen, einschließlich digitaler Zwillinge, vorgestellt. Anschließend wird ein empathisches Montagesystem konzipiert und dann dessen Realisierung und erste Erkenntnisse aus der Anwendung mittels eines Funktionsprototypen beschrieben. Der Beitrag endet mit einer Diskussion und einem Ausblick auf zukünftige Arbeiten.
Konventionelle Technologien in der Montageassistenz
Assistenzsysteme kommen in Situationen zum Einsatz, in denen die Leistungsanforderungen einer Aufgabe und die Fähigkeiten oder Kapazitäten der Mitarbeiter nicht übereinstimmen [3, 4]. Typischerweise erfassen diese Systeme die erforderlichen Daten aus ihrer Umgebung, verarbeiten sie intern und präsentieren die Informationen dann dem Mitarbeiter über eine Schnittstelle. Der Mitarbeiter wiederum nimmt diese Informationen auf, interpretiert sie kognitiv und gibt über entsprechende Eingabegeräte Feedback [4].
Assistenzsysteme können in allen Bereichen eines Unternehmens eingesetzt werden, von Produktion und Montage bis hin zur Wartung und Logistik [5]. Ein primäres Ziel von Assistenzsystemen ist es, Benutzern schnelle und genaue Entscheidungen zu ermöglichen und so die Effizienz des Unternehmens zu steigern [6]. In der manuellen Montage werden kognitive Assistenzsysteme hauptsächlich zur Übermittlung von Arbeitsanweisungen, Teilekatalogen, technischen Zeichnungen und anderen wichtigen Informationen eingesetzt. Darüber hinaus können solche Assistenzsysteme Arbeitsprozesse dokumentieren, die Genauigkeit der Aufgabenausführung überwachen und die Mitarbeiter bei Abweichungen alarmieren [7].
Durch die Verknüpfung von Assistenzsystemen mit physischen Entitäten können diese auf deren physische Zustände reagieren und gezielt unterstützen. Dabei werden digitale Zwillinge der zugehörigen Entitäten genutzt. Digitale Zwillinge werden hier als informationstechnologische Repräsentationen realer Objekte verstanden, die den Informationsaustausch zwischen dem physischen Objekt und seiner Abbildung in der digitalen Welt ermöglichen [8]. Diese Abbildung in der digitalen Welt ermöglicht die Planung, Überwachung und Steuerung des Objekts mittels Software. Zu diesem Zweck besteht ein digitaler Zwilling meist auch aus einem oder mehreren Softwareelementen, die Modelle und Algorithmen zugänglich machen.
Klassische digitale Modelle des Menschen, die aus Ansätzen und Werkzeugen der Digitalen Fabrik stammen, sind anthropometrisch und dienen insbesondere der Ergonomie. Für weiterführende Schlussfolgerungen sind sie jedoch zu begrenzt und müssen erweitert werden. Lin et al. stellen ein anwendungsunabhängiges Rahmenwerk für digitale menschliche Zwillinge vor [9]. Dazu unterscheiden sie zwischen externen Daten des Menschen, physiologischen Daten, Verhaltensdaten, Daten zur sozialen Interaktion zwischen Menschen sowie Daten zur Umgebung des Menschen. Sie führen zwei zentrale Modelle im Bereich des digitalen menschlichen Zwillings ein: das Modell des menschlichen Körpers bzw. der menschlichen Organe und das Modell des menschlichen Verhaltens. Während der Zustand des Menschen von Lin et al. adressiert wird, werden Wirkungszusammenhänge und Absichten nur am Rande erwähnt.
Kognitive digitale Zwillinge werden als Erweiterungen digitaler Zwillinge betrachtet [10]. Diese Erweiterungen beziehen sich auf kognitive Fähigkeiten wie Wahrnehmung zur Bildung einer (internen) Repräsentation, Aufmerksamkeit zur Fokussierung, Gedächtnis als Arbeits- und Langzeitgedächtnis, Schlussfolgern zur Ableitung von Erkenntnissen, Problemlösen zur Zielerreichung sowie Lernen als Grundlage von Weiterentwicklung. Eine Kombination aus Wissensgraphen und künstlicher Intelligenz kann für die Realisation eines selbstlernenden digitalen Zwillings im Bereich der Produktionssysteme verwendet werden [11].
Die identifizierten Systeme nutzen Informationen und Erkenntnisse über den Zustand des betreffenden Akteurs, im vorliegenden Fall des Mitarbeiters, berücksichtigen jedoch nicht dessen Intention. Damit schöpfen sie das Potenzial für kooperativere Assistenzfunktionen, die nach den Prämissen des EMOTION-Projekts zu einer erhöhten Resilienz des resultierenden Produktionssystems führen könnten, nicht aus. Potenziell hilfreiche Funktionen von Assistenzsystemen für Mitarbeitende umfassen unter anderem Qualitätsüberwachung mit entsprechendem Feedback und Analysen, geeignete Informationsbereitstellung und Fertigungsauftragsplanung.
Dieser Artikel adressiert insbesondere die Frage „Wie kann ein empathisches Montageassistenzsystem konzipiert und realisiert werden?“ Dazu wird im Folgenden ein empathischer digitaler Zwilling als digitale Repräsentation eines Akteurs in der realen Welt, in unserem Fall eines Menschen, mit bidirektionalem Informationsfluss zwischen ihnen betrachtet. Ein derartiger empathischer digitaler Zwilling kann in Bezug auf Zustand und Intention des Akteurs schlussfolgern und auf dieser Grundlage über seine Aktionen bzw. Reaktionen entscheiden.
Erste Schritte in Richtung empathischer Montageassistenz
Das entwickelte Montageassistenzsystem berücksichtigt sowohl den Mitarbeitenden als auch den Arbeitsprozess.
Zur Berücksichtigung des Mitarbeiters wird ein digitaler Zwilling eingesetzt. Dieser Zwilling benötigt Informationen über den Mitarbeiter und seinen Zustand. Er muss Schlussfolgerungen ziehen, in Bezug auf seine Aktionen entscheiden, agieren bzw. Aktivitäten triggern und Informationen mit anderen Softwaresystemen austauschen können. Daher besteht der vorgeschlagene digitale Zwilling aus Elementen zur Wahrnehmung, zur Realisierung kognitiver Fähigkeiten, zum Handeln und zur Vernetzung und kann als modulares Softwaresystem betrachtet werden, das auf der Grundlage der kognitiven Fähigkeiten der Software über den Zustand des Arbeiters und seine Absichten Schlussfolgerungen ziehen kann. Damit könnte der vorgeschlagene digitale Zwilling eine Grundlage für einen empathischen digitalen Zwilling des Menschen bilden.
Zur Unterstützung kognitiver Fähigkeiten, wie etwa des Ziehens von Schlussfolgerungen, ist eine Ontologie im Sinne eines semantischen Datenmodells naheliegend. Wesentliche Teile dieses Modells werden in den nächsten Abschnitten beschrieben. Sensorik ermöglicht die Wahrnehmung des Akteurs sowie seiner Umgebung, die durch die ausgeführten Handlungen beeinflusst werden kann. Erste Beispiele für eine generische Wahrnehmungskette und mögliche Maßnahmen werden später im Text gegeben.
Um den Arbeitsprozess, in diesem Fall einen Schraubvorgang, zu erfassen, werden Daten von einem Funk-Akkuschraiber über Message Queuing Telemetry Transport (MQTT) an das Softwaresystem übertragen. Die Daten werden von einem KI-Modul analysiert und in einer Zeitreihendatenbank gespeichert. Die Ergebnisse der Analyse werden dann dem Mitarbeiter auf einem Dashboard visualisiert. Über einen Adapter zwischen der Zeitreihendatenbank und dem digitalen Zwilling können Daten über den Schraubvorgang, seine Klassifizierung, den zugehörigen Zustand der Schraubverbindung und den Mitarbeiter zwischen den Software-Subsystemen übertragen werden.
Dies ermöglicht einerseits die Weiterverarbeitung und Interpretation der zugehörigen Informationen durch den digitalen Zwilling und andererseits die Darstellung der Ergebnisse im Dashboard für den Mitarbeiter. Die daraus resultierende Architektur ist in Bild 1 dargestellt.
Um die Kopplung der Softwaremodule des Assistenzsystems zu realisieren, wird ein übergreifendes semantisches Datenmodell verwendet. Dieses semantische Datenmodell ist eine modulare Ontologie, die auf bekannten Basisontologien aufbaut und aus Teilen zur Modellierung von Menschen und der Montagedomäne, insbesondere im Hinblick auf Schraubprozesse und damit verbundene Fehler, besteht. Darüber hinaus können Softwaremodule die semantischen Möglichkeiten des ontologiebasierten Ansatzes wie Zusammenhänge zwischen Konzepten und damit Daten und das Ziehen Schlussfolgerungen nutzen.
Um empathische digitale Zwillinge zu ermöglichen, ist auch die Modellierung von Menschen und damit eine entsprechende Teilontologie erforderlich. Diese soll sowohl körperliche bzw. physiologische Aspekte als auch verhaltensbezogene, soziale und psychologische Perspektiven abdecken. Als Ausgangspunkt für ein solches Modell bietet sich das klassische Belastungs-Beanspruchungs-Modell aus der Arbeitswissenschaft an. Das klassische Modell und damit auch die semantische Umsetzung basieren auf der Prämisse, dass arbeitsbedingte Belastungen aus der Arbeitsaufgabe, dem Arbeitsumgebung, der Arbeitsorganisation und dem sozialen Klima auf individuelle Beanspruchungen der Mitarbeiter unter Berücksichtigung deren Ressourcen resultieren. Diese wirken sich wiederum auf den Zustand der Ressourcen des Individuums aus. Zu diesen Ressourcen zählen Qualifikationen sowie physiologische und psychologische Eigenschaften und ein arbeitsbezogener Zustand, der Verfassung und Verhaltenstendenzen wie Ermüdung umfasst.
Da die mitarbeiterorientierte Ontologie Merkmale enthält, die nicht eindeutig messbar sind, wurde ein EMOTION-Merkmal definiert, das zusätzlich zu Skalaren und den Einheiten der „Quantities, Units, Dimensions, and Types (QUDT)” Ontologie [12] der National Aeronautics and Space Administration (NASA) auch linguistische Variablen im Sinne der Theorie der unscharfen Mengen darstellen kann.
Für die Sensorik wurden zunächst generische Toolketten zur Erfassung der Körperhaltung des Mitarbeiters eingerichtet. Die Erkennung der Körperhaltung des Arbeiters kann zur Analyse der Ergonomie quasi in Echtzeit und zur softwaretechnischen Beurteilung von Körperhaltungen, die auf Ermüdung hindeuten, verwendet werden, sodass Rückschlüsse auf den arbeitsbezogenen Zustand des Mitarbeiters gezogen werden können. Zu diesem Zweck wurde unter Verwendung von Open-Source-Software und Standardhardware eine Toolkette implementiert. Als Software wurde Lightweight OpenPose, eine Open-Source-Softwarebibliothek, die auf dem bekannten OpenPose-Framework [13] basiert und eine schnelle Erkennung der Körperpose von Menschen in PyTorch ermöglicht, eingesetzt.
Das Ergebnis ist ein System, das auf einem Laptop, oder sogar einem Einplatinencomputer wie einem Raspberry Pi, mit einer Webcam ausgeführt werden kann. Folglich sind keine teuren KI-Geräte oder speziellen Tiefenkameras erforderlich. Die erkannten Posen werden in das semantische Datenmodell übertragen und können beispielsweise auf Basis der RULA-Methode [14] weiter analysiert werden.
Demonstrator des Montageassistenzsystems
Die konzeptionelle Arbeit wurde anhand des in Bild 2 dargestellten Demonstrators als Funktionsprototypen umgesetzt. Der Montageplatz ist ein Steharbeitsplatz mit einem Monitor, der in ergonomischer Augenhöhe positioniert ist, um die Schraubendatenkurven bei Bedarf anzuzeigen, während Auswertungsergebnisse und Empfehlungen des Assistenzsystems ebenfalls auf dem Monitor oder auf zusätzlichen Benutzungsschnittstellen wie Tablets angezeigt werden können.
Das entwickelte Assistenzsystem verwendet einen Funk-Akkuschrauber, der Prozessdaten wie Drehmoment und Drehwinkel erfasst. Die Daten werden an ein vortrainiertes Clustering-KI-Modell übertragen, das sie anschließend in vorgegebene Kategorien klassifiziert. Anhand der resultierenden Messkurven ermittelt das System den verwendeten Schraubentyp, die Anzahl der Schraubvorgänge und ob Unterlegscheiben verwendet wurden. Anschließend identifiziert es anhand vordefinierter Klassifizierungskriterien Abweichungen wie fehlerhaftes Einsetzen der Schrauben, Verwendung minderwertiger Schrauben oder fehlende/unsachgemäße Montage von Unterlegscheiben und gibt im nächsten Schritt entsprechende Korrekturanweisungen.
Bild 3 zeigt Schraubkurven für das Lösen einer Schraubverbindung (a) links mit einem nahezu feststehenden Schraubendreher und (b) rechts mit einem nachgebenden Schraubendreher aufgrund unzureichender Haltekraft, was als Indikator für Ermüdung des Mitarbeiters interpretiert werden kann. In den Diagrammen stellt die X-Achse den Schraubwinkel und die Y-Achse das Schraubdrehmoment dar.
Bei einem fehlerhaften Schraubvorgang gibt das System über das Display eine visuelle Rückmeldung. Darüber hinaus lassen sich anhand der inhärenten Eigenschaften der Prozessdaten Rückschlüsse auf mögliche Fehlerursachen oder Fehlertypen ziehen. Fehlertypen sind mit bestimmten arbeitsbezogenen Zuständen wie Ermüdung verknüpft und basieren auch auf Daten aus dem digitalen Zwillingsmodell, wie beispielsweise der erfassten Körperhaltung.
Zusätzlich zeigt eine Signalleuchte mit breitem Farbspektrum den aktuellen Zustand des Mitarbeiters an und gibt entsprechende Vorschläge zur Besserung des Zustands an, beispielsweise Pausenempfehlungen. Um ein einheitliches Datenmodell zu erstellen, das Menschen, Maschinen, Produkte und Fabriken umfasst, liegt der Schwerpunkt der Erweiterungen zunächst auf Fehlertypen und arbeitsbezogenen Zuständen in der manuellen Montage, um das im vorigen Kapitel beschriebene generische semantische Modell auf den Anwendungsfall auszuweiten.
Erste Ergebnisse
Empathische technische Systeme erweitern kognitive technische Systeme, indem sie die Intention von Akteuren zusätzlich zu deren Zustand berücksichtigen. Dies eröffnet Möglichkeiten für die Zusammenarbeit zwischen technischen Systemen und Menschen. Durch die Kombination von Technologien, wie einem vernetzten Akkuschrauber, einer KI-basierten Analyse der zugehörigen Schraubprozessdaten, einer Auswertung der Körperhaltung des Menschen und einem erweiterten digitalen Zwilling mit semantischen Schlussfolgerungsfähigkeiten kann eine neue Art von Montageassistenzsystem realisiert werden.
Das resultierende System wurde mit einem Funktionsprototypen anhand eines Demonstrators implementiert. Dieser zeigt die Grundfunktionalität des Systems und seiner Komponenten. Teile des Systems, wie beispielsweise die, die Mitarbeiter betreffen, sind generisch, während andere Teile spezifisch für Schraubtätigkeiten sind.
Der Beitrag eines empathischen Assistenzsystems für die manuelle Montage zur Bewältigung der Herausforderungen von Unternehmen ist begrenzt, kann jedoch in den Bereichen Qualität und Produktivität liegen, da ein solches System besser auf den einzelnen Mitarbeiter und seine Situation eingehen kann.
Aktuell wird eine Studie durchgeführt, um den Einsatz des Demonstrators bei Schraubaufgaben und dessen Akzeptanz durch Mitarbeiter, auch quantitativ, zu analysieren. Auf dieser Grundlage werden die Assistenzfunktionen sowie die empathischen Aktionen und Reaktionen des Systems weiterentwickelt und ergänzt. Wenn zukünftige Arbeiten die Erkennung von Emotionen umfassen, was zu einer Steigerung der empathischen Fähigkeiten des resultierenden Softwaresystems führen kann, müssen ethische und regulatorische Aspekte, wie beispielsweise die KI-Verordnung, berücksichtigt werden.
Dieser Artikel entstand im Rahmen des Fraunhofer-Leitprojekts „Empathische technische Systeme für resiliente Produktion – EMOTION” und wurde mit internen Mitteln gefördert.
Dies ist die deutsche Version des englischen Originalbeitrags mit der DOI: 10.30844/I4SE.25.5.6
Literatur
[1] Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V.: Empathische technische Systeme für die resiliente Produktion – EMOTION. URL: https://www.fraunhofer.de/de/forschung/fraunhofer-initiativen/fraunhofer-leitprojekte/emotion.html, aufgerufen am 04.06.2025.[2] Official Journal (OJ) of the European Union: Artificial Intelligence Act (Regulation (EU) 2024/1689), Official Journal version of 13 June 2024, URL: https://eur-lex.europa.eu/eli/reg/2024/1689/, abgerufen am 04.06.2025.
[3] Li, D.; Mattson, S.; et al.: Forming a cognitive automation strategy for Operator 4.0 in complex assembly. In: Procedia Manufacturing 25 (2018), S. 628-635.
[4] Yang, X; Plewe, D.: Assistance Systems in Manufacturing. A systematic review, In: Schlick, C.; Trzcieliński, S. (Hrsg.): Advances in Ergonomics of Manufacturing: Managing the Enterprise of the Future. Advances in Intelligent Systems and Computing, Band 490. Cham 2016.
[5] Schumacher, S.; Pokorni, B.; et al.: Conceptualization of a Framework for the Design of Production Systems and Industrial Workplaces. In: Procedia CIRP 91 (2020), S. 176-181.
[6] Gorecky, D.; Schmitt, M.; et al.: Human-machine-interaction in the industry 4.0 era. In: Proceedings of the 12th IEEE International Conference on Industrial Informatics. New York 2014.
[7] Hinrichsen, S; Bornewaser, M.: How to Design Assembly Systems. In: Karwowski, W.; Ahram, T. (Hrsg.): Intelligent Human Systems Integration 2019. IHSI 2019. Advances in Intelligent Systems and Computing. Cham 2019.
[8] Fuller, A.; Fan, Z.; et al.: Digital Twin: Enabling Technologies, Challenges and Open Research. In: IEEE Access 8 (2020), S. 108952-108971.
[9] Lin, Y.; Chen, L.; et al.: Human digital twin: a survey. In: Journal of Cloud Computing 13 (2024) 1, S. 131.
[10] Al Faruque, M. A.; Deepan M.; et al.: Cognitive Digital Twin for Manufacturing Systems. In: 2021 Design, Automation & Test in Europe Conference & Exhibition (DATE). New York 2021.
[11] Höpken, W.; Stetter, R.; et al.: Digitaler Zwilling mittels semantischer Modellierung und KI. In: Industry 4.0 Science 41 (2025) 2, S. 30-36.
[12] FAIRsharing.org: QUDT; Quantities, Units, Dimensions and Types, URL: https://www.qudt.org/, auferufen am 04.06.2025.
[13] Cao, Z.; Hidalgo, G.; et al.: OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. In: IEEE Transactions on Pattern Analysis and Machine Intelligence 43 (2021) 1, S. 172-178.
[14] McAtamney, L.; Corlett, N.: RULA: a survey method for the investigation of work-related upper limb disorders. In: Applied Ergonomics 24 (1993) 2, S. 91-99.
Ihre Downloads
Potenziale: Innovation
Lösungen: Montage Produktionssteuerung
Das könnte Sie auch interessieren
