Immersive Digitale Zwillinge des Menschen in Industrie 4.0 |
Integration physischer und kognitiver Zustände für die adaptive Produktion
| Zeitschrift | Industry 4.0 Science |
| Ausgabe | 42. Jahrgang, 2026, Ausgabe 3, Seite 6-13 |
| Open Access | https://doi.org/10.30844/I4SD.26.3.1 |
| Literatur | Teilen | Zitieren | Download |
Abstract
Keywords
Artikel
Industrie 4.0 hat die Fertigung und den industriellen Betrieb durch Automatisierung, Künstliche Intelligenz und intelligente Sensorik erheblich verbessert. Die virtuelle Nachbildung physischer Entitäten zur Schaffung sogenannter Digitaler Zwillinge [1] ist zu einem wesentlichen Bestandteil dieser Transformation geworden. Die Anwendungsfälle von Digitaler Zwillinge waren jedoch bislang begrenzt und konzentrierten sich auf Maschinen, Werkzeuge und Prozesse.
Die meisten industriellen Systeme sind nach wie vor grundlegend auf den Menschen angewiesen, was die Überwachung, Entscheidungsfindung und manuelle Anpassung als Reaktion auf unvorhergesehene Ereignisse betrifft. Da bestehende DTs menschliche Dynamiken, kognitive Zustände und Variabilität selten erfassen, basieren Automatisierung und Simulation auf der Annahme einer fehlerfreien Ausführung durch einen menschlichen Mitarbeiter. Leider ist dies nicht immer der Fall, da der menschliche Mitarbeiter unter kognitiver Belastung, Stress oder Ermüdung leiden kann. Um diese Probleme zu mindern, ist es unerlässlich, die DT-Plattform auf den Menschen auszuweiten.
Mit diesem Ziel vor Augen können menschliche Digitale Zwillinge das menschliche Paradigma in die digitale Welt übertragen, um eine menschenzentrierte Automatisierung zu erreichen [2–3]. Dieser Artikel stellt ein immersives Framework für menschliche Digitale Zwillinge vor, das branchenübergreifend angepasst werden kann. Wir bilden sowohl die physischen als auch die kognitiven Merkmale der menschlichen Dynamik in einer immersiven Plattform ab, die zu umfangreicheren Automatisierungs- und Simulationsaufgaben fähig ist.
Grenzen der aktuellen menschlichen Modellierung in der Industrie
Trotz der wachsenden Anerkennung menschenzentrierter Aufgaben in der Industrie 4.0 sind die meisten Modelle des Menschen für die Offline-Analyse und die Bewertung nach Abschluss der Aufgabe konzipiert. Infolgedessen versäumen sie es, die kontinuierliche Echtzeit-Interaktion zwischen menschlichen Bedienern, Maschinen und der Umgebung zu erfassen. Mit begrenzter Unterstützung für Entscheidungsfindung, Personalisierung und prädiktive Risikobewertung sind diese Modelle äußerst ineffizient [4]. Die folgenden Einschränkungen motivieren die Entwicklung der in diesem Artikel vorgestellten integrierten, adaptiven und prädiktiven Darstellung des menschlichen Bedieners.
Statische und generische Menschmodelle
Traditionelle ergonomische Bewertungen stützen sich auf statische anthropometrische Tabellen, regelbasierte Haltungsanalysen (z. B. RULA, REBA) oder vereinfachte biomechanische Modelle. Diese Ansätze basieren auf einem imaginären „Durchschnittsarbeiter“ und erfassen daher weder interindividuelle Variabilität noch Anpassungen im Laufe der Zeit oder vorübergehende physiologische Zustände.
Reaktive statt prädiktive Sicherheit
Die meisten Sicherheitssysteme reagieren erst, wenn ein bestimmter Schwellenwert überschritten wird (z. B. übermäßige Kraftanwendung, unsichere Körperhaltung). Ohne prädiktive Menschenmodelle bleibt die Frühwarnung vor Ermüdung, kognitiver Überlastung oder Verletzungsrisiko begrenzt.
Fragmentierte Sicht auf den menschlichen Zustand
In der industriellen Überwachung werden physische, kognitive und emotionale Faktoren oft getrennt betrachtet. Wenn überhaupt, werden tragbare Sensoren selten in ein einheitliches Modell integriert, das Physiologie, Bewegung und Aufgabenkontext miteinander verknüpft.
Immersiver menschlicher Digitaler Zwilling
Obwohl die Debatte über den Mindestumfang an Daten, die jeder menschliche Digitale Zwilling enthalten sollte, weitergeht, haben sich Forscher auf einen Entwurf geeinigt, der die Gegenwart und Zukunft menschlicher digitaler Zwillinge definiert. Es wird eine fünfstufige Roadmap vorgeschlagen, die den Entwicklungsstand des menschlichen digitalen Zwillings im Einsatz angibt [5].
Bild 1 veranschaulicht die Anwendung dieser Roadmap im Einklang mit unserer Studie. Die erste physische Entitätsebene stellt den Menschen und das Datenerfassungsmedium dar. In dieser Ebene werden physiologische Daten erfasst, die als Eingabe für einen menschlichen Digitalen Zwilling der Stufe 1 dienen. In dieser Phase des menschlichen Digitalen Zwillings ist eine detaillierte Datenanalyse auf der Grundlage vergangener Daten möglich. Da sich diese Phase darauf konzentriert, herauszufinden, welche Indikatoren bestimmte Ergebnisse auslösen, wird ein menschliches Digitales Zwillingssystem dieser Stufe als „querschnittlicher menschlicher Digitaler Zwilling“ bezeichnet.
Mit den Ergebnissen des Digitalen Zwillings des Menschen der Stufe 1 und unter Einbeziehung historischer Daten ist es auf Stufe 2 möglich, ein Vorhersagemodell zu trainieren, das zukünftige Datenpunkte prognostizieren kann. Daher wird es als deduktiver Digitaler Zwilling des Menschen bezeichnet. Ein Digitaler Zwilling des Menschen der Stufe 3 wird dann als editierbarer Digitaler Zwilling des Menschen bezeichnet, da die Modellfähigkeiten in dieser Phase über eine einfache Simulation hinausgehen. In dieser Phase kann das menschliche Digital-Twin-Modell auf modifizierten Daten ausgeführt werden, was weitere menschliche Eingriffe und die Simulation von Szenarien mit unbekannten Daten ermöglicht.
Diese Studie erstreckt sich nur bis zum menschlichen Digitalen Zwilling der Stufe 3. Ein Sprung über diese Stufe hinaus erfordert die Berücksichtigung des menschlichen Lebensstils und weiterer Umgebungsvariablen, wie z. B. Ernährungsgewohnheiten oder Lebensbedingungen. Da hierfür auch evolutionäre Daten berücksichtigt werden, wird das Modell in dieser Phase als evolutionärer menschlicher Digitaler Zwilling bezeichnet.
Schließlich ist es auf Stufe 5 das Ziel, einen White-Box- oder einen erklärbaren menschlichen Digitalen Zwilling zu erreichen. Leider schränkt die derzeitige technologische Infrastruktur die Realisierung eines erklärbaren menschlichen digitalen Zwillingsmodells ein. Es wird jedoch erwartet, dass zukünftige technologische Fortschritte und ausgefeiltere Eingabedaten die größere Rechenkapazität ermöglichen, die erforderlich ist, um Stufe 5 zu erreichen.
Multimodale Datenerfassung
Eine der größten Herausforderungen, die menschliche Digitale Zwillinge von anderen Digitalen Zwillingen unterscheidet, ist die Integration multimodaler Daten, die aus verschiedenen Sensormodalitäten stammen [6–7]. Angesichts der Komplexität menschlicher Bewegungsabläufe ist es nicht möglich, menschenzentrierte Daten mit einer einzigen Art von Datenquelle angemessen abzubilden. Vielmehr erfordert die vollständige Erfassung der komplexen Beziehungen zwischen menschlichen Daten und kontextuellen Umweltfaktoren einen Datenstrom aus verschiedenen Modalitäten (Kinematik, Biometrie usw.).
Bild 2 veranschaulicht die verschiedenen in diesem Artikel untersuchten Datenmodalitäten und die möglichen Ebenen der Datenfusion. Der Grad der Fusion hängt von der Integrationstechnik ab [8]. Diese Integration schafft den Mechanismus zur Synchronisierung und Fusion der heterogenen Dateneingaben zu einer einzigen Darstellung.
Die verschiedenen Datenmodalitäten in einem menschlichen Digital-Twin-System beginnen typischerweise mit Metadaten. Metadaten repräsentieren im Allgemeinen historische Daten (Krankheiten, bekannte Zustände usw.) über die menschliche Entität sowie grundlegende Merkmale (Alter, Größe, Gewicht usw.). Je nach Zwilling können menschliche Digitale Zwillinge physiologische, kinematische, umweltbezogene und verhaltensbezogene Daten umfassen. Obwohl die Anzahl der Datenmodalitäten variiert und vom Zweck des Zwillings abhängt, sollten alle menschlichen Digitaler-Zwilling-Systeme einem geeigneten Datenintegrationsmedium folgen, um das System miteinander zu vernetzen.
Es gibt mehrere rechnerische Ansätze, um dies zu erreichen, wie in Bild 2 erläutert, beginnend mit einer Low-Level-Fusionstechnik, bei der Rohdatenströme unmittelbar nach der Vorverarbeitung auf Eingabeebene zusammengeführt werden. Auf der mittleren Fusionsebene werden Merkmale aus einzelnen Datenmodalitäten extrahiert, bevor die Daten fusioniert werden. Dieser Ansatz ermöglicht die Extraktion eigenständiger Merkmale einzelner Modalitäten.
Schließlich werden auf hoher Ebene unterschiedliche Daten aus jeder Modalität separat verarbeitet und trainiert. Der Einsatz von Deep-Learning-Architekturen wie neuronalen Netzen, Transformer-basierten Modellen [9–10] und Ensemble-Lernmethoden hat gezeigt, dass sie in der Lage sind, die zeitliche Abhängigkeit [11] und die nichtlinearen Beziehungen zwischen heterogenen Datenmodalitäten zu erfassen.
Durch die Zusammenführung der Daten in einem einheitlichen Rahmen können Digitale Zwillingsmodelle des Menschen theoretisch die Grenzen isolierter Erfassungssysteme überwinden. Sobald die multimodale Datenintegration erreicht ist, wird es möglich, digitale Entsprechungen zu implementieren, die die dynamische, vernetzte und multidimensionale Natur des Menschen widerspiegeln. Für unsere Studie haben alle Teilnehmer die erforderliche Einverständniserklärung abgegeben, und eine IRB-Genehmigung für die menschenzentrierte Datenerhebung wurde am 23. Januar 2024 unter der Genehmigungsnummer 24-01-01 von der IRB der Universität des Saarlandes erteilt.
Systemarchitektur des menschlichen Digitalen Zwillings
Der Systemaufbau für den menschlichen Digitalen Zwilling umfasst Datenströme, die über mehrere Geräte unterschiedlicher Modalitäten erfasst werden (Bild 3). Die Datenerfassungspipeline besteht aus vier Hauptkategorien kontaktbasierter und kontaktloser Geräte:
- Tragbare kapazitive Sensoren, die in die Hexoskin Smart Vest integriert sind, um physiologische Signale des menschlichen Körpers zu erfassen, darunter das Elektrokardiogramm (EKG) und die Atemdynamik.
- Ein Paar StretchSense-Handschuhe [12] zur Erfassung feinkörniger biomechanischer Bewegungen der menschlichen Hände, einschließlich Beugung, Winkel und Drehung der Finger.
- ANR MuscleSense EMG-Sensoren zur Erfassung der muskuloskelettalen Dynamik mit Muskelaktivierungsbeginn, -ende und -intensität.
- Eine ZED 2i-Stereokamera als bildbasiertes MoCAP-System zur Erfassung der Ganzkörperkinematik und von Interaktionen mit der Umgebung.
Diese verschiedenen Datenkategorien werden vorverarbeitet und anschließend in eine gemeinsame Plattform für menschliche Digitale Zwillinge integriert. Das für das Modell des menschlichen Digitalen Zwillings entwickelte Framework folgt einer mehrschichtigen Architektur, die aus mehreren Algorithmen für maschinelles Lernen und Deep Learning besteht. Die Architektur unseres Frameworks integriert mehrere Algorithmen in eine einheitliche Struktur für prädiktive Modellierung, Simulation und Echtzeit-Interaktion.
Die Arbeit verfolgt einen modularen Ansatz, bei dem verschiedene Algorithmen innerhalb des Rahmens unterschiedliche Aspekte des Systems abdecken: eine Ensemble-Lernmethode [13] für die biometrische Modellierung des Menschen, PINN für die Bewegungssimulation [14–15] und ein BiLSTM-Netzwerk [16–17] für die Steuerung der Feinmotorik sowie die Erkennung des kognitiven Zustands. Die Algorithmen zur Integration des kognitiven und physischen Zustands von Menschen werden in bereits veröffentlichten Artikeln [13, 18] erläutert.
Validierung des menschlichen Digitalen Zwillings
Das Framework für den Digitalen Zwilling des Menschen wird sowohl auf der Ebene der einzelnen Algorithmen unter Verwendung mehrerer Bewertungsmetriken für verschiedene Sensordatenmodalitäten als auch als komplettes System durch qualitative Bewertung mit echten Nutzern in einer anwendungsorientierten Studie bewertet, wie in unserer früheren Arbeit [18] gezeigt. Als quantitative Bewertungsmetrik für alle kontinuierlichen Vorhersage- oder Regressionsaufgaben über alle Sensormodalitäten und Algorithmen hinweg wird die Standardmetrik des Root Mean Square Error (RMSE) [19] verwendet. Zusätzlich zum RMSE wird jeder Algorithmus auch mit spezifischen, auf die jeweilige Sensormodalität zugeschnittenen Validierungsmetriken validiert.
Bild 4 veranschaulicht die individuellen RMSE-Werte für verschiedene Aufgaben, die Daten aus unterschiedlichen Sensormodalitäten enthalten. Das Framework umfasst jedoch Aufgaben, die sich nicht genau anhand des RMSE bewerten lassen und für ein besseres Verständnis zusätzliche Metriken erfordern. Für die Auswertung biometrischer Daten werden der mittlere Fehler, der mittlere quadratische Fehler, der normalisierte mittlere quadratische Fehler und der Scattered Index (SI) [20] verwendet, um die Modellleistung bei der Verarbeitung von Zeitreihendaten besser zu bewerten, wie in unserer früheren Studie [13] dargelegt.
Der menschliche Digitale Zwilling kann für zahlreiche Anwendungsszenarien mit Anwendungsfällen sowohl in der Industrie als auch im klinischen Bereich eingesetzt werden. Ein Anwendungsfall ist die Überwachung des kognitiven Zustands von menschlichen Arbeitskräften bei industriellen Aufgaben zur Unterstützung der Entscheidungsfindung, worüber in unserer früheren Studie [18] ausführlich berichtet wird.
Die Studie hebt hervor, wie der Einsatz menschlicher Digitaler Zwillinge potenziell fundierte Entscheidungsfindung ermöglichen, kognitive Überlastung reduzieren und die allgemeine Ergonomie für menschliche Arbeitskräfte verbessern kann. Trotz seines Potenzials ist das Framework für menschliche Digitale Zwillinge in hohem Maße von der Integration von Sensordaten abhängig. Die Leistung des Modells kann je nach der für die Datenerfassung verwendeten Modalität und der Art der Datenfusion erheblich variieren.
Menschliche Digitale Zwillinge als Paradigmenwechsel
Diese Studie schlägt eine einheitliche Rahmenlösung für menschliche Digitale Zwillinge vor, die durch die Integration modernster Aktuator-, Sensor-, Simulations- und bidirektionaler Rückkopplungstechnologien die aktuellen technologischen Grenzen im Bereich der menschlichen Digitalen Zwillinge erweitert. Der Ansatz umfasst die Integration von multimodaler Sensorik, KI und biomechanischer Simulation in ein kompaktes System. Das System ermöglicht dann eine Echtzeit-Überwachung des kognitiven Zustands und die Nachbildung physischer Bewegungen, um Herausforderungen in den Bereichen Arbeitssicherheit, Aufgabenoptimierung und Mensch-Maschine-Interaktion zu bewältigen.
Somit stellt der menschliche Digitale Zwilling einen Paradigmenwechsel von einer maschinenzentrierten zu einer menschenzentrierten industriellen Digitalisierung dar. Durch die Erfassung der dynamischen, individuellen und prädiktiven Aspekte menschlicher Arbeitskräfte ermöglichen menschliche Digitale Zwillinge sicherere, produktivere und nachhaltigere industrielle Systeme.
Literatur
[1] Tao, F.; Xiao, B.; Qi, Q.; Cheng, J.; Ji, P.: Digital twin modeling. In: Journal of Manufacturing Systems 64 (2022), S. 372–389.[2] Graessler, I.; Poehler, A.: Intelligent control of an assembly station by integration of a digital twin for employees into the decentralized control system. In: Procedia Manufacturing 24 (2018), S. 185–189.
[3] Lin, Y.; Chen, L.; Ali, A.; Nugent, C.; Cleland, I. et al.: Human digital twin: A survey. In: Journal of Cloud Computing 13 (2024) 1, S. 131.
[4] Zhu, E.; Yang, S.: Towards human digital twin: Reviewing human modelling and simulation. In: Journal of Industrial Information Integration (2025), S. 100975.
[5] Tang, C.; Yi, W.; Occhipinti, E.; Dai, Y.; Gao, S. et al.: A roadmap for the development of human body digital twins. In: Nature Reviews Electrical Engineering 1 (2024) 3, S. 199–207.
[6] Huang, Y.; Tao, J.; Sun, G.; Wu, T.; Yu, L. et al.: A novel digital twin approach based on deep multimodal information fusion for aero-engine fault diagnosis. In: Energy 270 (2023), S. 126894.
[7] Zhou, T.; Zhang, X.; Kang, B.; Chen, M.: Multimodal fusion recognition for digital twin. In: Digital Communications and Networks 10 (2024) 2, S. 337–346.
[8] Blasch, E.; Pham, T.; Chong, C.-Y.; Koch, W.; Leung, H. et al.: Machine learning and artificial intelligence for sensor data fusion: Opportunities and challenges. In: IEEE Aerospace and Electronic Systems Magazine 36 (2021) 7, S. 80–93.
[9] Rahali, A.; Akhloufi, M. A.: End-to-end transformer-based models in textual-based NLP. In: AI 4 (2023) 1, S. 54–110.
[10] Dai, X.; Chalkidis, I.; Darkner, S.; Elliott, D.: Revisiting transformer-based models for long document classification. arXiv preprint (2022). URL: https://arxiv.org/abs/2204.06683, accessed 13.01.2026.
[11] Liu, D.; Wang, J.; Shang, S.; Han, P.: MSDR: Multi-step dependency relation networks for spatio-temporal forecasting. Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (2022), S. 1042–1050.
[12] Chowdhury, T. A.; Wagner, E.; Motzki, P.; Lehser, M.: Prognosis and predictive modeling of hand movements in industrial tasks using StretchSense glove and digital twin simulations. Digital Twins, AI, and NDE for Industry Applications and Energy Systems 2025 (2025), S. 79–87.
[13] Chowdhury, T. A.; Gratz-Kelly, S.; Wagner, E.; Motzki, P.; Lehser, M.: Ensemble learning approach for advanced predictive modelling of biometric data and action states with smart sensing. In: IEEE Access (2024).
[14] Farea, A.; Yli-Harja, O.; Emmert-Streib, F.: Understanding physics-informed neural networks: Techniques, applications, trends, and challenges. In: AI 5 (2024) 3, S. 1534–1557.
[15] Wang, X.; Antonion, K.; Raissi, M.; Joshie, L.: Machine learning through physics-informed neural networks: Progress and challenges. In: Academic Journal of Science and Technology 9 (2024) 1.
[16] Singla, P.; Duhan, M.; Saroha, S.: An ensemble method to forecast 24-hour ahead solar irradiance using wavelet decomposition and BiLSTM deep learning network. In: Earth Science Informatics 15 (2022) 1, S. 291–306.
[17] Lin, H.; Zhang, S.; Li, Q.; Li, Y.; Li, J. et al.: A new method for heart rate prediction based on LSTM-BiLSTM-Att. In: Measurement 207 (2023), S. 112384.
[18] Chowdhury, T. A.; Gratz-Kelly, S.; Wagner, E.; Motzki, P.; Lehser, M.: A Multimodal Intelligent System for Human Digital Twin Simulation with Continuous Kinematic Data Tracking, Biometric Prognosis, and Cognitive State Feedback in Industrial Environments. In: Advanced Intelligent Discovery (2026).
[19] Hodson, T. O.: Root mean square error or mean absolute error: When to use them or not. In: Geoscientific Model Development Discussions (2022), S. 1–10.
[20] Jadon, A.; Patil, A.; Jadon, S.: A comprehensive survey of regression-based loss functions for time series forecasting. arXiv preprint (2022). URL: https://arxiv.org/abs/2211.02989, accessed 13.01.2026.
Potenziale: Innovation
Das könnte Sie auch interessieren
