Potenziale multimodaler Benutzungsschnittstellen

Grundlegender Bestandteil der digitalisierten Produktion sind Cyber-Physische Systeme (CPS), die informationstechnische und physikalische Welt verschmelzen lassen. Benutzungsschnittstellen auf Basis unterschiedlicher Ansätze der Mensch-Maschine-Interaktion (MMI) verbinden diese beiden Welten. Insbesondere technische Akteure und Systeme sind mit integrierten Verarbeitungs- und Kommunikationsfähigkeiten ausgestattet, die neue Ansätze für Benutzungsschnittstellen der MMI zugleich erfordern als auch befähigen. Benutzungsschnittstellen sind Komponenten von interaktiven Systemen, die Informationen und Steuerelemente bereitstellen, welche notwendig sind, damit die Benutzerin eine bestimmte Arbeitsaufgabe mit dem interaktiven System erledigen kann [1].

Interaktionen mittels traditioneller industrieller Benutzungsoberflächen beruhen in der Regel auf konventionellen unimodalen Benutzungsschnittstellen: ein System empfängt einen über Tastatur, Maus oder Touchscreen eingegebenen Befehl, woraufhin eine Systemantwort auf einem Bildschirm angezeigt wird. Insgesamt müssen Benutzungsschnittstellen zunehmend intuitiver und benutzungsfreundlicher werden, da vernetzte und intelligente Produktionsanlagen wesentlich komplexer sind [2]. Ein vielversprechender Lösungsansatz zur Realisierung hoher Intuitivität und Benutzungsfreundlichkeit liegt im multimodalen Verbund der Interaktionen [3]. Technologische Fortschritte in den Bereichen Aktorik, Sensorik, Datenübertragung sowie Informationsverarbeitung bis hin zur künstlichen Intelligenz erhöhen die Usability neuartiger Interaktionskonzepte [4], wodurch auch der Arbeitsplatz selbst ergonomischer sowie Lernprozesse intuitiver gestaltet werden können. Die Weiterentwicklung von Benutzungsschnittstellen ist eine gesellschaftliche Gestaltungsaufgabe, da Lebensqualität und Produktivität von einem positiven Entwicklungsverlauf abhängen [4].

Beachtenswert sind im Paradigma der Industrie 4.0 auch die individuellen und unterschiedlichen mentalen Modelle der Arbeitskräfte, die das Verständnis und die Wahrnehmung der Akteure prägen. Um auf diese Unterschiede eingehen zu können, sind neue Ansätze notwendig, die Menschen in der Fabrik innerhalb ihrer jeweiligen mentalen Modelle unterstützen; insbesondere bei der immer umfassenderen und intelligenteren Vernetzung der Anlagen sowie der daraus resultierenden Komplexität als auch den großen Datenmengen.

MMI-Technologien für die Industrie 4.0

Zentrale MMI-Technologien stehen bislang noch am Anfang [4]. Der Entwicklungsstand befindet sich derzeit im Übergang von einer vorwiegend händisch stattfindenden Bedienung zu neuartigen Möglichkeiten, bei denen der gesamte Körper als Benutzungsschnittstelle fungiert und die Grenzen zwischen realer und virtueller Welt verschwimmen [5].

In Bild 1 werden Technologien aus dem letztveröffentlichten Hype-Cycle für MMI-Technologien hinsichtlich ihres Potenzials und Technologie-Reifegrad verortet. In der Abbildung sind die jeweiligen Schnittstellen einem Reifegrad zugeteilt, der den Technology Readiness Levels (TRL) entspricht [6]. So werden Potenzial, aktueller Reifegrad sowie prognostizierte Dauer bis zum Erreichen der Marktreife für die jeweilige Schnittstelle ersichtlich [6].

Der Reifeprozess beginnt mit Beobachtung und Beschreibung des Funktionsprinzips und dem darauffolgenden Nachweis der Funktionstüchtigkeit der Technologie. In diesen Phasen befinden sich momentan haut- und gestenbasierte Schnittstellen sowie Gehirn-Computer-Schnittstellen, die bis zur breiten Marktreife noch über 10 Jahre weiterentwickelt werden müssen [7]. Hautschnittstellen werden insbesondere durch sehr dünne hautähnliche Materialien ermöglicht, in denen Sensortechnik eingelassen ist.

Die Sensoren erfassen Berührung, Dehnung, Feuchtigkeit oder Temperatur und werden insbesondere im multimodalen Verbund mit anderen Schnittstellen in der Produktion eingesetzt und weisen daher ein hohes Nutzungspotenzial auf. Gestenbasierte Schnittstellen beruhen auf der mathematischen Interpretation menschlicher Bewegungen durch einen Computer [8], die u. a. durch Kameras, Tiefen- und Beschleunigungssensoren erfasst werden. Ein produktiver Einsatz ist in fünf bis zehn Jahren vorstellbar, sofern eine zuverlässige und sichere Erkennung sicherheitsrelevanter Gesten möglich ist [8].

Auf dem Hochpunkt des erwarteten Potenzials, das über den bisherigen Möglichkeiten der Innovation liegt, befinden sich derzeit Gehirn-Computer-Schnittstellen (BCI). BCI messen die Aktivität des Zentralnervensystems und wandeln diese in künstlichen Output um [9]. Wenngleich die technische Reife derartiger Schnittstellen noch gering ist und große Bedenken bezüglich des Datenschutzes bestehen [10], ist hier ein Einsatz in der Fabrik in deutlich über zehn Jahren vorstellbar. Der derzeitige Funktionsumfang beschränkt sich jedoch auf erste Erfolge bei der Steuerung von Roboterarmen [11].

Etwas ausgereifter sind Exoskelette, bei denen es sich um mechanische Strukturen handelt, die am Körper getragen werden und dessen natürliche Fähigkeiten verstärken. Testweise sind solche Skelette bereits in der Produktion im Einsatz, während das Potenzial dieser Schnittstelle derzeit gerade erst anwächst.

Sprachbasierte Schnittstellen, die auch ein hohes Nutzungspotenzial aufweisen, sind im privaten Bereich durch virtuelle Assistenten wie Alexa oder Siri bereits weit verbreitet, können jedoch auch in der Produktion zum Einsatz kommen. Bislang treten allerdings hohe Fehlerraten beim Erkennen natürlicher Sprache auf, weshalb diese erst prototypisch in Fabriken zum Einsatz kommen. Ein Produktiveinsatz ist hier erst in zwei bis fünf Jahren vorstellbar [12].

Zuletzt befinden sich visuelle Schnittstellen bereits in Fabriken im Einsatz. Im Produktionsbereich werden mit Augmented Reality (AR) relevante Informationen direkt ins Sichtfeld der Mitarbeiterinnen gerückt. Der gewünschte Immersionseffekt und damit das Nutzungspotenzial wird jedoch oftmals getrübt, da langes Tragen, Latenzen und eine dezentrale Bildpositionierung von AR-Brillen u. a. Kopfschmerzen und Ermüdungserscheinungen auslösen können.

Potenziale multimodaler MMI

Für die nutzerfreundliche Interaktion von Mitarbeitern und CPS sind multimodale MMI-Konzepte geeignet [13], in denen zwei oder mehr Konzepte miteinander kombiniert werden [14]. Multimodale Systeme erlauben eine leistungsstarke sowie intuitive Bedienung und haben das Potenzial, die Interaktion zwischen Mensch und Maschine bspw. durch eine höhere Immersion zu verbessern [3].

So wird die Zuverlässigkeit durch die Kombination von Teilinformationsquellen erhöht und eine Personalisierung je nach Benutzer und Kontext sowie eine Nutzung durch mehrere Mitarbeiter ermöglicht [3]. Nur wenn CPS durch mehrere Schnittstellen mit dem Benutzer interagieren, können sie anhand intelligenter Systeme komplexe Aufgaben und Prozesse gut verstehen und durchführen [3]. Nachteile einzelner Konzepte in multimodalen Systemen werden zudem ausgeglichen, während die Bedienung unter Verwendung mehrerer menschlicher Sinne natürlicher wird [3].

Mögliche Kombinationen werden in Bild 2 nach potenzieller und aktuell vorstellbarer Kompatibilität zwischen den vorgestellten Bedienkonzepten in einem Ampelsystem aufgeführt. Da die MMI sowohl in Input- als auch in Outputschnittstellen klassifiziert werden können, ergeben sich unterschiedliche Substitutionspotenziale. Inputschnittstellen wie E-Skins oder BCI sind dadurch gekennzeichnet ausschließlich Signale zu empfangen, während Outputschnittstellen Signale senden.

Schnittstellen wie virtuelle Assistenten können Signale sowohl Empfangen als auch Senden, wodurch sie in beide Kategorien fallen. Unauffindbare Kombinationen sind mit „Niedrig“ oder „Mittel“ gekennzeichnet, was einem niedrigen bzw. mittleren Substitutionspotenzial entspricht. Unauffindbar sind folgerichtig insbesondere Kombinationen mehrerer Outputschnittstellen. So sind insbesondere BCI, E-Skins und Gestensensorik untereinander substituierbar, da diese die Funktionen des jeweils anderen Konzepts beinhalten können.

Vergleich multimodaler MMI

Allgemein ist AR das derzeit vielversprechendste Konzept für den multimodalen Einsatz, da es mit allen vorgestellten anderen Konzepten ein hohes Kombinationspotenzial aufweist (Bild 1) und bereits in einigen Studien als Teil multimodaler Schnittstellen erforscht wurde. Auch in der Praxis findet das Konzept bereits Verwendung in der Microsoft HoloLens, das ein multimodales System mit AR, Gesten- und Sprachsteuerung ist. Schnittstellen wie AR müssen gesteuert werden, wozu mindestens eine weitere Schnittstelle zur Interaktion mit der Maschine benötigt wird. Auch für Exoskelette ergeben sich mittlere bis hohe Kombinationspotenziale mit den vorgestellten Ansätzen. So befinden sich in einem Prototypen eines multimodalen Exoskeletts mehrere gestenerfassende Sensoren im Handschuh, um bspw. einen Seilzug zu steuern, der eine Hebehilfe darstellt [15].

Zentral für die Interaktion von Menschen und Maschinen ist die Usability, also Nutzungstauglichkeit der Benutzungsschnittstelle. Kriterien für die Gestaltung derartiger „Dialoge“ sind in der ISO Norm 9241-110, auch bekannt als Grundsätze der Dialoggestaltung festgehalten [1, 16]. Die sieben Kriterien werden dem folgenden Vergleich der vorgestellten Konzepte zugrunde gelegt. Dabei wird eine Nutzung im industriellen Kontext angenommen. Anzumerken ist hierbei, dass einige der Kriterien mehr oder weniger auch von der verwendeten Software abhängen und damit für die Schnittstellen an sich unter Vorbehalt gegeben sind.

Das Kriterium der Aufgabenangemessenheit betrachtet, inwieweit die Benutzerin bei der effektiven und effizienten Aufgabenausführung unterstützt wird. Dabei sollen für eine vorliegende Aufgabe irrelevante Informationen auf ein Minimum reduziert werden sowie Eingabe- und Ausgabeformate auf aufgabenspezifische Informationen anpassbar sein [16].

Dieses Kriterium ist insbesondere bei AR und virtuellen Assistenten kritisch, da diese durch ihre informationsbereitstellende Funktion direkt betroffen sind. So ist eine Informationsüberflutung stets zu vermeiden. Mit Ausnahme des BCI kann dieses Kriterium für die Anderen als erfüllbar angesehen werden. BCI sind potenziell direkt an das Gehirn angebunden. Durch die fehlende Möglichkeit, die Hirnaktivität des Benutzers zu kontrollieren, wäre das ungewollte Senden aufgabenunspezifischer Informationen vorstellbar. Ohne eine weitere Modalität könnte demzufolge auch keine Unterstützung bei der Aufgabenausführung erfolgen.

Selbstbeschreibungsfähigkeit ist gegeben, wenn dem Benutzer unmittelbar jeder einzelne Bedienschritt verständlich ist oder eine einfache, anforderbare Erläuterung zum Verständnis führt [16]. Dieses Kriterium ist insbesondere für virtuelle Assistenten von Bedeutung, da sie isoliert betrachtet ausschließlich über eine Sprachaus- und eingabe verfügen. Dies kann unter Umständen dazu führen, dass Bedienabläufe und mögliche Funktionen für den Benutzer unklar bleiben. Bei Schnittstellen, wie Gestensensoren oder E-Skins müssen ggf. zuerst spezielle Gesten erlernt werden, was ebenfalls nicht das Kriterium der unmittelbaren Verständlichkeit erfüllt.

Exoskelette unterstützen intuitiv die Bewegungen des Nutzers, wodurch keine weiteren Verständlichkeitsbarrieren auftreten sollten. Im Falle von AR kann primär eine softwareseitige Ermöglichung der Fähigkeit erfolgen. BCI hingegen sind bislang auf ein (komplexes) Training der Gehirnaktivität zur Steuerung angewiesen und erfüllen das Kriterium somit derzeit nur sehr eingeschränkt.

Die folgenden vier Kriterien hängen von der verwendeten Software ab, können also für die vorgestellten MMI als gegeben angesehen werden. Steuerbarkeit umfasst die Kontrollierbarkeit des Ablaufs, dauerhafte Eingriffsmöglichkeiten sowie Korrekturmöglichkeiten [16]. Es ist insbesondere bei der Gestensteuerung kritisch, da auch sicherheitsrelevante Gesten absolut zuverlässig erkannt werden müssen.

Erwartungskonformität wird als konsistente Bedienung die den Erwartungen, Wissen und Erfahrungen der Bediener entspricht definiert [16]. Zuletzt sind die Kriterien Fehlertoleranz, die eine Fehlerkorrektur mit minimalem Aufwand ermöglichen und den Nutzer bei der Aufspürung und Beseitigung von Fehlern unterstützen soll [16], sowie Individualisierbarkeit, die die Anpassung an individuelle Aufgaben, Arbeitsumstände, Fähigkeiten und Vorlieben ermöglichen soll, für alle Ansätze hardwareseitig gegeben.

Die Lernförderlichkeit sollte hoch sein, damit Abläufe und Inhalte dauerhaft im Gedächtnis verbleiben können [16]. Hierbei ist u. a. maßgeblich, wie natürlich die Schnittstelle wirkt und inwiefern bei Aus- und Weiterbildung der Umgang geschult wird [17]. Nach aktuellem Entwicklungsstand haben etwa Sprachassistenten Schwierigkeiten mit natürlichen Befehlen. Bei der Gestensteuerung kommt es darauf an, ob diese nahe an der natürlichen Verwendung von Gesten sind, um dieses Kriterium besser zu erfüllen. BCI erfüllen es erst, wenn sie ohne größeren Lernaufwand funktionieren und eine Gedankensteuerung ohne weiteres Training erlauben, was derzeit jedoch noch nicht absehbar ist. Den MMI ist gemeinsam, das sie inhärent natürliche Abläufe ermöglichen, wodurch ein leichter Verbleib im Gedächtnis der Schnittstellenbedienung angenommen werden kann.

Zusammenfassung

In der digitalisierten Fertigung verleihen selbst organisierte Produktionsprozesse Mitarbeitern mit mobilen Arbeitsplätzen mehr Verantwortung. Diese Rolle eines kreativen Problemlösers kann durch multimodale Schnittstellen weitgehend unterstützt werden, während unimodale Schnittstellen angesichts zunehmender Datenmengen nicht mehr ausreichen. Multimodale Schnittstellen und Möglichkeiten der Immersion sind von besonderem Stellenwert, da sie Zugangsbarrieren für Fabrikmitarbeiter senken und somit die Bewältigung zunehmender Komplexität unterstützen. Dieser erleichterte Zugang durch neuartige Prozesse und Vorgehensweisen macht zudem eine Neuausrichtung von Arbeit und Lernprozessen denkbar, wodurch Arbeitskräfte auch im volatilen Umfeld beständig und variabel eingesetzt werden können.

Dieser Beitrag entstand im Rahmen der Nachwuchsforschungsgruppe ProMUT „Nachhaltigkeitsmanagement 4.0 – Transformative Potentiale digital-vernetzter Produktion für Mensch, Umwelt und Technik” (Kennzeichen 01UU1705B), die vom Bundesministerium für Bildung und Forschung in Rahmen der Förderinitiative „Sozial-ökologische Forschung“ gefördert wird.

Das könnte Sie auch interessieren

Serious Games als Trainingsinstrument Spielmechanische Gestaltung zur Förderung Resilienz Annika Lange , Thomas Knothe

Unvorhergesehene Ereignisse fordern produzierende Unternehmen zunehmend heraus. Resilienz zur Bewältigung von Krisen wird dabei zur Schlüsselkompetenz. Durch Serious Games (SG) kann Resilienz Aufbau transparenter werden. Der folgende Beitrag leitet spezifische Anforderungen an SG aus den einzelnen Resilienzphasen ab und zeigt, wie diese spielmechanisch umgesetzt werden können, um so Resilienz effektiv zu trainieren.

Industry 4.0 Science | 42. Jahrgang | 2026 | Ausgabe 2 | Seite 98-104

Im Braunfeld zur Industrie 4.0 Lernfabriken als Schulungs- und Testumgebung für die digitale Transformation Jakob Weber, Sven Völker

Die digitale Transformation produzierender Unternehmen erfordert Ingenieure mit der Fähigkeit, den Übergang zur Industrie 4.0 praktisch zu gestalten. Dieser Beitrag stellt das Konzept einer Lernfabrik vor, die selbst einer kontinuierlichen digitalen Transformation unterliegt und damit eine Umgebung für die Entwicklung von Transformationskompetenzen schafft. Das Konzept für die digitale Transformation basiert auf digitalen Werker-Assistenzsystemen und Multiagentensystemen zur Produktionssteuerung. Sie ermöglichen eine schrittweise Integration vorhandener Ressourcen. Die Lernfabrik wird den Studierenden nicht als fertige Lösung präsentiert, sondern im Rahmen von studentischen Projekten kontinuierlich weiterentwickelt. Damit adressiert sie direkt den Mangel an qualifiziertem Personal für die Realisierung der Industrie 4.0.

Industry 4.0 Science | 42. Jahrgang | 2026 | Ausgabe 2 | Seite 88-96

Kollegin KI? Kompetenzanforderungen und -vermittlung bei KI-Nutzung in der Industrie Swetlana Franken

Künstliche Intelligenz verändert Aufgaben, Rollen und Kompetenzen in (Industrie‑)Unternehmen grundlegend. Sie agiert zunehmend als Kollegin, die Entscheidungen vorbereitet, Prozesse unterstützt und mit Menschen interagiert. Der Beitrag beleuchtet zentrale Kompetenzanforderungen für die KI-Nutzung in der Industrie, stellt ein integriertes Kompetenzmodell vor und zeigt praxisnahe Strategien zur Kompetenzvermittlung auf. Ziel ist es, Unternehmen und Beschäftigte auf eine menschengerechte, kompetenzorientierte Implementierung von KI vorzubereiten, die technologische Effizienz mit menschlicher Kreativität und Urteilskraft verbindet.

Industry 4.0 Science | 42. Jahrgang | 2026 | Ausgabe 2 | Seite 78-86

Operationalisierung ethischer KI mit tachAId Validierung eines interaktiven Beratungstools in zwei Anwendungsfällen aus der Fertigungsindustrie Pavlos Rath-Manakidis, Henry Huick, Björn Krämer , Laurenz Wiskott

Die Integration künstlicher Intelligenz (KI) in Arbeitsprozesse verspricht erhebliche Effizienzsteigerungen, doch Unternehmen stehen dabei vor zahlreichen ethischen Herausforderungen, die den Beteiligten zunächst oft nicht bewusst sind – von Intransparenz in der Entscheidungsfindung über algorithmische Verzerrungen bis hin zu Risiken einer verfrühten Automatisierung. Dieser Beitrag stellt das Design und die Validierung von tachAId vor, einem interaktiven Beratungstool, das darauf abzielt, menschenzentrierte ethische Überlegungen in die Entwicklung von KI-Lösungen einzubetten. Es wird eine Validierungsstudie vorgestellt, die für zwei unterschiedliche industrielle KI-Anwendungen mit variierendem KI-Reifegrad durchgeführt wurde. tachAId lenkt die Aufmerksamkeit gezielt auf kritische ethische Überlegungen im gesamten Lebenszyklus von KI-Lösungen, die bei einer technisch orientierten Entwicklung möglicherweise übersehen werden. Die Ergebnisse zeigen jedoch auch eine zentrale ...

Industry 4.0 Science | 42. Jahrgang | 2026 | Ausgabe 1 | Seite 50-59 | DOI 10.30844/I4SD.26.1.50

Angewandte KI für die menschenzentrierte Montage Ein ethisch fundierter Ansatz zur Gestaltung von Arbeitsplätzen Tadele Belay Tuli , Michael Jonek , Sascha Niethammer, Henning Vogler, Martin Manns

Künstliche Intelligenz (KI) kann die Montage verbessern, indem sie menschliche Bewegungen vorhersagt und den Arbeitsplatz entsprechend gestaltet. Mithilfe probabilistischer Modelle wie der Gaußschen Mischmodelle (GMMs) antizipieren KI-Systeme die Bewegungen des Bedieners, um die Koordination mit Robotern zu verbessern. Diese Vorhersagesysteme werfen jedoch ethische Bedenken hinsichtlich Sicherheit, Fairness und Datenschutz gemäß EU AI Act auf. Dieser Artikel stellt eine Methode vor, die probabilistische Bewegungsmodellierung mit ethischer Bewertung mittels Z-Inspection® integriert. Eine Fallstudie unter Verwendung des Werkerassistenzsystem zeigt, wie multimodale Sensorik (Bewegung, Blick) und interpretierbare Modelle eine vorausschauende Unterstützung ermöglichen. Der Ansatz geht von der ethischen Bewertung zu einer ethisch informierten Arbeitsgestaltung über und liefert übertragbare Prinzipien sowie eine konfigurierbare Bewertungsmatrix.

Industry 4.0 Science | 42. Jahrgang | 2026 | Ausgabe 1 | Seite 60-68 | DOI 10.30844/I4SD.26.1.60

Lern- und kompetenzförderliche Arbeitsgestaltung Neue Lernorganisations- und Lernbegleitungsformen in digital transformierter Arbeit Peter Dehnbostel

Seit Jahrhunderten gibt es Maßnahmen und Methoden zur Arbeitsgestaltung. Mit der digital transformierten Arbeit sind jedoch grundlegend neue Kriterien für Lern- und Kompetenzförderlichkeit entstanden. Deren Anwendung ermöglicht es, Arbeit nicht nur effizienter, sondern auch menschenzentrierter zu gestalten und zugleich die Entwicklung sowie den Einsatz von KI in der Arbeitswelt beherrschbarer zu machen. Zudem tragen in der Digitalisierung entstandene innovative Lernformen wesentlich zur Arbeitsgestaltung bei, etwa Online-Communities, Lernplattformen, Chatbots und E-Coaching. Diese Entwicklung steht jedoch noch am Anfang.

Industry 4.0 Science | 41. Jahrgang | 2025 | Ausgabe 6 | Seite 58-64