Sustainable and Intelligent Additive Manufacturing

Early Recognition of Manufacturing Defects in 3D-Printing with Artificial Intelligence

JournalIndustrie 4.0 Management
Issue Volume 39, 2023, Edition 2, Pages 56-59
Bibliography Share Cite Download

Abstract

Additive manufacturing is an increasingly important manufacturing technology with huge economical potential. However, its popularity is accompanied by high material and time losses, as defects are often detected at a very late stage. One solution for a more sustainable production is the automated detection of manufacturing defects using artificial intelligence. This article describes the digitization of the defect detection process in additive manufacturing using a system based on a neural network. In addition to the steps for automated defect detection, system performance is also discussed.

Keywords

Article

Additive Fertigungsverfahren, auch als 3D-Druck bekannt, werden weitläufig eingesetzt und finden Anwendung in vielen verschiedenen Bereichen vom Maschinenbau [1] bis hin zu Spezialanwendungen in der Biotechnologie [2]. Aufgrund einer einfachen Zugänglichkeit ist das filamentbasierte 3D-Druck-Verfahren (Fused Filament Fabrication, FFF) die am häufigsten eingesetzte Produktionstechnologie in der additiven Fertigung [3]. Bei dem FFF-Verfahren werden Bauteile additiv aus Kunststoff hergestellt, welcher in Form von drahtförmigem Filament dem Druckprozess zugeführt wird. Die Druckobjekte werden durch gezieltes Ablegen einzelner Bahnen aus geschmolzenem Kunststoff auf einem Druckbett schichtweise bis zum fertigen Modell aufgebaut.

Generell gilt die additive Fertigung als nachhaltiges Verfahren, da fast nur die für das Bauteil benötigte Menge an Material eingesetzt werden muss. Aufgrund von Fertigungsfehlern und Stützstrukturen für den Druckprozess entstehen bei diesem Verfahren allerdings auch Kunststoffabfälle. Während des Fertigungsprozesses können verschiedene Fehler auftreten, die sich in ihrer Ausprägung visuell unterscheiden.

Zu den schwerwiegenden Druckfehlern zählen jene, welche einen vollständigen Aufbau des Druckobjekts verhindern, beispielsweise durch Verstopfen der Extrusionsdüse oder Ablösen des unfertigen Bauteils vom Druckbett. Bei schwerwiegenden Druckfehlern ist das Bauteil unbrauchbar und wird als Ausschuss dem Kunststoffabfall zugeführt. Einer Studie [4] zufolge enden 34 % des beim Druckprozess eingesetzten Kunststoffs direkt als Kunststoffabfall, wovon wiederum 55 % auf fehlerhafte Drucke und 45 % auf Stützstrukturen zurückzuführen sind. Ein frühzeitiges Erkennen von Druckfehlern und das situationsbedingte Abbrechen des Druckvorgangs können den Materialeinsatz für Fehldrucke vermindern und somit die anfallende Menge an Abfallkunststoff erheblich reduzieren. Das frühzeitige Erkennen von Druckfehlern ist jedoch nur durch eine kontinuierliche Überwachung des Druckprozesses möglich.

Es existieren bereits einige Forschungsansätze zur Überwachung des Druckprozesses durch Verfahren der Künstlichen Intelligenz (KI), speziell durch Ansätze des maschinellen Sehens (engl. Computer Vision), um Druckfehler automatisiert zu erkennen [5, 6]. Auch kommerzielle Lösungen für das Überwachen des Druckprozesses sind bereits in der Entwicklung [7, 8]. Die autonomen Verfahren zur Drucküberwachung basieren auf künstlichen neuronalen Netzen, welche durch Bildmaterial auf die Erkennung von Fertigungsfehlern trainiert wurden. Zur Überwachung des Druckprozesses werden kontinuierlich Bilder des Druckfortschritts aufgezeichnet und Fertigungsfehler mithilfe der trainierten neuronalen Netze in Echtzeit aufgedeckt. Bei der Erkennung von Druckfehlern können so entsprechende Schritte, wie beispielsweise das automatisierte Anhalten oder Abbrechen des Druckauftrags, eingeleitet werden.

In dem von der Carl-Zeiss-Stiftung geförderten Forschungsprojekt “Effiziente, intelligente, generative Fertigung mit Recyclingkunststoffen durch KI-Optimierung (KI-GenF)” [9] geht es um die Frage, wie Methoden der nachhaltigen Produktion mit Verfahren der Künstlichen Intelligenz weiterentwickelt werden können. Neben der Verbesserung der Nachhaltigkeit des FFF-Druckverfahrens und dem Recycling von Kunststoffdruckabfällen werden KI-gestützte Methoden eingesetzt, um Druckfehler frühzeitig zu erkennen und dadurch die Menge an Druckabfällen zu reduzieren.

Diese Arbeit befasst sich mit der Erkennung von Druckfehlern durch Überwachung des Druckprozesses mit Kameras und künstlichen neuronalen Netzen. Hierbei werden im Gegensatz zu bisherigen Arbeiten mehrere Kameras verwendet, die den Druckprozess zeitgleich aus unterschiedlichen Perspektiven erfassen. Zunächst werden die schwerwiegendsten Druckfehler betrachtet, da hier das größte Einsparpotenzial für Kunststoffabfälle vorhanden ist. Neben dem Erzeugen und Annotieren von geeignetem Bildmaterial wird der Trainingsvorgang eines neuronalen Netzes beschrieben sowie die Leistung des Systems bei der Fehlererkennung erfasst und bewertet. Abschließend folgt ein Ausblick auf zukünftige Arbeiten.

Von der manuellen zur automatisierten Fehlererkennung

Druckfehler in der additiven Fertigung werden heute in vielen Fällen erst sehr spät erkannt. Typischerweise werden sie derzeit anhand ihrer visuellen Merkmale vom Betrachter identifiziert, der anschließend manuelle Gegenmaßnahmen einleitet, wie das Abbrechen oder Pausieren des Drucks.

Durch die nachhaltige Digitalisierung dieses Prozesses kann der Einsatz von Material und Zeit minimiert werden. Hierzu sind Methoden aus dem Bereich der Bildverarbeitung zur automatisierten Erfassung und Speicherung von Bilddaten notwendig. Des Weiteren werden Verfahren benötigt, die die visuellen Merkmale der Druckobjekte selbstständig, exakt und zuverlässig aus digitalen Bildern extrahieren und einer bestimmten Fehlerkategorie zuordnen können.

Tätigkeiten dieser Art werden heute in vielen Bereichen von künstlichen neuronalen Netzen übernommen [10]. Dabei handelt es sich um Computermodelle zur Mustererkennung, die Gesetzmäßigkeiten aus annotierten Daten erlernen und dieses Wissen zur automatisierten Lokalisierung und Klassifizierung von Bildinhalten einsetzen. In dieser wissenschaftlichen Arbeit wird die Modellarchitektur YOLOv5 [11] zum Erkennen von Druckfehlern eingesetzt. Sie zählt derzeit aufgrund ihrer Geschwindigkeit und ihrer Genauigkeit zu einer der beliebtesten Netzwerkarchitekturen im Bereich der Objekterkennung.

Aufnahmen von Druckfehlern werden gezielt erzeugt

Für eine zufriedenstellende Genauigkeit bei der Druckfehlererkennung wird eine große Menge an Bildaufnahmen von Fehldrucken benötigt. Um die Aufnahmen zeiteffizient und reproduzierbar zu generieren, wurden gezielt Fehldrucke herbeigeführt. Hierzu wurden die Druckdateien bzw. der G-Code, welchen der 3D-Drucker zum Ausführen des Druckprozesses nutzt, manipuliert. Auf diese Weise wurde ein schwerwiegender Druckfehler, der sogenannte „Spaghetti-Druck“ (Bild 1b), herbeigeführt.

Beim „Spaghetti-Druck“ können die vom Drucker extrudierten Kunststoffbahnen plötzlich nicht mehr mit dem bisherigen Druckobjekt verbunden werden und sammeln sich als gekräuselte Struktur unterhalb der Extrusionsdüse an. Dieses Verhalten entsteht im Druckprozess beispielsweise durch ein plötzliches Lösen des Druckobjekts vom Druckbett oder durch ein vorübergehendes Aussetzen der Extrusion.

Ein plötzliches Lösen des Druckobjekts kann z. B. durch ein verunreinigtes Druckbett oder unpassende Druckeinstellungen auftreten. Das Lösen des Druckobjekts wird durch einen Versatz des Druckkopfs in der Druckebene nachgebildet. Dabei wird der Druckkopf in einen Bereich versetzt, der ein Verschmelzen mit den darunterliegenden Schichten des Druckobjekts unmöglich macht und denselben Effekt wie ein plötzliches Lösen des Bauteils erzielt. Extrusionsaussetzer können durch ein zeitweises Verstopfen der Extrusionsdüse oder durch Probleme bei der Filamentzufuhr entstehen und durch einen Versatz des Druckkopfs in der Höhenachse nachgebildet werden.

3D-Drucker mit Kamerasystem zur Überwachung des Druckprozesses und Erkennung von Fertigungsfehlern (a) und Bildaufnahme eines „Spaghetti-Drucks“ (b) mit dem Versuchsaufbau
Bild 1: 3D-Drucker mit Kamerasystem zur Überwachung des Druckprozesses und Erkennung von Fertigungsfehlern (a) und Bildaufnahme eines „Spaghetti-Drucks“ (b) mit dem Versuchsaufbau.

Durch Manipulation der Druckdateien wurden für verschiedene Grundgeometrien (Würfel, Zylinder, Pyramide) Fehldrucke erzeugt und durch Kameras aus verschiedenen Ansichten Bildaufnahmen des Druckfehlers aufgenommen. Für die Erzeugung der Druckfehler wurden ein FFF-3D-Drucker (Prusa i3 MK3s, Prusa Research) verwendet und mehrere Kameras an einem um den Drucker aufgebauten Gestell aus Aluminiumprofilen platziert (Bild 1a).

Insgesamt wurden vier Kameras verwendet, um die Druckfehler zeitgleich aus verschiedenen Perspektiven aufzuzeichnen. Hierdurch konnte mit geringem Zeitaufwand und minimaler Anzahl von Fehldrucken eine für das Anlernen ausreichende Anzahl an Bildaufnahmen erzeugt werden. Ein am Gestell angebrachtes Beleuchtungsmodul sorgte für eine gleichmäßige Ausleuchtung des Druckraums. Neben der Erzeugung von Bildaufnahmen zum Anlernen der neuronalen Netze wurde der Aufbau ebenfalls zum Testen der Drucküberwachung verwendet.

Hohe Datenqualität durch sorgfältiges Annotieren

Zum frühzeitigen Erkennen von Druckfehlern kommt das sogenannte überwachte Lernen zum Einsatz, bei dem das neuronale Netzwerk mit annotierten Bilddaten trainiert wird, welche bereits der richtigen Fehlerkategorie zugeordnet sind. Nach dem Erzeugen des Bildmaterials muss dieses für das Training des neuronalen Netzes aufbereitet werden. Hierbei wird der zu erkennende Druckfehler auf jedem Bild mit einem eng umschließenden Begrenzungsrahmen markiert.

Dabei muss jede Instanz des sichtbaren Druckfehlers gekennzeichnet werden, da ein teilweises Markieren zu einer geringeren Leistung bei der späteren Objekterkennung führen kann. Beim Annotationsprozess wird jeder Begrenzungsrahmen der entsprechenden Fehlerkategorie zugeordnet. Anschließend wird für jedes Einzelbild eine Textdatei erzeugt, die den Namen des Fehlers sowie die Lage und die Größe der Begrenzungsrahmen enthält.

Für das Training des hier verwendeten neuronalen Netzwerks wird eine Bildmenge von mindestens 1500 annotierten Einzelbildern je Fehlerkategorie empfohlen [12]. In dieser Arbeit wurden insgesamt 1600 Bildaufnahmen für die automatisierte Erkennung der Fehlerkategorie “Spaghetti-Druck” manuell annotiert und so für das Training des künstlichen neuronalen Netzes aufbereitet. Zum Annotieren wurde das grafische Annotierungswerkzeug LabelImg [13] eingesetzt.

Druckfehlererkennung aus Bilddaten lernen

Während des Trainingsvorgangs durchläuft das annotierte Bildmaterial das neuronale Netzwerk in mehreren Durchgängen (Epochen). Hierbei werden die gewichteten Verbindungen des Netzwerks so angepasst, dass für einen Druckfehler auf einem Bild die richtige Fehlerkategorie möglichst genau vorhergesagt werden kann. Der Trainingsvorgang wird auch als Deep Learning [10] bezeichnet. Die verwendete Datenmenge wurde nach dem 80/20 Schema aufgeteilt. Hierbei werden 80 % der Daten für das Training, 10 % der Daten für das Validieren des Trainingsvorgangs und 10 % der Daten für das Testen des neuronalen Netzwerks verwendet.

Genauigkeit des neuronalen Netzwerks bei steigender Trainingsdatenmenge. Die Trendlinie zeigt, dass die Leistung des Netzwerks mit steigender Trainingsdatenmenge zunimmt
Bild 2: Genauigkeit des neuronalen Netzwerks bei steigender Trainingsdatenmenge. Die Trendlinie zeigt, dass die Leistung des Netzwerks mit steigender Trainingsdatenmenge zunimmt.

Des Weiteren wurde darauf geachtet, dass 10 % der Trainingsdaten keinen Druckfehler zeigen, da so die Erkennung von falsch positiven Druckfehlern reduziert und die Gesamtgenauigkeit des Netzwerks erhöht werden kann. Zudem wurde die Anzahl der Epochen auf 30 festgesetzt, da bei einer höheren Epochenanzahl eine Überanpassung des Modells zu beobachten war, die zu einer geringeren Gesamtgenauigkeit des Modells führte.

Größere Datenmengen führen zu besseren Ergebnissen

Zur Leistungsbewertung wurde das neuronale Netzwerk mit unterschiedlich großen Bilddatenmengen jeweils über 30 Epochen trainiert, wobei die Bilddatenmenge von 200 Bildern schrittweise um jeweils 200 bis auf insgesamt 1600 Bilder erhöht wurde. Anschließend fand eine Erfassung der Leistungsmetriken für jede der Bilddatenmengen statt. In Bild 2 wird deutlich, dass gute Ergebnisse bereits mit geringen Datenmengen erzielt werden können.

Bei einer Datenmenge von 200 Bildern liegt die Genauigkeit des neuronalen Netzwerks bereits bei 75,2 %. Wie die Trendlinie zeigt, kann die Leistung der automatisierten Druckfehlererkennung durch eine größere und sorgfältig annotierte Trainingsdatenmenge verbessert werden. In diesem Experiment konnte eine Mean Average Precision (mAP) von 83 % bei der Erkennung des Druckfehlers “Spaghetti-Druck” erreicht werden.

Mit dem trainierten Netzwerk können Druckprozesse in Echtzeit überwacht werden. Die praktische Anwendung des trainierten Netzwerks ist in Bild 3 zu sehen.

Aufnahme eines 3D-Drucks nach automatisierter Druckfehlererkennung mit drei gefundenen Instanzen eines Druckfehlers und Wahrscheinlichkeitswerten zwischen 79 % und 88 %
Bild 3: Aufnahme eines 3D-Drucks nach automatisierter Druckfehlererkennung mit drei gefundenen Instanzen eines Druckfehlers und Wahrscheinlichkeitswerten zwischen 79 % und 88 %.

Im weiteren Verlauf des Forschungsprojekts ist geplant, das vorgestellte Verfahren auf die automatisierte Erkennung von weiteren Druckfehlern in der additiven Fertigung zu übertragen. Des Weiteren soll durch eine dynamische Anpassung von Druckparametern automatisiert und in Echtzeit in den Druckprozess eingegriffen werden, um das Auftreten von Fehldrucken zu verringern und so die additive Fertigung nachhaltiger zu gestalten.

Dieser Beitrag entstand im Rahmen des Forschungsprojekts „Effiziente, intelligente, generative Fertigung mit Recyclingkunststoffen durch KI-Optimierung (KI-GenF)“, das von der Carl-Zeiss-Stiftung im Förderprogramm CZS Transfer mit bis zu 1 Mio. € gefördert wird.


Bibliography

[1] te Heesen, H.; Wahl, M.; Messemer, J. u. a.: Heterogene Einsatzfelder der generativen Fertigung. In: Industrie 4.0 Management 36 (2020) 4, S. 25-29.
[2] Scherer, K.; Soerjawinata, W.; Schaefer, S. u. a.: Influence of wettability and surface design on the adhesion of terrestrial cyanobacteria to additive manufactured biocarriers. In: Bioprocess and Biosystems Engineering 45 (2022), S. 931-941. DOI: 10.1007/s00449-022-02712-0.
[3] Alsop, T.: Which 3D printing technologies do you use? URL: www.statista.com/statistics/560304/worldwide-survey-3d-printing-top-technologies, Abrufdatum 28.06.2022.
[4] Song, R.; Telenko, C.: Material end energy loss due to human and machine error in commercial FDM printers. In: Journal of Cleaner Production 148 (2017), S. 895-904.
[5] Fu, Y.; Downey, A.; Yuan, L. u. a.: In situ monitoring for fused filament fabrication process: A review. In: Additive Manufacturing 38 (2021). DOI: 10.1016/j.addma.2020.101749.
[6] Goh, G. D.; Sing, S. L.; Yeong, W. Y.: A review on machine learning in 3D printing: applications, potential, and challenges. In: Artificial Intelligence Review 54 (2021) 1, S. 63-94.
[7] Obico. URL: www.obico.io, Abrufdatum 21.09.2022.
[8] Mattalabs: Mattacloud. URL: https://matta.ai/products/mattacloud, Abrufdatum 21.09.2022.
[9] Carl-Zeiss-Stiftung: Forschungsprojekt KI-GenF. URL: www.carl-zeiss-stiftung.de/themen-projekte/uebersicht-projekte/detail/ki-genf, Abrufdatum 16.10.2022.
[10] LeCun, Y.; Bengio, Y.; Hinton, G.: Deep learning. In: Nature 521 (2015), S. 436-444. DOI: 10.1038/nature14539.
[11] Redmon, J.; Divvala, S.; Girshick, R. u. a.: You only look once: Unified, real-time object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition (2016), S. 779-788.
[12] YOLOv5 Documentation. URL: https://docs.ultralytics.com/tutorials/training-tips-best-results, Abrufdatum 25.10.2022.
[13] LabelImg. URL: https://github.com/ heartexlabs/labelImg, Abrufdatum 15.10.2022.

Your downloads


You might also be interested in

Learning Factories for the Future of Manufacturing in Brazil

Learning Factories for the Future of Manufacturing in Brazil

Advancing manufacturing through technology and skills development
Manufacturing firms in developing countries face challenges in closing productivity gaps while adopting Industry 4.0 technologies. Learning factories are one helpful approach to countering these challenges. One such example is the learning factory Fábrica do Futuroin São Paulo, Brazil, which has engaged students, supported competence development, and collaborated with industry in applied research, functioning as a hub for advanced manufacturing initiatives.
Serious Gaming and the Energy Transition

Serious Gaming and the Energy Transition

Collaborative knowledge generation and interactive understanding of complex interrelationships
Janine Gondolf ORCID Icon, Gert Mehlmann, Jörn Hartung, Bernd Schweinshaut, Anne Bauer
Conveying the complexity and multifaceted nature of the energy transition to a broad audience is a challenge. This article demonstrates how interactive serious games on a multitouch table can help make connections tangible and comprehensible. The games and the table were used in various conversational contexts. These are presented here in three case vignettes based on participant observation of the different applications, as well as situated and shared reflection. The vignettes demonstrate how interaction can trigger epistemic processes, enable shifts in perspective, and foster collective thinking, all of which are necessary for shaping the future of society as a whole.
Industry 4.0 Science | Volume 42 | 2026 | Edition 2 | Pages 62-69
Experiencing Digital Twins in Production and Logistics

Experiencing Digital Twins in Production and Logistics

The fischertechnik® Learning Factory 4.0 as a development platform for possible expansion stages
Deike Gliem ORCID Icon, Sigrid Wenzel ORCID Icon, Jan Schickram, Tareq Albeesh
The fischertechnik® Learning Factory 4.0 has proven to be a suitable experimental environment for testing digital twins. Depending on the targeted maturity stage, the functions of a digital twin range from status monitoring and forecasting to the operational control of production and logistics systems. To systematically classify these functions, this article presents a maturity model that serves as a framework for the development of a digital twin. Building on this, selected use cases are implemented in a test and development environment based on a system architecture with multi-layered logic structure. These initial implementations serve to highlight application purposes, relevant methods, and typical challenges and potentials in the transfer to real factory environments.
Industry 4.0 Science | Volume 42 | Edition 2 | Pages 30-37 | DOI 10.30844/I4SE.26.2.30
Collaborative Robots in Production Environments

Collaborative Robots in Production Environments

Employee qualification and acceptance for human-machine interaction
Tobias Wienzek, Mathias Cuypers ORCID Icon
The introduction of new technologies poses a major challenge, especially for small and medium-sized enterprises (SMEs). At the same time, SMEs must rise to this challenge in order to keep pace technologically and economically. Employee acceptance is an important factor in ensuring that both the introduction and the long-term use of a technology are successful. At the same time, the introduction process also has a central influence on acceptance in the long term. This article uses the implementation of collaborative robotics as an example for examining such an introduction process, identifying the key factors that influence employee acceptance and the important role played by advanced employee training. It serves to highlight how the introduction process and employee training are seamlessly interlinked.
Industry 4.0 Science | Volume 42 | 2026 | Edition 2 | Pages 14-21 | DOI 10.30844/I4SE.26.2.14
XAI for Predicting and Nudging Worker Decision-Making

XAI for Predicting and Nudging Worker Decision-Making

Feasibility and perceived ethical issues
Jan-Phillip Herrmann ORCID Icon, Catharina Baier, Sven Tackenberg ORCID Icon, Verena Nitsch ORCID Icon
Explainable artificial intelligence (XAI)-based nudging, while ethically complex, may offer a favorable alternative to rigid, algorithmically generated schedules that simultaneously respects worker autonomy and improves overall scheduling performance on the shop floor. This paper presents a controlled laboratory study demonstrating the successful nudging of 28 industrial engineering students in a job shop simulation. The study shows that the observed concordance between students’ sequencing decisions and a predefined target sequence increases by 9% through nudging. This is done by using XAI to analyze students’ preferences and adjusting task deadlines and priorities in the simulation. The paper discusses the ethical issues of nudging, including potential manipulation, illusory autonomy, and reducing people to numbers. To mitigate these issues, it offers recommendations for implementing the XAI-based nudging approach in practice and highlights its strengths relative to rigid, ...
Industry 4.0 Science | Volume 42 | 2026 | Edition 1 | Pages 70-78
Improving Documentation Quality and Creating Time for Core Activities

Improving Documentation Quality and Creating Time for Core Activities

Success factors for implementing AI-based documentation systems in nursing care
Sophie Berretta ORCID Icon, Elisabeth Liedmann ORCID Icon, Paul-Fiete Kramer ORCID Icon, Anja Gerlmaier, Christopher Schmidt
Demographic change is accompanied by both a growing demand for care and a shortage of qualified nursing staff. Consequently, AI-based technologies are increasingly becoming a focus of care-related innovations. Their aim is to reduce workload pressure, save time, and enhance the attractiveness of the nursing profession. Using the example of AI-supported documentation systems for admission interviews, this article examines to what extent such systems can contribute to improvements in work processes and care quality, focusing on the perspectives of nursing professionals and nursing experts. The results indicate potential for workload relief, enhanced documentation quality, and the reallocation of time resources toward direct patient care. However, realizing these potentials requires a human-centered and context-sensitive implementation approach.
Industry 4.0 Science | Volume 42 | 2026 | Edition 1 | Pages 154-160 | DOI 10.30844/I4SE.26.1.146