{"id":94787,"date":"2023-04-15T12:00:00","date_gmt":"2023-04-15T10:00:00","guid":{"rendered":"https:\/\/industry-science.com\/?post_type=article&p=94787"},"modified":"2024-07-12T16:02:43","modified_gmt":"2024-07-12T14:02:43","slug":"sustainable-and-intelligent-additive-manufacturing-early-recognition-of-manufacturing-defects-in-3d-printing-with-artificial-intelligence","status":"publish","type":"article","link":"https:\/\/industry-science.com\/en\/articles\/sustainable-and-intelligent-additive-manufacturing-early-recognition-of-manufacturing-defects-in-3d-printing-with-artificial-intelligence\/","title":{"rendered":"Sustainable and Intelligent Additive Manufacturing"},"content":{"rendered":"\n

Additive Fertigungsverfahren, auch als 3D-Druck bekannt, werden weitl\u00e4ufig eingesetzt und finden Anwendung in vielen verschiedenen Bereichen vom Maschinenbau [1] bis hin zu Spezialanwendungen in der Biotechnologie [2]. Aufgrund einer einfachen Zug\u00e4nglichkeit ist das filamentbasierte 3D-Druck-Verfahren (Fused Filament Fabrication, FFF) die am h\u00e4ufigsten eingesetzte Produktionstechnologie in der additiven Fertigung [3]. Bei dem FFF-Verfahren werden Bauteile additiv aus Kunststoff hergestellt, welcher in Form von drahtf\u00f6rmigem Filament dem Druckprozess zugef\u00fchrt wird. Die Druckobjekte werden durch gezieltes Ablegen einzelner Bahnen aus geschmolzenem Kunststoff auf einem Druckbett schichtweise bis zum fertigen Modell aufgebaut.<\/p>\n\n

Generell gilt die additive Fertigung als nachhaltiges Verfahren, da fast nur die f\u00fcr das Bauteil ben\u00f6tigte Menge an Material eingesetzt werden muss. Aufgrund von Fertigungsfehlern und St\u00fctzstrukturen f\u00fcr den Druckprozess entstehen bei diesem Verfahren allerdings auch Kunststoffabf\u00e4lle. W\u00e4hrend des Fertigungsprozesses k\u00f6nnen verschiedene Fehler auftreten, die sich in ihrer Auspr\u00e4gung visuell unterscheiden.<\/p>\n\n

Zu den schwerwiegenden Druckfehlern z\u00e4hlen jene, welche einen vollst\u00e4ndigen Aufbau des Druckobjekts verhindern, beispielsweise durch Verstopfen der Extrusionsd\u00fcse oder Abl\u00f6sen des unfertigen Bauteils vom Druckbett. Bei schwerwiegenden Druckfehlern ist das Bauteil unbrauchbar und wird als Ausschuss dem Kunststoffabfall zugef\u00fchrt. Einer Studie [4] zufolge enden 34 % des beim Druckprozess eingesetzten Kunststoffs direkt als Kunststoffabfall, wovon wiederum 55 % auf fehlerhafte Drucke und 45 % auf St\u00fctzstrukturen zur\u00fcckzuf\u00fchren sind. Ein fr\u00fchzeitiges Erkennen von Druckfehlern und das situationsbedingte Abbrechen des Druckvorgangs k\u00f6nnen den Materialeinsatz f\u00fcr Fehldrucke vermindern und somit die anfallende Menge an Abfallkunststoff erheblich reduzieren. Das fr\u00fchzeitige Erkennen von Druckfehlern ist jedoch nur durch eine kontinuierliche \u00dcberwachung des Druckprozesses m\u00f6glich.<\/p>\n\n

Es existieren bereits einige Forschungsans\u00e4tze zur \u00dcberwachung des Druckprozesses durch Verfahren der K\u00fcnstlichen Intelligenz (KI), speziell durch Ans\u00e4tze des maschinellen Sehens (engl. Computer Vision), um Druckfehler automatisiert zu erkennen [5, 6]. Auch kommerzielle L\u00f6sungen f\u00fcr das \u00dcberwachen des Druckprozesses sind bereits in der Entwicklung [7, 8]. Die autonomen Verfahren zur Druck\u00fcberwachung basieren auf k\u00fcnstlichen neuronalen Netzen, welche durch Bildmaterial auf die Erkennung von Fertigungsfehlern trainiert wurden. Zur \u00dcberwachung des Druckprozesses werden kontinuierlich Bilder des Druckfortschritts aufgezeichnet und Fertigungsfehler mithilfe der trainierten neuronalen Netze in Echtzeit aufgedeckt. Bei der Erkennung von Druckfehlern k\u00f6nnen so entsprechende Schritte, wie beispielsweise das automatisierte Anhalten oder Abbrechen des Druckauftrags, eingeleitet werden.<\/p>\n\n

In dem von der Carl-Zeiss-Stiftung gef\u00f6rderten Forschungsprojekt \u201cEffiziente, intelligente, generative Fertigung mit Recyclingkunststoffen durch KI-Optimierung (KI-GenF)\u201d [9] geht es um die Frage, wie Methoden der nachhaltigen Produktion mit Verfahren der K\u00fcnstlichen Intelligenz weiterentwickelt werden k\u00f6nnen. Neben der Verbesserung der Nachhaltigkeit des FFF-Druckverfahrens und dem Recycling von Kunststoffdruckabf\u00e4llen werden KI-gest\u00fctzte Methoden eingesetzt, um Druckfehler fr\u00fchzeitig zu erkennen und dadurch die Menge an Druckabf\u00e4llen zu reduzieren.<\/p>\n\n

Diese Arbeit befasst sich mit der Erkennung von Druckfehlern durch \u00dcberwachung des Druckprozesses mit Kameras und k\u00fcnstlichen neuronalen Netzen. Hierbei werden im Gegensatz zu bisherigen Arbeiten mehrere Kameras verwendet, die den Druckprozess zeitgleich aus unterschiedlichen Perspektiven erfassen. Zun\u00e4chst werden die schwerwiegendsten Druckfehler betrachtet, da hier das gr\u00f6\u00dfte Einsparpotenzial f\u00fcr Kunststoffabf\u00e4lle vorhanden ist. Neben dem Erzeugen und Annotieren von geeignetem Bildmaterial wird der Trainingsvorgang eines neuronalen Netzes beschrieben sowie die Leistung des Systems bei der Fehlererkennung erfasst und bewertet. Abschlie\u00dfend folgt ein Ausblick auf zuk\u00fcnftige Arbeiten.<\/p>\n\n

Von der manuellen zur automatisierten Fehlererkennung<\/h2>\n\n

Druckfehler in der additiven Fertigung werden heute in vielen F\u00e4llen erst sehr sp\u00e4t erkannt. Typischerweise werden sie derzeit anhand ihrer visuellen Merkmale vom Betrachter identifiziert, der anschlie\u00dfend manuelle Gegenma\u00dfnahmen einleitet, wie das Abbrechen oder Pausieren des Drucks.<\/p>\n\n

Durch die nachhaltige Digitalisierung dieses Prozesses kann der Einsatz von Material und Zeit minimiert werden. Hierzu sind Methoden aus dem Bereich der Bildverarbeitung zur automatisierten Erfassung und Speicherung von Bilddaten notwendig. Des Weiteren werden Verfahren ben\u00f6tigt, die die visuellen Merkmale der Druckobjekte selbstst\u00e4ndig, exakt und zuverl\u00e4ssig aus digitalen Bildern extrahieren und einer bestimmten Fehlerkategorie zuordnen k\u00f6nnen.<\/p>\n\n

T\u00e4tigkeiten dieser Art werden heute in vielen Bereichen von k\u00fcnstlichen neuronalen Netzen \u00fcbernommen [10]. Dabei handelt es sich um Computermodelle zur Mustererkennung, die Gesetzm\u00e4\u00dfigkeiten aus annotierten Daten erlernen und dieses Wissen zur automatisierten Lokalisierung und Klassifizierung von Bildinhalten einsetzen. In dieser wissenschaftlichen Arbeit wird die Modellarchitektur YOLOv5 [11] zum Erkennen von Druckfehlern eingesetzt. Sie z\u00e4hlt derzeit aufgrund ihrer Geschwindigkeit und ihrer Genauigkeit zu einer der beliebtesten Netzwerkarchitekturen im Bereich der Objekterkennung.<\/p>\n\n

Aufnahmen von Druckfehlern werden gezielt erzeugt<\/h2>\n\n

F\u00fcr eine zufriedenstellende Genauigkeit bei der Druckfehlererkennung wird eine gro\u00dfe Menge an Bildaufnahmen von Fehldrucken ben\u00f6tigt. Um die Aufnahmen zeiteffizient und reproduzierbar zu generieren, wurden gezielt Fehldrucke herbeigef\u00fchrt. Hierzu wurden die Druckdateien bzw. der G-Code, welchen der 3D-Drucker zum Ausf\u00fchren des Druckprozesses nutzt, manipuliert. Auf diese Weise wurde ein schwerwiegender Druckfehler, der sogenannte \u201eSpaghetti-Druck\u201c (Bild 1b), herbeigef\u00fchrt.<\/p>\n\n

Beim \u201eSpaghetti-Druck\u201c k\u00f6nnen die vom Drucker extrudierten Kunststoffbahnen pl\u00f6tzlich nicht mehr mit dem bisherigen Druckobjekt verbunden werden und sammeln sich als gekr\u00e4uselte Struktur unterhalb der Extrusionsd\u00fcse an. Dieses Verhalten entsteht im Druckprozess beispielsweise durch ein pl\u00f6tzliches L\u00f6sen des Druckobjekts vom Druckbett oder durch ein vor\u00fcbergehendes Aussetzen der Extrusion.<\/p>\n\n

Ein pl\u00f6tzliches L\u00f6sen des Druckobjekts kann z. B. durch ein verunreinigtes Druckbett oder unpassende Druckeinstellungen auftreten. Das L\u00f6sen des Druckobjekts wird durch einen Versatz des Druckkopfs in der Druckebene nachgebildet. Dabei wird der Druckkopf in einen Bereich versetzt, der ein Verschmelzen mit den darunterliegenden Schichten des Druckobjekts unm\u00f6glich macht und denselben Effekt wie ein pl\u00f6tzliches L\u00f6sen des Bauteils erzielt. Extrusionsaussetzer k\u00f6nnen durch ein zeitweises Verstopfen der Extrusionsd\u00fcse oder durch Probleme bei der Filamentzufuhr entstehen und durch einen Versatz des Druckkopfs in der H\u00f6henachse nachgebildet werden.<\/p>\n\n

\"3D-Drucker
Bild 1: 3D-Drucker mit Kamerasystem zur \u00dcberwachung des Druckprozesses und Erkennung von Fertigungsfehlern (a) und Bildaufnahme eines \u201eSpaghetti-Drucks\u201c (b) mit dem Versuchsaufbau.<\/em><\/figcaption><\/figure>\n\n

Durch Manipulation der Druckdateien wurden f\u00fcr verschiedene Grundgeometrien (W\u00fcrfel, Zylinder, Pyramide) Fehldrucke erzeugt und durch Kameras aus verschiedenen Ansichten Bildaufnahmen des Druckfehlers aufgenommen. F\u00fcr die Erzeugung der Druckfehler wurden ein FFF-3D-Drucker (Prusa i3 MK3s, Prusa Research) verwendet und mehrere Kameras an einem um den Drucker aufgebauten Gestell aus Aluminiumprofilen platziert (Bild 1a).<\/p>\n\n

Insgesamt wurden vier Kameras verwendet, um die Druckfehler zeitgleich aus verschiedenen Perspektiven aufzuzeichnen. Hierdurch konnte mit geringem Zeitaufwand und minimaler Anzahl von Fehldrucken eine f\u00fcr das Anlernen ausreichende Anzahl an Bildaufnahmen erzeugt werden. Ein am Gestell angebrachtes Beleuchtungsmodul sorgte f\u00fcr eine gleichm\u00e4\u00dfige Ausleuchtung des Druckraums. Neben der Erzeugung von Bildaufnahmen zum Anlernen der neuronalen Netze wurde der Aufbau ebenfalls zum Testen der Druck\u00fcberwachung verwendet.<\/p>\n\n

Hohe Datenqualit\u00e4t durch sorgf\u00e4ltiges Annotieren<\/h2>\n\n

Zum fr\u00fchzeitigen Erkennen von Druckfehlern kommt das sogenannte \u00fcberwachte Lernen zum Einsatz, bei dem das neuronale Netzwerk mit annotierten Bilddaten trainiert wird, welche bereits der richtigen Fehlerkategorie zugeordnet sind. Nach dem Erzeugen des Bildmaterials muss dieses f\u00fcr das Training des neuronalen Netzes aufbereitet werden. Hierbei wird der zu erkennende Druckfehler auf jedem Bild mit einem eng umschlie\u00dfenden Begrenzungsrahmen markiert.<\/p>\n\n

Dabei muss jede Instanz des sichtbaren Druckfehlers gekennzeichnet werden, da ein teilweises Markieren zu einer geringeren Leistung bei der sp\u00e4teren Objekterkennung f\u00fchren kann. Beim Annotationsprozess wird jeder Begrenzungsrahmen der entsprechenden Fehlerkategorie zugeordnet. Anschlie\u00dfend wird f\u00fcr jedes Einzelbild eine Textdatei erzeugt, die den Namen des Fehlers sowie die Lage und die Gr\u00f6\u00dfe der Begrenzungsrahmen enth\u00e4lt.<\/p>\n\n

F\u00fcr das Training des hier verwendeten neuronalen Netzwerks wird eine Bildmenge von mindestens 1500 annotierten Einzelbildern je Fehlerkategorie empfohlen [12]. In dieser Arbeit wurden insgesamt 1600 Bildaufnahmen f\u00fcr die automatisierte Erkennung der Fehlerkategorie \u201cSpaghetti-Druck\u201d manuell annotiert und so f\u00fcr das Training des k\u00fcnstlichen neuronalen Netzes aufbereitet. Zum Annotieren wurde das grafische Annotierungswerkzeug LabelImg [13] eingesetzt.<\/p>\n\n

Druckfehlererkennung aus Bilddaten lernen<\/h2>\n\n

W\u00e4hrend des Trainingsvorgangs durchl\u00e4uft das annotierte Bildmaterial das neuronale Netzwerk in mehreren Durchg\u00e4ngen (Epochen). Hierbei werden die gewichteten Verbindungen des Netzwerks so angepasst, dass f\u00fcr einen Druckfehler auf einem Bild die richtige Fehlerkategorie m\u00f6glichst genau vorhergesagt werden kann. Der Trainingsvorgang wird auch als Deep Learning [10] bezeichnet. Die verwendete Datenmenge wurde nach dem 80\/20 Schema aufgeteilt. Hierbei werden 80 % der Daten f\u00fcr das Training, 10 % der Daten f\u00fcr das Validieren des Trainingsvorgangs und 10 % der Daten f\u00fcr das Testen des neuronalen Netzwerks verwendet. <\/p>\n\n

\n
\n
\"Genauigkeit
Bild 2: Genauigkeit des neuronalen Netzwerks bei steigender Trainingsdatenmenge. Die Trendlinie zeigt, dass die Leistung des Netzwerks mit steigender Trainingsdatenmenge zunimmt.<\/em><\/figcaption><\/figure>\n<\/div>\n\n\n\n
\n

Des Weiteren wurde darauf geachtet, dass 10 % der Trainingsdaten keinen Druckfehler zeigen, da so die Erkennung von falsch positiven Druckfehlern reduziert und die Gesamtgenauigkeit des Netzwerks erh\u00f6ht werden kann. Zudem wurde die Anzahl der Epochen auf 30 festgesetzt, da bei einer h\u00f6heren Epochenanzahl eine \u00dcberanpassung des Modells zu beobachten war, die zu einer geringeren Gesamtgenauigkeit des Modells f\u00fchrte.<\/p>\n<\/div>\n<\/div>\n\n

Gr\u00f6\u00dfere Datenmengen f\u00fchren zu besseren Ergebnissen<\/h2>\n\n

Zur Leistungsbewertung wurde das neuronale Netzwerk mit unterschiedlich gro\u00dfen Bilddatenmengen jeweils \u00fcber 30 Epochen trainiert, wobei die Bilddatenmenge von 200 Bildern schrittweise um jeweils 200 bis auf insgesamt 1600 Bilder erh\u00f6ht wurde. Anschlie\u00dfend fand eine Erfassung der Leistungsmetriken f\u00fcr jede der Bilddatenmengen statt. In Bild 2 wird deutlich, dass gute Ergebnisse bereits mit geringen Datenmengen erzielt werden k\u00f6nnen.<\/p>\n\n

Bei einer Datenmenge von 200 Bildern liegt die Genauigkeit des neuronalen Netzwerks bereits bei 75,2 %. Wie die Trendlinie zeigt, kann die Leistung der automatisierten Druckfehlererkennung durch eine gr\u00f6\u00dfere und sorgf\u00e4ltig annotierte Trainingsdatenmenge verbessert werden. In diesem Experiment konnte eine Mean Average Precision (mAP) von 83 % bei der Erkennung des Druckfehlers \u201cSpaghetti-Druck\u201d erreicht werden.<\/p>\n\n

Mit dem trainierten Netzwerk k\u00f6nnen Druckprozesse in Echtzeit \u00fcberwacht werden. Die praktische Anwendung des trainierten Netzwerks ist in Bild 3 zu sehen.<\/p>\n\n

\"Aufnahme
Bild 3: Aufnahme eines 3D-Drucks nach automatisierter Druckfehlererkennung mit drei gefundenen Instanzen eines Druckfehlers und Wahrscheinlichkeitswerten zwischen 79 % und 88 %.<\/em><\/figcaption><\/figure>\n\n

Im weiteren Verlauf des Forschungsprojekts ist geplant, das vorgestellte Verfahren auf die automatisierte Erkennung von weiteren Druckfehlern in der additiven Fertigung zu \u00fcbertragen. Des Weiteren soll durch eine dynamische Anpassung von Druckparametern automatisiert und in Echtzeit in den Druckprozess eingegriffen werden, um das Auftreten von Fehldrucken zu verringern und so die additive Fertigung nachhaltiger zu gestalten.<\/p>\n\n

Dieser Beitrag entstand im Rahmen des Forschungsprojekts \u201eEffiziente, intelligente, generative Fertigung mit Recyclingkunststoffen durch KI-Optimierung (KI-GenF)\u201c, das von der Carl-Zeiss-Stiftung im F\u00f6rderprogramm CZS Transfer mit bis zu 1 Mio. \u20ac gef\u00f6rdert wird.<\/em><\/p>\n

Bibliography <\/h2>[1] te Heesen, H.; Wahl, M.; Messemer, J. u. a.: Heterogene Einsatzfelder der generativen Fertigung. In: Industrie 4.0 Management 36 (2020) 4, S. 25-29.\r
[2] Scherer, K.; Soerjawinata, W.; Schaefer, S. u. a.: Influence of wettability and surface design on the adhesion of terrestrial cyanobacteria to additive manufactured biocarriers. In: Bioprocess and Biosystems Engineering 45 (2022), S. 931-941. DOI: 10.1007\/s00449-022-02712-0.\r
[3] Alsop, T.: Which 3D printing technologies do you use? URL: www.statista.com\/statistics\/560304\/worldwide-survey-3d-printing-top-technologies, Abrufdatum 28.06.2022.\r
[4] Song, R.; Telenko, C.: Material end energy loss due to human and machine error in commercial FDM printers. In: Journal of Cleaner Production 148 (2017), S. 895-904.\r
[5] Fu, Y.; Downey, A.; Yuan, L. u. a.: In situ monitoring for fused filament fabrication process: A review. In: Additive Manufacturing 38 (2021). DOI: 10.1016\/j.addma.2020.101749.\r
[6] Goh, G. D.; Sing, S. L.; Yeong, W. Y.: A review on machine learning in 3D printing: applications, potential, and challenges. In: Artificial Intelligence Review 54 (2021) 1, S. 63-94.\r
[7] Obico. URL: www.obico.io, Abrufdatum 21.09.2022.\r
[8] Mattalabs: Mattacloud. URL: https:\/\/matta.ai\/products\/mattacloud, Abrufdatum 21.09.2022.\r
[9] Carl-Zeiss-Stiftung: Forschungsprojekt KI-GenF. URL: www.carl-zeiss-stiftung.de\/themen-projekte\/uebersicht-projekte\/detail\/ki-genf, Abrufdatum 16.10.2022.\r
[10] LeCun, Y.; Bengio, Y.; Hinton, G.: Deep learning. In: Nature 521 (2015), S. 436-444. DOI: 10.1038\/nature14539.\r
[11] Redmon, J.; Divvala, S.; Girshick, R. u. a.: You only look once: Unified, real-time object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition (2016), S. 779-788.\r
[12] YOLOv5 Documentation. URL: https:\/\/docs.ultralytics.com\/tutorials\/training-tips-best-results, Abrufdatum 25.10.2022.\r
[13] LabelImg. URL: https:\/\/github.com\/ heartexlabs\/labelImg, Abrufdatum 15.10.2022.<\/div>

Your downloads<\/h2>