Sustainable and Intelligent Additive Manufacturing |
Early Recognition of Manufacturing Defects in 3D-Printing with Artificial Intelligence
| Journal | Industrie 4.0 Management |
| Issue | Volume 39, 2023, Edition 2, Pages 56-59 |
| Bibliography | Share | Cite | Download |
Abstract
Keywords
Article
Additive Fertigungsverfahren, auch als 3D-Druck bekannt, werden weitläufig eingesetzt und finden Anwendung in vielen verschiedenen Bereichen vom Maschinenbau [1] bis hin zu Spezialanwendungen in der Biotechnologie [2]. Aufgrund einer einfachen Zugänglichkeit ist das filamentbasierte 3D-Druck-Verfahren (Fused Filament Fabrication, FFF) die am häufigsten eingesetzte Produktionstechnologie in der additiven Fertigung [3]. Bei dem FFF-Verfahren werden Bauteile additiv aus Kunststoff hergestellt, welcher in Form von drahtförmigem Filament dem Druckprozess zugeführt wird. Die Druckobjekte werden durch gezieltes Ablegen einzelner Bahnen aus geschmolzenem Kunststoff auf einem Druckbett schichtweise bis zum fertigen Modell aufgebaut.
Generell gilt die additive Fertigung als nachhaltiges Verfahren, da fast nur die für das Bauteil benötigte Menge an Material eingesetzt werden muss. Aufgrund von Fertigungsfehlern und Stützstrukturen für den Druckprozess entstehen bei diesem Verfahren allerdings auch Kunststoffabfälle. Während des Fertigungsprozesses können verschiedene Fehler auftreten, die sich in ihrer Ausprägung visuell unterscheiden.
Zu den schwerwiegenden Druckfehlern zählen jene, welche einen vollständigen Aufbau des Druckobjekts verhindern, beispielsweise durch Verstopfen der Extrusionsdüse oder Ablösen des unfertigen Bauteils vom Druckbett. Bei schwerwiegenden Druckfehlern ist das Bauteil unbrauchbar und wird als Ausschuss dem Kunststoffabfall zugeführt. Einer Studie [4] zufolge enden 34 % des beim Druckprozess eingesetzten Kunststoffs direkt als Kunststoffabfall, wovon wiederum 55 % auf fehlerhafte Drucke und 45 % auf Stützstrukturen zurückzuführen sind. Ein frühzeitiges Erkennen von Druckfehlern und das situationsbedingte Abbrechen des Druckvorgangs können den Materialeinsatz für Fehldrucke vermindern und somit die anfallende Menge an Abfallkunststoff erheblich reduzieren. Das frühzeitige Erkennen von Druckfehlern ist jedoch nur durch eine kontinuierliche Überwachung des Druckprozesses möglich.
Es existieren bereits einige Forschungsansätze zur Überwachung des Druckprozesses durch Verfahren der Künstlichen Intelligenz (KI), speziell durch Ansätze des maschinellen Sehens (engl. Computer Vision), um Druckfehler automatisiert zu erkennen [5, 6]. Auch kommerzielle Lösungen für das Überwachen des Druckprozesses sind bereits in der Entwicklung [7, 8]. Die autonomen Verfahren zur Drucküberwachung basieren auf künstlichen neuronalen Netzen, welche durch Bildmaterial auf die Erkennung von Fertigungsfehlern trainiert wurden. Zur Überwachung des Druckprozesses werden kontinuierlich Bilder des Druckfortschritts aufgezeichnet und Fertigungsfehler mithilfe der trainierten neuronalen Netze in Echtzeit aufgedeckt. Bei der Erkennung von Druckfehlern können so entsprechende Schritte, wie beispielsweise das automatisierte Anhalten oder Abbrechen des Druckauftrags, eingeleitet werden.
In dem von der Carl-Zeiss-Stiftung geförderten Forschungsprojekt “Effiziente, intelligente, generative Fertigung mit Recyclingkunststoffen durch KI-Optimierung (KI-GenF)” [9] geht es um die Frage, wie Methoden der nachhaltigen Produktion mit Verfahren der Künstlichen Intelligenz weiterentwickelt werden können. Neben der Verbesserung der Nachhaltigkeit des FFF-Druckverfahrens und dem Recycling von Kunststoffdruckabfällen werden KI-gestützte Methoden eingesetzt, um Druckfehler frühzeitig zu erkennen und dadurch die Menge an Druckabfällen zu reduzieren.
Diese Arbeit befasst sich mit der Erkennung von Druckfehlern durch Überwachung des Druckprozesses mit Kameras und künstlichen neuronalen Netzen. Hierbei werden im Gegensatz zu bisherigen Arbeiten mehrere Kameras verwendet, die den Druckprozess zeitgleich aus unterschiedlichen Perspektiven erfassen. Zunächst werden die schwerwiegendsten Druckfehler betrachtet, da hier das größte Einsparpotenzial für Kunststoffabfälle vorhanden ist. Neben dem Erzeugen und Annotieren von geeignetem Bildmaterial wird der Trainingsvorgang eines neuronalen Netzes beschrieben sowie die Leistung des Systems bei der Fehlererkennung erfasst und bewertet. Abschließend folgt ein Ausblick auf zukünftige Arbeiten.
Von der manuellen zur automatisierten Fehlererkennung
Druckfehler in der additiven Fertigung werden heute in vielen Fällen erst sehr spät erkannt. Typischerweise werden sie derzeit anhand ihrer visuellen Merkmale vom Betrachter identifiziert, der anschließend manuelle Gegenmaßnahmen einleitet, wie das Abbrechen oder Pausieren des Drucks.
Durch die nachhaltige Digitalisierung dieses Prozesses kann der Einsatz von Material und Zeit minimiert werden. Hierzu sind Methoden aus dem Bereich der Bildverarbeitung zur automatisierten Erfassung und Speicherung von Bilddaten notwendig. Des Weiteren werden Verfahren benötigt, die die visuellen Merkmale der Druckobjekte selbstständig, exakt und zuverlässig aus digitalen Bildern extrahieren und einer bestimmten Fehlerkategorie zuordnen können.
Tätigkeiten dieser Art werden heute in vielen Bereichen von künstlichen neuronalen Netzen übernommen [10]. Dabei handelt es sich um Computermodelle zur Mustererkennung, die Gesetzmäßigkeiten aus annotierten Daten erlernen und dieses Wissen zur automatisierten Lokalisierung und Klassifizierung von Bildinhalten einsetzen. In dieser wissenschaftlichen Arbeit wird die Modellarchitektur YOLOv5 [11] zum Erkennen von Druckfehlern eingesetzt. Sie zählt derzeit aufgrund ihrer Geschwindigkeit und ihrer Genauigkeit zu einer der beliebtesten Netzwerkarchitekturen im Bereich der Objekterkennung.
Aufnahmen von Druckfehlern werden gezielt erzeugt
Für eine zufriedenstellende Genauigkeit bei der Druckfehlererkennung wird eine große Menge an Bildaufnahmen von Fehldrucken benötigt. Um die Aufnahmen zeiteffizient und reproduzierbar zu generieren, wurden gezielt Fehldrucke herbeigeführt. Hierzu wurden die Druckdateien bzw. der G-Code, welchen der 3D-Drucker zum Ausführen des Druckprozesses nutzt, manipuliert. Auf diese Weise wurde ein schwerwiegender Druckfehler, der sogenannte „Spaghetti-Druck“ (Bild 1b), herbeigeführt.
Beim „Spaghetti-Druck“ können die vom Drucker extrudierten Kunststoffbahnen plötzlich nicht mehr mit dem bisherigen Druckobjekt verbunden werden und sammeln sich als gekräuselte Struktur unterhalb der Extrusionsdüse an. Dieses Verhalten entsteht im Druckprozess beispielsweise durch ein plötzliches Lösen des Druckobjekts vom Druckbett oder durch ein vorübergehendes Aussetzen der Extrusion.
Ein plötzliches Lösen des Druckobjekts kann z. B. durch ein verunreinigtes Druckbett oder unpassende Druckeinstellungen auftreten. Das Lösen des Druckobjekts wird durch einen Versatz des Druckkopfs in der Druckebene nachgebildet. Dabei wird der Druckkopf in einen Bereich versetzt, der ein Verschmelzen mit den darunterliegenden Schichten des Druckobjekts unmöglich macht und denselben Effekt wie ein plötzliches Lösen des Bauteils erzielt. Extrusionsaussetzer können durch ein zeitweises Verstopfen der Extrusionsdüse oder durch Probleme bei der Filamentzufuhr entstehen und durch einen Versatz des Druckkopfs in der Höhenachse nachgebildet werden.
Durch Manipulation der Druckdateien wurden für verschiedene Grundgeometrien (Würfel, Zylinder, Pyramide) Fehldrucke erzeugt und durch Kameras aus verschiedenen Ansichten Bildaufnahmen des Druckfehlers aufgenommen. Für die Erzeugung der Druckfehler wurden ein FFF-3D-Drucker (Prusa i3 MK3s, Prusa Research) verwendet und mehrere Kameras an einem um den Drucker aufgebauten Gestell aus Aluminiumprofilen platziert (Bild 1a).
Insgesamt wurden vier Kameras verwendet, um die Druckfehler zeitgleich aus verschiedenen Perspektiven aufzuzeichnen. Hierdurch konnte mit geringem Zeitaufwand und minimaler Anzahl von Fehldrucken eine für das Anlernen ausreichende Anzahl an Bildaufnahmen erzeugt werden. Ein am Gestell angebrachtes Beleuchtungsmodul sorgte für eine gleichmäßige Ausleuchtung des Druckraums. Neben der Erzeugung von Bildaufnahmen zum Anlernen der neuronalen Netze wurde der Aufbau ebenfalls zum Testen der Drucküberwachung verwendet.
Hohe Datenqualität durch sorgfältiges Annotieren
Zum frühzeitigen Erkennen von Druckfehlern kommt das sogenannte überwachte Lernen zum Einsatz, bei dem das neuronale Netzwerk mit annotierten Bilddaten trainiert wird, welche bereits der richtigen Fehlerkategorie zugeordnet sind. Nach dem Erzeugen des Bildmaterials muss dieses für das Training des neuronalen Netzes aufbereitet werden. Hierbei wird der zu erkennende Druckfehler auf jedem Bild mit einem eng umschließenden Begrenzungsrahmen markiert.
Dabei muss jede Instanz des sichtbaren Druckfehlers gekennzeichnet werden, da ein teilweises Markieren zu einer geringeren Leistung bei der späteren Objekterkennung führen kann. Beim Annotationsprozess wird jeder Begrenzungsrahmen der entsprechenden Fehlerkategorie zugeordnet. Anschließend wird für jedes Einzelbild eine Textdatei erzeugt, die den Namen des Fehlers sowie die Lage und die Größe der Begrenzungsrahmen enthält.
Für das Training des hier verwendeten neuronalen Netzwerks wird eine Bildmenge von mindestens 1500 annotierten Einzelbildern je Fehlerkategorie empfohlen [12]. In dieser Arbeit wurden insgesamt 1600 Bildaufnahmen für die automatisierte Erkennung der Fehlerkategorie “Spaghetti-Druck” manuell annotiert und so für das Training des künstlichen neuronalen Netzes aufbereitet. Zum Annotieren wurde das grafische Annotierungswerkzeug LabelImg [13] eingesetzt.
Druckfehlererkennung aus Bilddaten lernen
Während des Trainingsvorgangs durchläuft das annotierte Bildmaterial das neuronale Netzwerk in mehreren Durchgängen (Epochen). Hierbei werden die gewichteten Verbindungen des Netzwerks so angepasst, dass für einen Druckfehler auf einem Bild die richtige Fehlerkategorie möglichst genau vorhergesagt werden kann. Der Trainingsvorgang wird auch als Deep Learning [10] bezeichnet. Die verwendete Datenmenge wurde nach dem 80/20 Schema aufgeteilt. Hierbei werden 80 % der Daten für das Training, 10 % der Daten für das Validieren des Trainingsvorgangs und 10 % der Daten für das Testen des neuronalen Netzwerks verwendet.
Des Weiteren wurde darauf geachtet, dass 10 % der Trainingsdaten keinen Druckfehler zeigen, da so die Erkennung von falsch positiven Druckfehlern reduziert und die Gesamtgenauigkeit des Netzwerks erhöht werden kann. Zudem wurde die Anzahl der Epochen auf 30 festgesetzt, da bei einer höheren Epochenanzahl eine Überanpassung des Modells zu beobachten war, die zu einer geringeren Gesamtgenauigkeit des Modells führte.
Größere Datenmengen führen zu besseren Ergebnissen
Zur Leistungsbewertung wurde das neuronale Netzwerk mit unterschiedlich großen Bilddatenmengen jeweils über 30 Epochen trainiert, wobei die Bilddatenmenge von 200 Bildern schrittweise um jeweils 200 bis auf insgesamt 1600 Bilder erhöht wurde. Anschließend fand eine Erfassung der Leistungsmetriken für jede der Bilddatenmengen statt. In Bild 2 wird deutlich, dass gute Ergebnisse bereits mit geringen Datenmengen erzielt werden können.
Bei einer Datenmenge von 200 Bildern liegt die Genauigkeit des neuronalen Netzwerks bereits bei 75,2 %. Wie die Trendlinie zeigt, kann die Leistung der automatisierten Druckfehlererkennung durch eine größere und sorgfältig annotierte Trainingsdatenmenge verbessert werden. In diesem Experiment konnte eine Mean Average Precision (mAP) von 83 % bei der Erkennung des Druckfehlers “Spaghetti-Druck” erreicht werden.
Mit dem trainierten Netzwerk können Druckprozesse in Echtzeit überwacht werden. Die praktische Anwendung des trainierten Netzwerks ist in Bild 3 zu sehen.
Im weiteren Verlauf des Forschungsprojekts ist geplant, das vorgestellte Verfahren auf die automatisierte Erkennung von weiteren Druckfehlern in der additiven Fertigung zu übertragen. Des Weiteren soll durch eine dynamische Anpassung von Druckparametern automatisiert und in Echtzeit in den Druckprozess eingegriffen werden, um das Auftreten von Fehldrucken zu verringern und so die additive Fertigung nachhaltiger zu gestalten.
Dieser Beitrag entstand im Rahmen des Forschungsprojekts „Effiziente, intelligente, generative Fertigung mit Recyclingkunststoffen durch KI-Optimierung (KI-GenF)“, das von der Carl-Zeiss-Stiftung im Förderprogramm CZS Transfer mit bis zu 1 Mio. € gefördert wird.
Bibliography
[1] te Heesen, H.; Wahl, M.; Messemer, J. u. a.: Heterogene Einsatzfelder der generativen Fertigung. In: Industrie 4.0 Management 36 (2020) 4, S. 25-29.[2] Scherer, K.; Soerjawinata, W.; Schaefer, S. u. a.: Influence of wettability and surface design on the adhesion of terrestrial cyanobacteria to additive manufactured biocarriers. In: Bioprocess and Biosystems Engineering 45 (2022), S. 931-941. DOI: 10.1007/s00449-022-02712-0.
[3] Alsop, T.: Which 3D printing technologies do you use? URL: www.statista.com/statistics/560304/worldwide-survey-3d-printing-top-technologies, Abrufdatum 28.06.2022.
[4] Song, R.; Telenko, C.: Material end energy loss due to human and machine error in commercial FDM printers. In: Journal of Cleaner Production 148 (2017), S. 895-904.
[5] Fu, Y.; Downey, A.; Yuan, L. u. a.: In situ monitoring for fused filament fabrication process: A review. In: Additive Manufacturing 38 (2021). DOI: 10.1016/j.addma.2020.101749.
[6] Goh, G. D.; Sing, S. L.; Yeong, W. Y.: A review on machine learning in 3D printing: applications, potential, and challenges. In: Artificial Intelligence Review 54 (2021) 1, S. 63-94.
[7] Obico. URL: www.obico.io, Abrufdatum 21.09.2022.
[8] Mattalabs: Mattacloud. URL: https://matta.ai/products/mattacloud, Abrufdatum 21.09.2022.
[9] Carl-Zeiss-Stiftung: Forschungsprojekt KI-GenF. URL: www.carl-zeiss-stiftung.de/themen-projekte/uebersicht-projekte/detail/ki-genf, Abrufdatum 16.10.2022.
[10] LeCun, Y.; Bengio, Y.; Hinton, G.: Deep learning. In: Nature 521 (2015), S. 436-444. DOI: 10.1038/nature14539.
[11] Redmon, J.; Divvala, S.; Girshick, R. u. a.: You only look once: Unified, real-time object detection. In: Proceedings of the IEEE conference on computer vision and pattern recognition (2016), S. 779-788.
[12] YOLOv5 Documentation. URL: https://docs.ultralytics.com/tutorials/training-tips-best-results, Abrufdatum 25.10.2022.
[13] LabelImg. URL: https://github.com/ heartexlabs/labelImg, Abrufdatum 15.10.2022.
Your downloads
You might also be interested in
