Machinelles Lernen im Mikroskopielabor

Wie maschinelle Lernverfahren die Materialmikroskopie unterstützen

  • Jansche_Aufmacher_GIT0919_NEU.jpgJansche_Aufmacher_GIT0919_NEU.jpg
  • Jansche_Aufmacher_GIT0919_NEU.jpg
  • Abb. 1: Beispielhaftes Schema zum Training eines überwachten ML-Modells für Bilddaten [1].
  • Abb. 2: Multiphasensegmentierung einer Magnetlegierung für E-Maschinen durch pixelweise Klassifikation. Lichtmikroskopische Hellfeldaufnahme mit schwieriger Unterscheidung der sieben Bestandteile.
  • Abb. 2: Multiphasensegmentierung einer Magnetlegierung für E-Maschinen durch pixelweise Klassifikation.  Ergebnis einer ML-basierten Segmentierung mit zuverlässiger Unterscheidung der optisch ähnlichen Phasen nach Expertentraining des Algorithmus.
  • Abb. 2: Multiphasensegmentierung einer Magnetlegierung für E-Maschinen durch pixelweise Klassifikation.
  • Abb. 3: Automatisierte Schichtdickenvermessung über große Probenbereiche in Lithium-Ionen Zellen. Oben: Bildmontage. Ausschnitt einer großflächigen Aufnahme einer PHEV2-Zelle mit typischer Schichtstruktur aus Anoden, Kathoden und isolierenden Separatoren auf der linken Seite verläuft nach rechts in die Segmentierung in die zu vermessenden Aktivmaterialschichten (anodenseitig grün, kathodenseitig blau) sowie die dazwischenliegenden Separatoren und Ableiterfolien (rot). Die beide unteren Graphen: Beispielhafte Schichtdickenverläufe für je eine Anode und Kathode.
  • Abb. 3: Automatisierte Schichtdickenvermessung über große Probenbereiche in Lithium-Ionen Zellen. Oben: Bildmontage. Ausschnitt einer großflächigen Aufnahme einer PHEV2-Zelle mit typischer Schichtstruktur aus Anoden, Kathoden und isolierenden Separatoren auf der linken Seite verläuft nach rechts in die Segmentierung in die zu vermessenden Aktivmaterialschichten (anodenseitig grün, kathodenseitig blau) sowie die dazwischenliegenden Separatoren und Ableiterfolien (rot). Die beide unteren Graphen: Beispielhafte Schichtdickenverläufe für je eine Anode und Kathode.
  • Abb. 3: Automatisierte Schichtdickenvermessung über große Probenbereiche in Lithium-Ionen Zellen. Oben: Bildmontage. Ausschnitt einer großflächigen Aufnahme einer PHEV2-Zelle mit typischer Schichtstruktur aus Anoden, Kathoden und isolierenden Separatoren auf der linken Seite verläuft nach rechts in die Segmentierung in die zu vermessenden Aktivmaterialschichten (anodenseitig grün, kathodenseitig blau) sowie die dazwischenliegenden Separatoren und Ableiterfolien (rot). Die beide unteren Graphen: Beispielhafte Schichtdickenverläufe für je eine Anode und Kathode.
  • Abb. 3: Automatisierte Schichtdickenvermessung über große Probenbereiche in Lithium-Ionen Zellen. Oben: Bildmontage. Ausschnitt einer großflächigen Aufnahme einer PHEV2-Zelle mit typischer Schichtstruktur aus Anoden, Kathoden und isolierenden Separatoren auf der linken Seite verläuft nach rechts in die Segmentierung in die zu vermessenden Aktivmaterialschichten (anodenseitig grün, kathodenseitig blau) sowie die dazwischenliegenden Separatoren und Ableiterfolien (rot). Die beide unteren Graphen: Beispielhafte Schichtdickenverläufe für je eine Anode und Kathode.
  • Abb. 5: Beispiele von „worst picture galleries“ von Auffälligkeiten in der Gefügestruktur von Lithium-Ionen Batterien basierend auf CNN / Deep Learning.
  • Abb. 5: Beispiele von „worst picture galleries“ von Auffälligkeiten in der Gefügestruktur von  Sintermagneten, basierend auf CNN / Deep Learning.
  • Abb. 6: Beispiele automatisch erkannter Defekte bei einem Titan-Gussteil aus der Luftfahrtindustrie [9]. Farblich überlagert sind sog. Class Activation Heatmaps: Je roter ein Bereich, desto höher stuft das Netz den Bildbereich als Defekt ein.
  • Abb. 6: Beispiele automatisch erkannter Defekte bei einem Titan-Gussteil aus der Luftfahrtindustrie [9]. Farblich überlagert sind sog. Class Activation Heatmaps: Je roter ein Bereich, desto höher stuft das Netz den Bildbereich als Defekt ein.
  • Abb. 6: Beispiele automatisch erkannter Defekte bei einem Titan-Gussteil aus der Luftfahrtindustrie [9]. Farblich überlagert sind sog. Class Activation Heatmaps: Je roter ein Bereich, desto höher stuft das Netz den Bildbereich als Defekt ein.

Die Digitalisierung durchdringt zunehmend die Materialmikroskopie. Die mikroskopische Bildaufnahme läuft vermehrt automatisiert und ermöglicht so, große Probenbereiche, oder auch komplexe Werkstoffe digital abzubilden. Die datengetriebenen Methoden des maschinellen Lernens können hierbei unterstützen, relevante Informationen aus Bildern zu gewinnen und so die Arbeit im Labor zu vereinfachen und reproduzierbarer zu machen.

Maschinelles Lernen zur Analyse von Mikroskopiedaten

Maschinelles Lernen (ML) versucht Wissen implizit aus vorliegenden Daten zu erlernen. Der Computer lernt dabei anhand von Beispieldaten, welche das Problem möglichst allgemein beschreiben, in Verbindung mit einer zugehörigen Zielgröße wie zum Beispiel einer Bild- oder Materialeigenschaft. Ziel der ML-Verfahren ist, Muster in Daten zu erkennen und daraus Gesetzmäßigkeiten abzuleiten. Diese Muster können dabei auch komplexe, nichtlineare Zusammenhänge abbilden.

Maschinelles Lernen eignet sich besonders für Problemstellungen, in denen Ursache-Wirkungs-Zusammenhänge nicht vollständig bekannt oder aufgrund vieler Einflussgrößen durch den Menschen kaum erfassbar sind. Damit ML funktioniert, benötigt es eine ausreichende Menge qualitativ hochwertiger Daten, sowie Experten zum Labeln – sprich, dem Annotieren der Daten zum Trainieren der Algorithmen.

Multiphasensegmentierung als Basis der Quantitativen Gefügeanalyse

Die Segmentierung von Gefügebildern – also das Zerlegen der Bilder in die zu quantifizierenden Phasen und Bestandteile – ist eine zentrale Aufgabe in der Quantitativen Gefügeanalyse. Die Anforderungen an Genauigkeit und Reproduzierbarkeit sind hier besonders hoch. Herausfordernd sind mehrphasige Materialien, die sich im Mikroskop ähnlich abzeichnen. Ähnliche Grau- oder Farbstufen lassen sich mit üblichen schwellwertbasierten Verfahren kaum unterscheiden. Deutlich weniger anfällig ist hier die ML-basierte Klassifikation einzelner Pixel. Damit wird ermöglicht eine komplexe Magnetlegierung für E-Maschinen in qualitäts- und eigenschaftsrelevante Bestandteile zu differenzieren.

Auch gelingt es mit ML, die komplexe innere Schichtabfolge in einer Lithium-Ionen-Zelle bestehend aus Kathode, Anode und Separator optisch voneinander zu trennen und so großflächig einen Verlauf der Schichtdicke zu messen.

Dies ermöglicht Abweichungen von einer Spezifikation der Zellen zu messen. Für die Kontrolle der Herstellung und schließlich Anwendung der Lithium-Ionen Batterien für mobile oder stationäre Energiespeicher ist dies von Relevanz [2].

Daten bereinigen mit ML

Die Reinheit von Stählen – also die Messung nichtmetallischer Einschlüsse (NMI) – ist für deren Bearbeitbarkeit und mechanische Festigkeit wichtig. Für die Messung müssen Proben aufwendig poliert und für die Mikroskopie – oft nicht ausreichend genug – gereinigt werden. Präparationsartefakte wie Kratzer, Fremdpartikel oder Trockenflecken erscheinen nahezu identisch wie reale Einschlüsse. Bestehende Ansätze der Bildverarbeitung scheitern hier und können real von unreal nicht trennen. Ergebnis sind entweder verfälschte Daten oder ein hoher zeitlicher Nachbereitungsaufwand durch den Menschen. Genau hier kann maschinelles Lernen helfen, indem der Rechner mit einem zweistufigen Prozess darauf trainiert wurde, die realen Einschlüsse von den Artefakten auf Basis von Texturparametern im Bild zu unterscheiden. Mit diesem „bereinigten“ Bild kann so eine normgerechte Analyse (z.B. EN 10247, ASTM E45 oder ISO 4967) umgesetzt werden. Viel unnötige Nachbereitungszeit für den Operanden entfällt somit.

Auffälligkeiten? ML übernimmt die Suche…

Werkstoffe und Bauteile sind herstellungsbedingt nie fehlerfrei. Fehler können schlecht für Materialeigenschaften, durchaus aber auch relevant für die Sicherheit im Betrieb sein. Von besonderem Interesse für den Ingenieur ist es deshalb, diese Auffälligkeiten zu kennen, um deren Relevanz generell bewerten zu können. Hierfür werden auf bestimmte Strukturen trainierte tiefe künstliche neuronale Faltungsnetze – sogenannte Convolutional Neural Networks (CNN) - eingesetzt. Mit Hilfe dieser CNNs können in mikroskopischen Bildern von Li-Ionen Zellen sicherheitsrelevante Fremdeinschlüsse oder Deformationen – also auf auffällige Strukturen – automatisiert gefunden und in Form einer „worst picture gallery“ ausgegeben werden. Ein ähnlicher Ansatz wird bei Sintermagneten verfolgt. Hier sind es fehlerhafte oder inhomogene Gefügebereiche, die sich negativ auf Magneteigenschaften auswirken. In diesem Fall wurden diese über einen Anomalieerkennungsansatz detektiert, d.h. ein Generative Adversarial Network wurde nur mit fehlerfreien Bildausschnitten trainiert [2-6].

… auch zerstörungsfrei hochpräzise und reproduzierbar: ML für NDT

Automatisierte ML-Verfahren wie CNNs werden auch für die zerstörungsfreie Werkstoffprüfung (engl.: Non-destructive testing, NDT), wie z.B. die Röntgentomografie, Ultraschallmikroskopie oder Thermografie relevant. Ergebnisse der CNNs sind zu 100% reproduzierbar. Mit Erkennungsraten von teilweise über 99% auch zuverlässiger als eine rein visuelle Bildauswertung durch den Menschen. Ansätze mit ML sind in sicherheitskritischen Branchen, wie z.B. bei der Röntgenprüfung von Bauteilen in der Luftfahrt besonders interessant. Leider kann das Ergebnis je nach Prüfer hier stark schwanken. Die Identifikation und Charakterisierung von potenziellen Defektstellen ist deshalb fehleranfällig. CNNs können signifikant dazu beitragen die Fehlerrate zu senken. Jedoch muss auch hervorgehoben werden, dass die ML-Verfahren von den Experten ausreichend trainiert werden müssen [7,8].

Maschinelles Lernen bereit für den Einsatz?!

Die vorgestellten Ansätze bieten enorme Potentiale, zeitaufwändige oder repetitive Auswertungen in der Mikroskopie zu automatisieren. Viele Routineaufgaben sind jetzt schon lösbar. Noch mehr Möglichkeiten bieten tiefe CNNs. Diese sind zwar rechenintensiver als klassische ML-Methoden, dafür aber in der Lage selbstständig relevante Merkmale aus den Bildern zu extrahieren. Dadurch werden hauptsächlich für die Fragestellung relevante Merkmale berücksichtigt. In vielen Domänen haben sich CNNs bereits zum Spitzenreiter gegenüber klassischer ML-Methoden und der digitalen Bildverarbeitung entwickelt. Sie übertreffen oft schon den Menschen. Eine Vision im Feld der Materialmikroskopie ist es, die Methoden nicht nur zur Quantifizierung und Bewertung zu nutzen, sondern die gewonnenen Informationen auch mit Fertigungsparametern und/oder Anwendungseigenschaften der Materialien zu verknüpfen [10].
 

Autoren
Andreas Jansche1, Amit Kumar Choudhary1, Olatomiwa Badmos1, Hermann Baumgartl1, Daniel Sauter1, Timo Bernthaler1, Ricardo Büttner1, Gerhard Schneider1

Zugehörigkeit
1Institut für Materialforschung (IMFAA), Hochschule Aalen, Aaalen, Deutschland

Kontakt
Andreas Jansche

Institut für Materialforschung (IMFAA)
Hochschule Aalen
Aaalen, Deutschland
andreas.jansche@hs-aalen.de
www.hs-aalen.de/imfaa

 

Weitere Beiträge zum Thema

Literatur

[1] A. Jansche, A.-K. Choudhary, O. Badmos, H. Baumgartl, T. Bernthaler, R. Büttner, G. Schneider: „Künstliche Intelligenz in der Materialmikroskopie", Jahresmagazin Ingenieurwissenschaften / Werkstofftechnik 2019, S. 14-17
[2] A. Jansche, F. Trier, A. Kopp, P. Schirle, T. Bernthaler, U. Klauck, G. Schneider: Maschinelles Lernen zur Quantifizierung und Defekterkennung an lichtmikroskopischen Bildern prismatischer Li-Ionen Zellen, Tagungsband des 22 Workshop Farbbildverarbeitung 2016 in Ilmenau, 61–74 (2016)
[3] Y. LeCun, Y. Bengio, G. Hinton: Deep learning, Nature, Vol. 521, 7553, 436–444 (2015)
[4] H. Baumgartl, R. Buettner, T. Bernthaler, I. J. Timm, A. Jansche, G. Schneider: Colored micrographs significantly outperform grayscale ones in modern machine learning, in MCM 2017 Proceedings, 99–101 (2017)
[5] O. Badmos, A. Jansche, T. Bernthaler, G. Schneider: Application of deep learning in materials microscopy to evaluate Lithium-Ion batteries, in DGaO-Proceedings 2018, Aalen (2018)
[6] A. Jansche, O. Badmos, A. K. Choudhary, T. Bernthaler, G. Schneider: Machine Learning als Tool in der Materialmikroskopie, in DGaO-Proceedings 2018, Aalen (2018)
[7] H. Baumgartl, J. Tomas, R. Buettner, M. Merkel: A novel Deep-Learning Approach for Automated Non-Destructive Testing in Quality Assurance based on Convolutional Neural Networks, in ACEX-2019 Proceedings, Athen [2019]
[8] M. Bertović: Human Factors in Non-Destructive Testing (NDT): Risks and Challenges of Mechanised NDT, Dissertation, Universität Berlin, Berlin [2015]
[9] Anton du Plessis, Pierre Rossouw: X-ray computed tomography of a titanium aerospace investment casting, Case Studies in Nondestructive Testing and Evaluation, Vol. 3, 21-26 (2015)
[10] A. Fuchs, T. Bernthaler, B. Stahl, U. Klauck, B. Reinsch, G. Schneider: Bildanalyse komplexer Werkstoffgefüge durch Texturanalyse und Korrelation mit den Eigenschaften durch neuronale Netze, Zeitschrift für Metallkunde, Vol. 92, 8, 979 -985 (2001)
 

Kontaktieren

Hochschule Aalen
Beethovenstraße 1
73430 Aalen

Jetzt registrieren!

Die neusten Informationen direkt per Newsletter.

To prevent automated spam submissions leave this field empty.