Blinder Fleck für die Anordnung der Atome

Künstliche Intelligenz wird zunehmend eingesetzt, um Eigenschaften neuer Materialien vorherzusagen. Ein Forschungsteam aus Jena und den USA zeigt nun in einer im Fachjournal „Nature Computational Science“ Studie: Kommen dabei Sprachmodelle zum Einsatz, erfassen diese zwar zuverlässig, welche Atomsorten ein Material enthält. Informationen über deren räumliche Anordnung nutzen sie jedoch nur unzureichend. Selbst größere Modelle und mehr Trainingsdaten beheben diese Schwäche nicht. Für stark strukturabhängige Materialeigenschaften sind deshalb auf räumliche Strukturen spezialisierte KI-Modelle die verlässlichere Wahl. (DOI: 10.1038/s43588-026-01045-2)

Um Eigenschaften eines Materials vorherzusagen, muss ein KI-Modell wissen, welche Elemente es enthält und wie seine Atome räumlich angeordnet sind. „Gerade diese Anordnung ist in der Chemie häufig entscheidend“, sagt Dr. Kevin M. Jablonka, Leiter der Carl-Zeiss-Stiftungs-Nachwuchsgruppe „Polymere in Energieanwendungen“ an der Friedrich-Schiller-Universität Jena und assoziiertes Mitglied bei HIPOLE Jena. „Diamant und Graphit bestehen aus denselben Kohlenstoffatomen. Dennoch ist Diamant transparent und extrem hart, während Graphit weich und elektrisch leitfähig ist. Der Unterschied liegt in der Anordnung der Atome.“ Ob Sprachmodelle solche geometrischen Zusammenhänge tatsächlich erfassen oder vor allem die chemische Zusammensetzung nutzen, war bislang nur schwer zu beurteilen.

Um beides klar zu trennen, entwickelte das Team eigene Testdatensätze, in denen sich Position und chemische Identität der Atome unabhängig voneinander variieren ließen. Zugleich legten die Forschenden fest, wie stark ein künstlich berechneter, energieähnlicher Zielwert von der jeweiligen Information abhing. „So konnten wir sauber unterscheiden, was die Modelle tatsächlich gelernt hatten“, erklärt Erstautor Nawaf Alampara von der Friedrich-Schiller-Universität Jena. Bei realen Materialien ist das kaum möglich: Bestimmte Kombinationen von Elementen bilden bevorzugt bestimmte Strukturen. Ein Modell kann daher richtig liegen, ohne die räumliche Struktur angemessen zu erfassen.

In allen Testdatensätzen zeigte sich dasselbe Muster: Die Sprachmodelle lernten zuverlässig, welche Arten von Atomen vorhanden waren. Je stärker der Zielwert von deren Positionen abhing, desto größer wurden jedoch die Vorhersagefehler. Diesen Leistungsabfall bezeichnen die Forschenden als „Coordinate-Category Cliff“ – als Diskrepanz zwischen der Verarbeitung kategorialer und räumlicher Informationen. Analysen der internen Aufmerksamkeitssignale zeigten zudem, dass die Modelle die Koordinaten kaum nutzten.

Anschließend überprüfte das Team den Befund an realen Materialien. Mit dem eigens entwickelten Open-Source-Testsystem MatText stellte es Kristallstrukturen auf neun verschiedene Arten als Text dar. Zusätzliche geometrische Angaben brachten bei der Vorhersage von Bildungsenergien und mechanischen Eigenschaften häufig keinen Vorteil: Einfachere Darstellungen ohne explizite Koordinaten schnitten teilweise ebenso gut oder besser ab.

Auch durch Skalierung ließ sich die Schwäche nicht beheben. Weder Trainingsdatensätze mit bis zu zwei Millionen Strukturen noch Sprachmodelle mit bis zu 70 Milliarden Parametern verbesserten die Vorhersagen deutlich und verlässlich. Spezialisierte geometrische und graphbasierte neuronale Netze erzielten bei vergleichbaren Aufgaben dagegen geringere Fehler. „Es geht deshalb nicht um KI oder Nicht-KI“, betont Jablonka. „Entscheidend ist, dass das Werkzeug zum Problem passt.“ Sind räumliche Strukturen ausschlaggebend, bleiben eigens dafür entwickelte Modelle derzeit die verlässlichere Wahl.

Die Ergebnisse reichen über die Materialforschung hinaus. Sie zeigen, dass gute Vorhersagen allein nicht belegen, dass ein KI-Modell die dafür entscheidenden Zusammenhänge tatsächlich erfasst hat. „Gerade in den Naturwissenschaften müssen wir deshalb nicht nur prüfen, wie genau ein Modell vorhersagt, sondern auch, auf welche Informationen es seine Ergebnisse stützt“, sagt Jablonka. Die Studie entstand in einer Zusammenarbeit der Friedrich-Schiller-Universität Jena, mit HIPOLE Jena und den Intel Labs in den USA.

Das open-source Testsystem MAtText ist verfügbar unter https://lamalab-org.github.io/MatText/ 

Über HIPOLE Jena
Das Helmholtz-Institut für Polymere in Energieanwendungen (HIPOLE Jena) wurde 2020 als gemeinsame Initiative des Helmholtz-Zentrums Berlin (HZB) und der Friedrich-Schiller-Universität Jena (FSU Jena) gegründet. Es erforscht innovative polymere Materialien für nachhaltige Energietechnologien mit hoher Effizienz, Skalierbarkeit und mechanischer Flexibilität. Durch die enge Zusammenarbeit mit dem Zentrum für Energie- und Umweltchemie Jena (CEEC Jena) kombiniert HIPOLE Jena modernste Materialentwicklung mit hochpräziser Charakterisierung. Die Forschungsschwerpunkte reichen von polymerbasierten Batterien über Photovoltaik bis hin zu funktionalen selbstheilenden Materialien und nachhaltiger Chemie – mit dem Ziel, neue Wege für eine klimaneutrale Energiezukunft zu ebnen.

Über die Carl-Zeiss-Stiftung
Die Carl-Zeiss-Stiftung hat sich zum Ziel gesetzt, Freiräume für wissenschaftliche Durchbrüche zu schaffen. Als Partner exzellenter Wissenschaft unterstützt sie sowohl Grundlagenforschung als auch anwendungsorientierte Forschung und Lehre in den MINT-Fachbereichen (Mathematik, Informatik, Naturwissenschaften und Technik). 1889 von dem Physiker und Mathematiker Ernst Abbe gegründet, ist die Carl-Zeiss-Stiftung eine der ältesten und größten privaten wissenschaftsfördernden Stiftungen in Deutschland. Sie ist alleinige Eigentümerin der Carl Zeiss AG und SCHOTT AG. Ihre Projekte werden aus den Dividendenausschüttungen der beiden Stiftungsunternehmen finanziert.