EXA4MIND: Tools für die Datenanalyse mit KI auf Supercomputern

Das europäische Forschungsprojekt EXA4MIND stellt Werkzeuge und vorgefertigte Arbeitsabläufe bereit, mit denen sich extrem große und vielfältige Datenmengen einfacher erfassen, verwalten und analysieren lassen.

Mehr als 25 wissenschaftliche Paper und Studien in knapp vier Jahren, 30 Schulungen und Workshops zur Analyse und Verarbeitung von Daten mit Künstlicher Intelligenz (KI), außerdem eine Online-Plattform mit Links zu nützlichen Tools und ausführlicher Dokumentation: Das ist die Bilanz des europäischen Forschungsprojektes „Extreme Analytics for Mining Data Spaces“ oder EXA4MIND. Zehn Universitäten, Institute und Unternehmen nutzten die Ressourcen europäischer High Performance Computing- oder HPC-Zentren und erarbeiteten Tools und Schnittstellen, um auf Basis von Open-Source-Software und -Bibliotheken modulare Workflows rund um die Datenanalyse mit Supercomputern zu schaffen. Damit erschließen Forschende Datenbanken, verwalten Forschungsdaten und -Ergebnisse oder werten Big Data mit KI-Methoden aus. Koordiniert wurde dies vom Nationalen Supercomputing-Zentrum Tschechien, IT4Innovations, auch mit Unterstützung des Leibniz-Rechenzentrums (LRZ).

„EXA4MIND vereint High Performance- mit Cloud Computing, KI und Datenanalyse sowie professionelles Datenmanagement in Europa, um Datensätze zu erschließen, die vielfältiger und größer sind als übliche Big-Data-Bestände“, erklärt Dr. Stephan Hachinger, Teamleiter Forschungsdaten-Management am LRZ. „Forschende und mittelständische Unternehmen finden auf der Plattform Tools, mit denen sie ihre eigenen Analyse-Workflows über verschiedene Rechenressourcen und Speicherlösungen hinweg automatisieren sowie ihre Daten professionell nach den FAIR-Prinzipien indexieren, katalogisieren und veröffentlichen können.“ Dadurch sind Auswertungen von Menschen und Maschinen online auffindbar.

KI-Workflows für HPC-Systeme

Hintergrund dieser Bemühungen sind zum einen die stetig steigenden Datenmengen und der zunehmende Einsatz von KI in Wissenschaft und Industrie. Zum anderen arbeiten immer mehr Forschende in Unternehmen und Universitäten mit Cloud-Technologien, sie benötigen dazu mehr Know-how, um eigene Abläufe für die Datenanalyse aufzusetzen und dabei Supercomputer einzubeziehen. In den meisten leistungsstarken Rechnern arbeiten heute Graphics Processing Units (GPU), die neben klassischen Simulationsberechnungen auch KI-Methoden wie Computer Vision oder Machine Learning ermöglichen. Während jedoch in der Wirtschaft Datenbanken, Objektspeicher oder Datenstreaming-Techniken den Einsatz von KI unterstützen, passen HPC-Zentren dafür meist nur Dateisysteme, Netzwerk-Anbindungen oder Ein- und Ausgabebibliotheken an. Sie vertrauen darauf, dass versierte Nutzerinnen routiniert mit den Systemen umgehen. Doch KI bringt neue Anwenderinnen an die Zentren, die mit bestehenden Modellen Forschungsdaten auswerten. Gefragt sind daher interoperable Werkzeuge, auch standardisierte Worfklows, die den Einstig ins KI-getriebene Supercomputing erleichtern.

EXA4MIND stellt für die Arbeit an Supercomputing-Zentren Anleitungen für die Installation von Daten-Backends wie Vektordatenbanken oder Objektspeicher bereit sowie Hinweise, wann diese im Vergleich zu klassischer Speicherung Vorteile bringen. Das „Advanced Query and Indexing System“ (AQIS) von EXA4MIND hilft bei der Einrichtung schneller Analyse-Prozesse auf Basis der Open-Source-Umgebungen Airflow und Dask und unterstützt zudem KI-Inferenz und Abfragen von Daten in natürlicher Sprache. So trägt AQIS dazu bei, die Vorteile von KI und HPC für Start-ups sowie mittelständische Unternehmen in Europa zugänglich zu machen. „EXA4MIND eröffnet Forschenden und kleinen Unternehmen Chancen, die Dienste von Supercomputing-Zentren kennenzulernen und effizienter mit enorm großen Datenmengen zu arbeiten“, sagt Hachinger. „Die Module der EXA4MIND-/EDD-Plattform können auf Systemen vom Laptop bis hin zum HPC-Cluster eingesetzt werden – abhängig vom jeweiligen Rechenaufwand.“ Die Projekt-Partner sorgten mit ihren Schnittstellen dafür, dass europäische und internationale Datenräume (European/International Data Spaces), sowie Daten aus der Europäischen Open Science Cloud (EOSC) sowie von EUDAT mit den EXA4MIND-Tools nutzen lassen. „Wir ermutigen die Nutzer ausdrücklich dazu“, so Hachinger, „ihre Workflows mit diesen Umgebungen zu verbinden, um Daten zu recherchieren und Ergebnisse zu teilen.“

Analyseabläufe in der Praxis

Dass die Workflows funktionieren und verschiedene Anwendungsfälle unterstützen, testete EXA4MIND an praktischen Beispielen aus Forschung und Unternehmen:

Für Molekulardynamik-Simulationen bauten die Forschenden eine Community-Datenplattform auf. Mit IDA4SIMS und ADAMS4SIMS können Forschende eigene Simulationen mit der Realität vergleichen, ihre Forschungsdaten FAIR-konform ergänzen und Simulationen verbessern. Zudem lassen sich hier Kraftfeldbeschreibungen testen, die das Verhalten von Molekülen bestimmen.
Um Fahrassistenz-Systeme zu verbessern, setzt Auto-Zulieferer Valeo auf KI. Mit EXA4MIND erarbeitete das Unternehmen Prozesse zur Anreicherung und Annotierung von Daten aus Assistenzsystemen. Die Projektpartner bauten zudem eine Datenbank auf, die Fahrsituationen sammelt, und entwickelten Werkzeuge für die Auswertung von Verkehrslagen, in denen Assistenzsysteme oft versagen: Grundlagen für autonomeres Fahren.
Die Landwirtschaft profitiert von KI, etwa wenn es um Bewässerung oder Düngung geht. So lassen sich Erträge steigern und Wasser sparen. Mit dem System Aquaview von Terraview/Gamaya können Winzerinnen und Weinbauern die Bodenfeuchte für ihre Weinberge prüfen und sich wetterabhängig entscheiden zu bewässern. Dieser Dienst basiert auf Satellitendaten. Mit EXA4MIND-Tools zur Zwischenspeicherung, Konvertierung und zum Filtern von Daten konnten Prozesse gestrafft und Datenmengen reduziert werden. So spart das Unternehmen Zeit und Speicherplatz.

Diese Anwendungen und Analyse-Aufgaben sowie die dabei eingesetzten Werkzeuge und technischen Prozesse sind ausführlich auf der EXA4MIND-Plattform dokumentiert und verlinkt. Interessentinnen finden dort außerdem Studien, Paper und Workshop-Unterlagen, um sich in die Technologien und Prozesse einzuarbeiten oder an eigene Bedürfnisse anzupassen. Darüber hinaus entwickelte das EXA4MIND-Team Workflows für Supercomputing-Zentren, damit deren Rechenleistung besser zur Ausführung von KI-Methoden genutzt und und bei Bedarf skaliert werden können.

EXA4MIND ist ein Beitrag zur datengetriebenen Forschung Europas. Wie beim vorherigen Projekt LEXIS – dabei entstand eine Plattform mit Tools für die Orchestrierung standortübergreifender HPC- und Cloudsysteme – können die praktischen Erfahrungen mit Workflows und Technologien in größere IT-Ideen einfließen: Die EuroHPC Federation Platform, an der die EuroHPC Joint Undertaking arbeitet, soll in Zukunft Rechenkapazitäten von Super- und Quantencomputern sowie KI-Systemen bereitstellen. „Wir sind überzeugt“, so Hachinger, „dass das europäische Supercomputing, insbesondere im Rahmen des EuroHPC Joint Undertaking, von den in EXA4MIND und LEXIS entwickelten Konzepten profitiert und so das Anwendungsspektrum an europäischen Rechenzentren weiter ausgebaut werden kann.“ vs | LRZ

Bildnachweis: Symbolbild – stock.adobe.com