Zur Hauptnavigation springen Zur Hauptnavigation springen Zum Inhalt springen Zum Fußbereich springen

AI Systems

Die AI Systems, ausgelegt auf die Unterstützung der wissenschaftlichen Gemeinschaft mit Schwerpunkt KI-Forschung, bieten verschiedene Rechen- und Speicherkomponenten für KI, Datenanalyse und Big Data-Forschung und -Anwendung. Mehrere Generationen und Architekturen von Komponenten werden auf integrierte und kohärente Weise zugänglich und nutzbar gemacht, um unterschiedliche Nutzerbedürfnisse und -erwartungen auf einheitliche Weise zu erfüllen. Derzeit bieten sie sich nicht bzw. nur eingeschränkt für Inferenz-Anwendungen an.

Einen Überblick über derzeit verfügbare Rechenressourcen, einschließlich GPU-Beschleunigern, finden Sie unter Leistungsumfang. Die Integration mit der LRZ Data Science Storage (DSS)-Infrastruktur ermöglicht es, große Datenmengen auf Speichersystemen zu speichern, abzurufen und gemeinsam zu nutzen, die über die gesamte LRZ-Systemlandschaft hinweg zugänglich sind. Dedizierte Speichersysteme für KI und maschinelles Lernen erfüllen die Anforderungen an hohe Leistung und niedrige Latenz für KI-Anwendungen (Details siehe Leistungsumfang).

Der Zugang zu den AI Systems wird nicht nur über traditionelle SSH-basierte Login-Knoten (zusammen mit einem HPC-üblichen Batch-Job Workload-Management), sondern auch über ein benutzerfreundliches Web-Interface ermöglicht. Letzteres erlaubt neben der Job- und Dateiverwaltung im Webbrowser auch die Erstellung von grafischen Benutzersitzungen und bietet damit beliebte Entwicklungsumgebungen für interaktives Arbeiten. Alle Ausführungsumgebungen bauen auf Containervirtualisierung auf und ermöglichen so eine hochgradig anpassungsfähige, aber dennoch konsistente und reproduzierbare Gestaltung von Arbeitsabläufen.

Leistungsumfang

Die AI Systems bestehen aus unterschiedlich leistungsstarken Hard- und Softwarekomponenten. Die vollständige derzeitige Konfiguration ist hier zu finden: https://doku.lrz.de/2-compute-10746641.html

  • Die neuesten Compute-Komponenten beinhalten::
    • NVIDIA HGX H100: 30 Knoten mit je 96 nutzbaren CPUs, 768 GB Systemspeicher, 4xNVIDIA H100 GPUs (94 GB GPU-Speicher)
    • NVIDIA HGX A100: 5 Knoten mit je 96 nutzbaren CPUs, 1 TB Systemspeicher, 4xNVIDIA A100 GPUs (80 GB GPU-Speicher)
    • NVIDIA DGX A100: 4/1 Knoten mit je 252 nutzbaren CPUs, 2/1 TB Systemspeicher, 8xNVIDIA A100 GPUs (80/40 GB GPU-Speicher)
  • Speichersysteme: leistungsstarke SSD-basierte Data Science Storage (DSS)-Systeme (IBM ESS3200) für KI/Machine Learning-Workloads; bis zu 4 TB pro förderfähigem LRZ-Projekt (s. Abschnitt 6.1.3); Zugriff auf alle anderen LRZ-DSS-Container/Systeme ist zusätzlich möglich, hier können aber gesonderte Kosten entstehen.
  • Benutzer-Frontends:
    • SSH-Login-Knoten mit direktem Kommandozeilenzugriff auf - unter anderem - die Enroot-Container-Laufzeit (Verwaltung der Containervirtualisierung), Slurm Workload Management (für Batch-Job-Einreichung und -Verwaltung) und DSS-Speicherverwaltungs-Tools
    • Webbasierte Anmeldeknoten mit Dienstprogrammen für die Job- und Dateiverwaltung, die direkt im Webbrowser zur Verfügung stehen und zusätzlich die Einrichtung grafischer Benutzersitzungen ermöglichen, die Entwicklungsumgebungen wie Jupyter Notebooks, JupyterLab oder RStudio Server für interaktives Arbeiten bieten

Bitte beachten Sie für weiterführende Informationen die Einstiegsseite der Dienst-Dokumentation: https://doku.lrz.de/ai-systems-11484278.html

Leistungsspezifika / Service Parameter

  • Regelwartungen finden vierteljährlich im Umfang von typischerweise jeweils drei Tagen Dauer statt und werden entsprechend angekündigt.
  • Eine Verfügbarkeit des Service von mindestens 90% wird angestrebt.

Voraussetzungen

Für den Zugriff auf die AI Systems ist ein gültiges LRZ-Benutzerkonto erforderlich.

Potenzielle Nutzer der AI Systems müssen den Forschungshintergrund/-schwerpunkt ihrer beabsichtigten Arbeit bzw. ihres Anwendungsfalls nachweisen. Dies kann durch die Verknüpfung des Benutzerkontos mit einem KI-berechtigten LRZ-Projekt erfolgen, d. h. einem LRZ-Projekt, das über die Berechtigung zur Verwaltung von Nutzenden der AI Systems verfügt. Master User solcher LRZ-Projekte können Berechtigungen einzelner Benutzerkonten verwalten, indem sie diese zu den entsprechenden AI Systems-Gruppen hinzufügen oder aus diesen entfernen.

Alternativ kann der Zugriff über die BayernKI-Initiative beantragt werden: https://www.ki-in-bayern.de/

Benutzungsrichtlinien 

Die dienstspezifischen Nutzungsrichtlinien sind zu beachten: https://doku.lrz.de/ai-systems-11484278.html#regulations

Zusätzlich sind die Nutzungsrichtlinien der folgenden Dienste zu beachten:

  • MWN-Anschluss mit Serviceoption VPN ins MWN
  • Data Science Storage (DSS)

Nutzer / Kunden

Dieser Dienst wird den folgenden Nutzerklassen zur Verfügung gestellt. Hierbei sind von den einzelnen Nutzerklassen folgende Gebühren zu tragen: 

NutzerklasseKostensatz
(1)F
(2), (3), (4)G (gebührenfreie Grundversorgung)
(5), (6)nicht verfügbar für diesen Kunden

Gebühren

Dieser Service ist gebührenfrei.