HPC systems closed for access due to a security issue

Dear users of the HPC systems at LRZ,

due to a security issue we have temporarily closed access from the outside world to all HPC systems.

Update (May 21, 2020)

Wie am 13. Mai 2020 bekanntgegeben wurde, mussten wir wegen eines Sicherheitsvorfalls den Zugang zu allen HPC Systemen
am LRZ (SuperMUC-NG und Linux-Cluster) schließen. Die Ermittlungsbehörden sind eingeschaltet. Mit der folgenden Information
möchten wir Sie über erste Maßnahmen für die Vorbereitung der Wiederinbetriebnahme in Kenntnis setzen.

Hergang

Die Angriffsmöglichkeit ergab sich aus der Kombination zweier Umstände:

  1. Eine Anzahl kompromittierter Nutzer-Accounts auf externen Systemen, deren private SSH-Schlüssel mit einer leeren
    Passphrase konfiguriert waren,
  2. Einem Fehler in der Software, der nach regulärem Login zur Erlangung von Administrationsrechten genutzt werden kann.

Es ist bislang nicht bekannt, welche Ziele die Täter mit den Angriffen verfolgten. Wir haben bislang keine Anhaltspunkte für
konkrete Aktivitäten wie etwa Zugriffe auf oder Manipulation von Datensätzen der regulären Systemnutzer gefunden. Sollten
Sie in Ihren Dateien irgendwelche Hinweise auf verdächtige Aktivitäten entdecken, ersuchen wir um umgehende Meldung damit
wir diese an die Ermittlungsbehörden weiterleiten können.

Weitere Maßnahmen

Weil nicht ausgeschlossen werden kann, dass sich der Angreifer Informationen über Passwörter und Secure-Shell-Keypaare weiterer
Nutzer verschafft hat, werden folgende Maßnahmen baldmöglichst umgesetzt:

  1. Die SIM-Passwörter aller Nutzer mit Zugriffsberechtigung auf eines der HPC Systeme am LRZ (Linux-Cluster, SuperMUC-NG,
    Cluster-Housing) werden am 22.05.2020 um 15:00 invalidiert. Alle diese Nutzer müssen danach eine Passwort-Neusetzung
    über https://idmportal.lrz.de/pwreset/ vornehmen.
  2. Alle auf den HPC Systemen gespeicherten öffentlichen Secure-Shell-Keys von regulären Nutzern werden ungültig gemacht
    und können daher nicht mehr zur Authentifizierung genutzt werden. Alle Nutzer müssen also neue Key-Paare generieren,
    wobei unbedingt darauf zu achten ist, dass dem privaten Schlüssel auf dem Rechner, von dem aus der Login erfolgt,
    keine leere Passphrase zugeordnet werden darf!

Darüber hinaus müssen alle Nutzer unserer Cluster-Systeme, in ihre ~/.ssh/authorized_keys Datei schlüsselspezifische "from"
Klauseln einfügen, um den Zugriff auf die tatsächlich benötigten externen Systeme einzuschränken. Wir werden die Dokumentation
zum Thema Secure Shell noch ergänzen, bevor die Systeme wieder in Betrieb gehen.

Weitergehende Einschränkungen an Zugangsmechanismen behalten wir uns entsprechend vor, wenn die Umstände dies erfordern.

Für die Wiederinbetriebnahme der HPC-Systeme können wir aktuell leider noch keinen Termin nennen. Dieses Dokument wird
aktualisiert, sobald sich an diesem Sachstand etwas ändert.

English version

As announced on May 13, 2020, we needed to close access to all HPC systems at LRZ (SuperMUC-NG and Linux Cluster) due to
a security incident. The public authorities were informed about this event. Hereby, we provide information about the first steps
of preparing readiness of operation.

Course of Events

The opportunity for attacking the systems arose from the combination of two factors:

  1. A number of compromised user accounts on external systems whose private SSH keys were configured with an empty
    pass phrase,
  2. A software bug that permits privilege escalation after regular login to the system.

The aims of the perpetrators are currently unknown. Up to now, we have not found any indications of concrete activities like
access to or manipulation of regular users' data. Should you find any evidence of tampering in your data, we ask you to
immediately report this to us so we can in turn inform the authorities.

Further measures

Because we cannot discount the possibility that the perpetraors have gained knowledge about other users' passwords and secure
shell key pairs, the following measures will be executed by us on short order:

  1. The SIM password of all user accounts with access permission to an HPC system at LRZ (Linux-Cluster, SuperMUC-NG,
    Cluster-Housing) will be invalidated on May 22, 15:00. All these users must reset their passwords via 
    https://idmportal.lrz.de/pwreset/.
  2. All secure shell keys of regular users stored on the system will be made invalid and therefore cannot be used for
    authentication any more. All users therefore will need to generate new key pairs; we point out that it is essential that
    the private key used for authentication from the users' workstation must not be configured with an empty pass phrase.

Furthermore, all users of the cluster systems are obliged to add key-specific "from" clauses to all their entries in
~/.ssh/authorized_keys, in order to limit access to the actually needed external systems. We will appropriately update the
secure shell documentation before user operation is resumed on our systems.

We reserve the decision to impose further limitations on the access mechanisms should the circumstances require it.

Currently, we cannot yet supply a date for resumption of operation. This document will be updated once this state of affairs changes.


Verfasser: R. Bader
veröffentlicht: 2020-05-13