Szenen aus der Mythologie, architektonische Illusionen, politische Statements: Ab dem 16. Jahrhundert malten Künstler ihre Sicht auf himmlische und soziale Themen an die Decke. Im 18 Jahrhundert wurden diese Kunstwerke Mode, kaum ein repräsentatives Bauwerk oder Bürgerhaus kam ohne diese Zierde aus. Tausende dieser Malereien dokumentiert das Corpus barocker Deckenmalerei mit Unterstützung des Leibniz-Rechenzentrums (LRZ). Neben zahlreichen Rekonstruktionen und Vermessungen von historischen Räumen wurden für das Projekt auch Anwendungen in Virtual Reality (VR) entwickelt, entstand ein virtuelles Museum für faszinierende Gemälde, außerdem neue Methoden und Werkzeuge zur wissenschaftlichen Erforschung von Kunst. „Neben den zentralen kunsthistorischen Fragen zu Entstehung, Stil, Motiven und ihren Bedeutungen“, sagt Prof. Stephan Hoppe, Kunsthistoriker und Gesamtleiter des Corpus, „können wir durch die Digitalisierung Kunst nun auch besser als eine Geschichte der Sinneseindrücke erforschen.“ Ein Interview über die Vorteile, die Digitalisierung bringt. Die beiden Partner, Prof. Stephan Hoppe und Dr. Matteo Burioni, sehen Sie oben übrigens in der LRZ-Cave.
Warum liebte man im Barock die Deckenmalerei und welchen Reiz hat diese heute für die Kunstgeschichte?
Dr. Matteo Burioni: Deckenmalereien bieten zunächst eine eigene Sinneserfahrung, sie erweitern den gebauten Raum in eine Vorstellungswelt hin, und das hat die Menschen gereizt. Im 17. und 18. Jahrhundert entstehen immer mehr Deckenmalereien, nicht nur in Kirchen, Klöstern oder fürstlichen Palästen, sondern auch in bürgerlichen Gebäuden und Rathäusern. Auftraggeberinnen – ja die gab es für dieses Genre – und Künstler nutzten dieses neue Medium, um in den Malereien Themen aus der Politik oder der Heilsgeschichte zu verarbeiten.
Prof. Stephan Hoppe: Da entstand ein regelrechter Wettstreit, besonders in Mitteleuropa, wo viele dieser Malereien erhalten geblieben sind. Das Phänomen selbst ist europaweit verbreitet, das Corpus erfasst aus praktischen Gründen den in Deutschland erhaltenen Bestand. Eine der ersten monumentalen Deckenmalereien dort ist zwar nur als Kopie, aber im Schwarzen Saal der Münchener Residenz zu sehen. An der Decke wird mit reiner Malerei eine architektonische Lichtkuppel imitiert. Deckenmalerei ist wie dieses Beispiel noch heute ein Erlebnis und Kunstgenuss für viele Menschen, da man den eigenen Sehprozess in seinem aktiven Wirken erleben kann. Solche Werke sammelt und dokumentiert das Corpus seit 1966, seit zehn Jahren arbeiten wir mit Zukunftstechnologien an einer digitalen Erfassung und Erforschung.
Warum ist die Digitalisierung des Corpus wichtig?
Hoppe: Neben den historischen Fragen zu Entstehung, Stil, Technik oder Motiven können wir durch die Digitalisierung Kunstgeschichte jetzt besser auch als eine Geschichte der Sinneseindrücke und Wahrnehmung erforschen, und die Digitaltechnik stellt der Kunstgeschichte viele neue methodische Fragen. Digitale Bilder können ganz anders kopiert, verarbeitet und gezeigt werden. Ein Beispiel. Mit einer zusätzlichen Förderung der BAdW konnten wir vor acht Jahren aus unseren digitalen Abbildungen mit High-Performance-Computing-Systemen ein dreidimensionales Abbild des Bamberger Kaisersaals, rechnen lassen, eines um 1707 bis 1709 illusionistisch ausgemalten Festsaals der ehemaligen fürstbischöflichen Residenz. Dieses damals recht neue Datenformat einer raumhaltigen und farbigen Punktwolke war der Startpunkt für eine intensive, fruchtbare Zusammenarbeit mit dem LRZ bis heute. Durch solche Arbeiten lernten wir, was man mit Algorithmen und Software sowie entsprechender IT- und Digital-Expertise für diese Art der Kunstgeschichte machen kann. Von hohem Wert ist auch der gesellschaftliche Aspekt der Digitalisierung: Deckenmalereien können als Originale so gut wie gar nicht in einem Museum ausgestellt werden, nun sind sie mit den vielfältigen Erläuterungen der Gesellschaft allgemein zugänglich und können kuratiert im Internet gezeigt werden. Und wir konnten verloren gegangene Räume wie das 1804 abgebrochene Renaissance-Lusthaus der Münchner Residenz, ein höfisches Gartengebäude des 16. Jahrhunderts mit illusionistischer Deckenmalerei, digital rekonstruieren und an diese bei uns oft unterschätzte Epoche erinnern. Aus dem Corpus wurde ein virtuelles Museum einer bestimmten Kunstgattung, das wir stetig weiter ausbauen.
Welche Techniken kommen bei der Digitalisierung der Deckenmalereien zum Einsatz?
Burioni: Hauptsächlich setzen wir auf digitale Fotografie und Video, zur Vermessung der Malereien auch auf Photogrammetrie und Laserscans. Natürlich werden all diese Technologien miteinander verbunden, um Modelle zu visualisieren oder Räume in Virtual Reality aufzubauen. Dabei kommen neben grafischen Programmen auch Game Engines zum Einsatz.
Welche Rolle spielen Virtual Reality (VR) und 3D-Visualisierungen für das Corpus?
Hoppe: Als wir starteten, galten 3D-Visualisierungen in der Kunstgeschichte oft noch als Computerspielerei, wir wurden dafür sogar kritisiert. Aber im Projektverlauf bildeten sich dann wissenschaftliche Gemeinschaften, die zum Beispiel die anspruchsvollen Rekonstruktionen methodologisch begleiteten. Daraus entstanden nicht nur neue Forschungsthemen und -Werkzeuge, sondern sogar auch die innovative Publikationsreihe „Computing in Art and Architecture“. Das war wirklich faszinierend zu beobachten, wie sich unsere Wissenschaft erweiterte und mit anderen Fachrichtungen vernetzte. Vor allem aber bringt die Dreidimensionalität neue Perspektiven. Fast alle Kunstwerke sind eigentlich dreidimensional, selbst Gemälde haben ja keine planen Oberflächen und werden von Menschen im Raum wahrgenommen. Jetzt können wir in der LRZ Cave in Kunst eintauchen und damit auch die Wirkung der Komposition im Raum erkunden. Wie wird ein Gemälde aus unterschiedlichen Positionen wahrgenommen? Wie richteten Künstler die Lichtverhältnisse ihrer Malerei im Raum aus? Zu dieser dritten Dimension kommt noch eine vierte, wenn man digitale Rekonstruktionen mit sozialen, wirtschaftlichen Strukturdaten über die Zeit kombiniert. Daraus kann man unter anderem entsprechende Wissensgraphen bauen.
Burioni: Vielleicht noch ein praktisches Beispiel: Wir haben aus einer digitalen Vermessung von Schloss Rheinsberg, dem brandenburgischen Landsitz, an dem Friedrich der Große als Kronprinz bis 1740 Hof hielt, eine Simulation des Spiegelsaals in abendlichem Kerzenlicht abgeleitet. Das verdeutlicht nicht nur die Wirkung von Licht auf die Deckenmalerei, sondern vertiefte meine Forschung zum höfischen Leben und zur Rezeption der Naturwissenschaften am Hofe Friedrichs des Großen. Damals wurden die Erkenntnisse des Physikers Isaac Newton über das Licht in Salons intensiv diskutiert. Das zeigt sich in der Deckenmalerei, denn der Künstler hat darin sein neues Wissen raffiniert umgesetzt.
Unter www.Deckenmalerei.eu sind die Gemälde anhand von weiteren Daten kartografiert. Was bringt das?
Hoppe: In Zeiten von Big Data und auch von KI werden digitale Abbildungen und Informationen als Forschungsdaten immer wichtiger, auch in der Kunstgeschichte. Wir haben daher in diesem Bereich früh von den Naturwissenschaften gelernt und für das Corpus ein digitales Forschungsdatenmanagement eingeführt. Das war damals ziemlich neu in den Geisteswissenschaften. Daraus wuchs eine semantische Datenbank, die alle Bauwerke strukturiert erfasst, also vom Gebäude hin zu den einzelnen Räumen und zu den Malereien selbst führt. Dazu wurden die Bildzyklen, Auftraggeber, Künstler, auch die Architekten, Baumeister, die ausführenden Gewerke dokumentiert. Zum Teil wurde die Ikonografie in kunsthistorische Normdaten, etwa in das weltweit verständliche numerische System von Iconclass, überführt und neu verschlagwortet.
Burioni: So lassen sich diese Daten auch ohne Textkenntnis auswerten. Mit Hilfe des Knowledge Graphs kann man beispielsweise Künstler Bauwerken und Ortschaften zuordnen, Bezüge zu Auftraggebern herstellen und so Gemeinschaften oder Netzwerke entdecken. Welche Künstler verbinden verschiedene Auftraggeber? Wer richtete sich nach welchen Vorlagen?
Hoppe: So entsteht etwa eine Künstlersozialgeschichte der Deckenmalerei, oder es können Themen und ihre Aufarbeitung über Raum und Zeit verglichen werden. Das ist aber nur ein Ansatz unter vielen, man könnte diese Verbindungen gewichten und mit statistischen Methoden Muster erkennen, die wir selbst nur schwer finden. Auch 3D-Modelle sind ja Datenstrukturen, die wir durch weitere Daten variieren und erweitern können. Mit der Digitalisierung können wir weiterhin neue Aspekte künstlerischer Produktion erfassen. Warum sieht ein Kunstwerk so aus? Weil einer einen genialen Einfall hatte oder beeinflussen auch die Materialien von Farben das Werk – Fragen, über die wir bislang schon nachdenken konnten, aber die für eine belastbare Strukturanalyse eher schwer greifbar waren.
Nimmt jetzt bei der Digitalisierung der Einsatz von KI zu?
Hoppe: Die Möglichkeit, verschiedene Sensordaten in ein mehrdimensionales Datenmodell zu integrieren, wird uns sicher in Zukunft stark beschäftigen. Deshalb sind wir sehr dankbar, dass wir am LRZ neben der Visualisierungstechnik auch auf die KI-Ressourcen zugreifen können. Neben Lichtverhältnissen könnten wir in VR-Anwendungen zudem Eye- und Bodytracking integrieren und damit auf neue Arten evaluieren, wie solche Kunstwerke wahrgenommen werden. Hier muss man natürlich zwischen unserem Heute und der historischen Zeit unterscheiden. Noch vor kurzer Zeit waren aber solche Untersuchungen eben generell kaum zu realisieren. Vor 10 Jahren digitalisierten wir Bilder, konnten diese aber in der für die Photogrammmetrie notwendigen Menge nur an Großrechnern verarbeiten. Deshalb war ich immer ein wenig neidisch auf die Computerlinguistik, die das textliche Werk eines Autors oder einer Autorin schon vor 30 Jahren computergestützt auswerten konnte. Diese Verfahren der Statistik und des Deep Learnings fassen nun auch im visuellen Bereich und in der Kunstgeschichte Fuß und werden das Fach in alle möglichen Richtungen verändern. Was die Digitalisierung des Corpus auszeichnet, ist, dass wir in Zusammenarbeit mit dem LRZ und der BAdW mit sehr anspruchsvollen Techniken experimentieren können. Wir können Big Data professionell auswerten, aber zugleich umfassend darüber nachdenken, was dieser fortgeschrittene Einsatz des Digitalen für unser Fach bedeutet.
Gibt es vergleichbare Digitalisierungs-Projekte in der Kunstgeschichte?
Hoppe: Unter anderen werden historische Glasfenster digital rekonstruiert und dokumentiert. Das bringt die Kunstgeschichte dort nahe an eine andere Wissenschaft, die Erzählforschung aus der Literaturwissenschaft. Glasfenster zeigen Szenen und Geschichten, die man ähnlich wie die Deckenmalerei im Zusammenhang digital aufarbeiten und systematisieren kann.
Wie prägte die technische Entwicklung Ihre Arbeit in den letzten Jahren?
Hoppe: Vor allem durch die gewachsene Rechenleistung können wir heute hochaufgelöste Bilddaten schneller und effizienter verarbeiten, außerdem hat die Software Riesensprünge gemacht. Bald nach der ersten Visualisierung des Kaisersaals von Bamberg entwickelten Programmierer neue Algorithmen für die Photogrammetrie, die deutlich effizienter waren. Außerdem haben die weltweit lesbaren Normdaten das Projekt erweitert. Vor zehn Jahren gab es JPG- und PNG-Formate für Fotos, aber noch wenig Formate, um semantische und andere strukturelle Bezüge darzustellen. Inzwischen sind wir bei Wikidata mit einer eigenen Entität präsent. Was für eine Entwicklung! Wir haben vor Kurzem eine kunsthistorische Doktorandenstelle mit einem an unseren Fragestellungen seit längerem interessierten Informatiker besetzt, um im Bereich KI technische Entwicklungen besser einschätzen und nutzen zu können.
Burioni: Offensichtlich gab es in den letzten zehn Jahren ein Timelag in der Entwicklung von Display- und Aufnahmetechniken. Die reinen Aufnahmedaten des Bamberger Kaisersaals sind immer noch sehr gut, aber mit der LED-Technologie in der neuen Cave des LRZ werden sie brillanter, präziser, schärfer dargestellt. Außerdem hat die Vermessungs- und Aufnahmetechnik enorm zugelegt, so können wir die Geometrie der Räume und Malereien viel genauer erfassen. Mit Unterstützung der digitalen Denkmal-Technologie nahmen wir in laufenden Restaurierungen Malereien aus der Nähe auf und konnten digitale Zwillinge von Räumen erstellen, insbesondere von solchen schlecht erhaltenen barocken Innenräumen, von denen es nur wenige Daten gibt. Das LRZ hat uns einige Möglichkeiten gezeigt, wie wir unsere Rekonstruktionen im Internet zugänglich machen können und angeregt, künftig mit Sensortechnologien zu arbeiten.
Wie geht es weiter mit dem Corpus der barocken Deckenmalerei?
Hoppe: Als nächstes steht an der Basis die Digitalisierung und Erforschung der Malerei in Klöstern auf der Agenda. Dabei merken wir übrigens, dass entsprechend spezialisierte Fotografen und Fotografinnen knapper werden. Die Berufssituation wandelt sich. Wir wissen daher nicht, wie in 15 Jahren unsere Fotos aussehen werden, aber vielleicht können wir dann mit anderen Mitteln leichter 3D-Modelle erstellen? Neue Vermessungs- und Aufnahmetechnologien, und natürlich die KI sowohl als Technologie als auch als Theoriefeld – wir haben noch viel vor. Als Werkzeug kann die KI schon jetzt große Bild- und Strukturdatenbestände auswerten, die wir früher kaum bewältigen konnten. Als Theoriefeld wirft sie neue Fragen danach auf, wie maschinelles Sehen und menschliche Wahrnehmung zusammenhängen und welche Rolle mathematische Verfahren im kunsthistorischen Erkenntnisprozess spielen können. Eine weitere Frage ist, wie sich die Arbeit der Wissenschaftler und Wissenschaftlerinnen in den Geisteswissenschaften dadurch verändern wird. Wir wollen KI-Werkzeuge im Team anwenden, und wir hoffen auf die weiteren Anregungen, die wir durch die Akademie und ihre Mitglieder in punkto Interdisziplinarität erhalten, außerdem profitieren wir von den technischen Innovationen, die wir am LRZ ausprobieren können. Uns stehen dadurch viele Möglichkeiten der Medieninformatik wie auch der Verarbeitung von Big Data zur Verfügung, eine außergewöhnliche und sehr privilegierte Situation. Wir werden sie nutzen, um das kulturelle Erbe der Deckenmalerei zu erkunden und die Ergebnisse noch besser sichtbar zu machen. (vs | LRZ)
Elisabeth Mayer begleitet seit Jahren die Arbeiten am digitalen Corpus der barocken Deckenmalerei und erforscht den Aufbau digitaler Zwillinge in Kunst und Architektur. Sie hat den Kaisersaal der Residenz Bamberg simuliert, danach zuerst das Modell des Spiegelsaals von Schloss Rheinsberg für Virtual Reality (VR) optimiert und schließlich noch eine Simulation mit Kerzenlicht entwickelt. „Beim Corpus spielen die Räumlichkeiten und ihre Maße eine wichtige Rolle“, sagt sie. „Wie hoch zum Beispiel die Decke ist, ist auf einem Monitor schwer nachvollziehbar, aber dank stereoskopischer Darstellung der Räume mit VR können wir räumliche Zusammenhänge besser erkennen und Distanzen wahrnehmen.“ Bei der Rekonstruktion der Räume kommen Programme wie Blender zum Einsatz, mit Unreal Engine entstehen daraus VR-Anwendungen für die LRZ-Cave.
Die daraus entstehenden digitalen Zwillinge der Räume können zu den Lichtverhältnissen auch Kriterien wie Luftfeuchtigkeit und mehr modellieren. Die Ergebnisse können ausgestellt oder von Wissenschaftlerinnenerforscht werden, ohne dass der Raum selbst benutzt werden muss. Das hilft, empfindliche Kunstwerke zu bewahren.
Die Arbeiten am Corpus haben auch dem LRZ Zentrum für Virtuelle Realität und Visualisierung (V2C) viele Erfahrungen mit Vermessungs- und Aufnahmetechnologien gebracht: „Mit Hilfe von Photogrammetrie und Laserscans können Räume sehr gut digital zusammengesetzt werden, aber das fordert Nacharbeit. Algorithmen machen keinen Unterschied zwischen einem Spiegel und einem Fenster“, erklärt Mayer. „Werden dagegen Räume mit einem 3D-Programm digital nachgebaut, haben wir größeren Einfluss auf die Gestaltung und können Stuck oder Statuen genauer rekonstruieren. Nachteil dieser Methode: Sie ist sehr arbeits- und zeitintensiv.“