Künstliche Intelligenz nachhaltig und effizient machen

„KI ist in unserer Lebenswelt angekommen, das Interesse ist hoch – und in der KI-Community wollen alle ein immer noch besseres Modell trainieren. Dabei fehlt bislang leider das Bewusstsein für Nachhaltigkeit und Effizienz. Hier will ich ansetzen“, sagt Charlotte Debus. Ihr Ziel ist es, die Robustheit und Skalierbarkeit von KI-Modellen zu steigern, aber auch deren Energieeffizienz und CO₂-Bilanz zu verbessern. „Bisher gingen Durchbrüche im Deep Learning immer auch mit einem erhöhten Ressourcenverbrauch einher“, so die Wissenschaftlerin. Sie plädiert für die Einführung einer transparenten Vergleichsgröße, um den Energieverbrauch einer KI für den gesamten Zeitraum des Trainings festzustellen. „Der Energieverbrauch ist als Metrik geeignet, da er sich leicht in andere Werte wie beispielsweise die CO₂ -Emission umrechnen und sich somit gut veranschaulichen lässt.“

Um KI leistungsfähiger zu machen, will Debus Erkenntnisse aus dem High Performance Computing (HPC) in KI-Modelle implementieren. „Das Training eines KI-Modells ist die Orchestrierung einzelner Schritte, die immer wiederholt werden: Daten laden, Vorwärts- und Rückwärtsberechnung, Synchronisation über alle Knoten, Evaluation“, erläutert die Informatikerin. Diese Schritte beanspruchten unterschiedliche Teile der gesamten Rechnerarchitektur: Speicherzugriffe, Berechnungen auf Zentral- oder Grafikprozessoren (CPUs und GPUs) sowie die Kommunikation über das Netzwerk. „Bei großen Modellen ist es wichtig, darauf zu achten, dass die eigentlich nacheinander ablaufenden Schritte so weit wie möglich gleichzeitig passieren, damit alle Komponenten möglichst gleichmäßig und durchgehend ausgelastet sind und keine Wartezeiten entstehen. Sonst dauert die Berechnung deutlich länger – und verbraucht auch mehr Energie.“

Anwendungsbeispiel Meteorologie

Große Fortschritte haben KI-Modelle beispielsweise bei der Wettervorhersage gemacht. „Die Meteorologie ist für den Einsatz von KI-Modellen sehr gut geeignet, weil sie mit enormen Datensätzen arbeitet und sehr komplex ist. Sie ist ein optimaler Use Case, wenn es um die Forschung zu Robustheit, Skalierbarkeit und Energieeffizienz geht“, sagt Debus. Große KI-Wettermodelle basieren auf einer dreidimensionalen Architektur, die neben dem zweidimensionalen Bildkanal zusätzlich Höhengrade mitberechnet.  Dadurch sind sie komplexer als zweidimensionale Modelle, wobei auch der Ressourcenverbrauch deutlich zunimmt. Debus geht deshalb der Frage nach, was ein gutes Wettermodell ausmacht. „Die Forschung hat gezeigt, dass eine 2D-Architektur bei Wettervorhersagen deutlich schneller lernt als ein 3D-Netz und trotzdem vergleichbare Genauigkeit liefert. Entscheidend für die Güte und die Effizienz eines Modells ist also weniger die Anordnung der Information in 2D oder 3D, sondern viel mehr die Menge der vom Modell verarbeiteten Daten sowie die Geschwindigkeit, mit der dies passiert.“

Charlotte Debus studierte Physik und promovierte zu KI-Methoden für die medizinische Bildgebung. Als Teil des AI-Consulting-Teams beriet sie im Programm „Helmholtz-AI“ anschließend Wissenschaftlerinnen und Wissenschaftler der Helmholtz-Gemeinschaft zur KI-Implementierung in ihren Forschungsvorhaben. Seit 2022 leitet sie ihre eigene, durch das Bundesministerium für Bildung und Forschung geförderte Nachwuchsgruppe am KIT. (mgr)

Der Presseservice des KIT stellt gerne den Kontakt zwischen den Medien und Dr. Charlotte Debus her.

Fotonachweis:
Supercomputer HoreKa am KIT: Amadeus Bramsiepe, KIT
Porträt Dr. Charlotte Debus, SCC, KIT: privat