Kleine Sprachmodelle und Nachhaltigkeit: Warum die Zukunft der KI lokal denkt

Wir reden viel über den Energiehunger von KI. Aber wir reden noch zu wenig über kleine Sprachmodelle als nachhaltigere Alternative.

Am 28. Mai gibt es in der Peer School Mittagspause einen Einblick, den ich mir nicht entgehen lasse – und den ich euch wärmstens empfehle. Mareike Ahrens, eine unserer Scholars, hat Alexander Fischer von der Bundesdruckerei eingeladen. Thema: „The future of language models is small".

Was steckt dahinter? Die These, dass nicht immer das größte Modell das klügste ist – und dass kleine Sprachmodelle, die lokal auf dem Gerät laufen, eine ernstzunehmende Alternative zu den ressourcenhungrigen Giganten in der Cloud sein könnten. Weniger Strom. Weniger Wasser. Weniger Abhängigkeit von großen Rechenzentren.

Für mich als jemand, der täglich mit Unternehmen über Ressourceneffizienz und digitale Nachhaltigkeit spricht, ist das kein akademisches Randthema – sondern eine der spannendsten Fragen der nächsten Jahre.

Warum der KI-Energieverbrauch ein Nachhaltigkeitsproblem ist

Wer heute ein großes Sprachmodell wie GPT-4 oder Gemini nutzt, denkt selten daran, was im Hintergrund passiert. Irgendwo auf der Welt läuft ein riesiges Rechenzentrum. Es verbraucht Strom – viel davon. Es verbraucht Wasser zur Kühlung. Und es wächst.

Schätzungen zufolge verbrauchte der KI-Sektor 2024 weltweit bereits mehr Strom als viele mittelgroße Volkswirtschaften. Und die Prognosen für die nächsten Jahre sind nicht beruhigend: Der Energiebedarf durch KI-Anwendungen könnte sich bis 2030 vervielfachen – getrieben durch immer größere Modelle, mehr Nutzer und den Wettlauf der Tech-Konzerne um Marktanteile.

Das ist kein Argument gegen KI. Aber es ist ein Argument dafür, genauer hinzuschauen: Welche KI wofür? Und zu welchem Preis?

Was sind kleine Sprachmodelle – und wie funktionieren sie?

Small Language Models (SLMs) sind KI-Sprachmodelle mit deutlich weniger Parametern als die bekannten Großen. Während GPT-4 oder Claude mit Hunderten von Milliarden Parametern arbeitet, kommen SLMs mit einem Bruchteil davon aus – und laufen dafür direkt auf lokalen Geräten: dem eigenen Laptop, einem Unternehmensserver oder sogar einem Smartphone.

Der entscheidende Unterschied: Es braucht keine Verbindung zu einem externen Rechenzentrum. Die Verarbeitung findet lokal statt – ohne Datentransfer, ohne laufende Cloud-Kosten, ohne permanenten Energieverbrauch durch externe Infrastruktur.

Bekannte Beispiele aus dem aktuellen Ökosystem sind Phi-3 von Microsoft, Gemma von Google oder Llama 3 von Meta – Modelle, die gezielt für den lokalen Einsatz entwickelt wurden. Tools wie Ollama oder LM Studio machen es inzwischen auch technisch weniger versierten Nutzerinnen und Nutzern leicht, solche Modelle auf dem eigenen Rechner auszuprobieren.

Was kleine Sprachmodelle für Unternehmen bedeuten

Für Nachhaltigkeitsverantwortliche in Unternehmen ist das Thema gleich auf mehreren Ebenen relevant:

1. Eigener CO₂-Fußabdruck durch KI-Nutzung senken Scope-3-Emissionen schließen auch die Nutzung digitaler Dienstleistungen ein. Wer KI-Tools im Unternehmen einsetzt, sollte zunehmend fragen: Welchen Energieverbrauch löst das aus – und lässt sich dieser durch kleine Sprachmodelle reduzieren?

2. Datenschutz und Datensouveränität sicherstellen Lokale Modelle schicken keine Daten an externe Server. Das ist nicht nur aus Nachhaltigkeitssicht interessant, sondern auch aus Datenschutzperspektive – gerade für KMU, die mit sensiblen Kunden- oder Unternehmensdaten arbeiten.

3. Kosten und Unabhängigkeit gewinnen Wer nicht für jeden API-Call zahlt und nicht von der Verfügbarkeit externer Dienste abhängt, gewinnt Resilienz. Kleine Sprachmodelle können das ermöglichen – mit einem einmaligen Aufwand für Setup und Feinabstimmung.

4. CSRD-Berichtspflichten vorausdenken Mit der CSRD wächst der Druck, den eigenen digitalen Ressourcenverbrauch zu dokumentieren und zu steuern. KI-Nutzung wird dabei zunehmend ein Thema – und die Frage, ob Unternehmen bewusste Entscheidungen über ihre KI-Infrastruktur treffen, wird relevanter.

Häufige Fragen zu kleinen Sprachmodellen und Nachhaltigkeit

Sind kleine Sprachmodelle wirklich nachhaltiger als große? Ja – in der Regel deutlich. Der Hauptvorteil liegt im Wegfall der Cloud-Infrastruktur: Lokale Modelle benötigen keine permanente Serverkapazität in Rechenzentren und verursachen keinen Datentransfer-Energieverbrauch. Allerdings hängt die tatsächliche Bilanz auch vom genutzten Endgerät und dem lokalen Strommix ab.

Für welche Aufgaben reichen kleine Sprachmodelle aus? Für viele Standardaufgaben im Unternehmensalltag: Textzusammenfassungen, interne Wissensdatenbanken, Klassifizierungen, einfache Übersetzungen, Dokumentenanalyse. Für hochkomplexe kreative oder analytische Aufgaben stoßen SLMs schneller an Grenzen als große Modelle.

Was brauche ich, um ein kleine Sprachmodelle mit Nachhaltigkeit lokal zu betreiben? Einen aktuellen Laptop oder Desktop-PC mit ausreichend RAM (ab 8–16 GB, je nach Modell) und das kostenlose Tool Ollama. Die Einrichtung dauert wenige Minuten.

Einladung: Peer School Mittagspause am 28. Mai

Genau über diese Fragen sprechen Mareike und Alexander am 28. Mai. Die Peer School Mittagspause ist offen für alle – Nachhaltigkeitsmanager:innen, Tech-Interessierte, Neugierige. Ihr müsst euch nur kurz über die Peer School Website anmelden. Essen ist ausdrücklich erlaubt. 😊

Ich bin gespannt, welche konkreten Erfahrungen Alexander aus der Praxis der Bundesdruckerei mitbringt – denn dort treffen Sicherheitsanforderungen, Datensensibilität und Digitalisierungsdruck auf eine Weise aufeinander, die für viele Unternehmen exemplarisch ist.

Wer sich vorab schon mit dem Thema beschäftigen möchte: Ein guter Einstieg ist das Open-Source-Projekt Ollama, mit dem sich lokale Sprachmodelle in wenigen Minuten auf dem eigenen Rechner ausprobieren lassen.

Bis zum 28. Mai – ich freue mich auf die Diskussion.