Was „lokal" heißt — und was es nicht heißt
Der Satz „das Dokument verlässt das Haus nicht" ist der ganze Gewinn. Er ist groß. Er ist aber auch kleiner, als er klingt.
Wer heute ein Sprachmodell benutzt, schickt Text an einen Rechner, der jemand anderem gehört. Meistens ist das in Ordnung. Manchmal ist es ausgeschlossen — und dann gibt es genau eine Antwort: Das Modell kommt zu den Daten, statt die Daten zum Modell.
Technisch ist das weniger spektakulär, als das Wort „KI" vermuten lässt. Ein Modell ist eine Datei. Einige Gigabyte Zahlen, ohne Programmcode, ohne Netzverbindung, ohne Eigenleben. Ein zweites Programm — die Laufzeitumgebung — lädt diese Datei und lässt sie rechnen. Das ist alles.
| Was viele erwarten | Was tatsächlich passiert |
|---|---|
| „Die KI wird bei mir installiert." | Eine Datei mit Zahlen wird kopiert. Sie tut nichts, bis ein Programm sie lädt. |
| „Sie lernt dann unsere Daten." | Nein. Sie ändert sich nicht. Was Sie hineingeben, ist nach dem Neustart weg — wie bei einem Taschenrechner. |
| „Dann ist sie aktuell." | Sie kennt den Stand ihres Trainings und keinen Tag mehr. Ohne Netz gibt es kein Nachschlagen. |
| „Dann telefoniert sie nicht nach Hause." | Das stimmt — für das Modell. Die Laufzeitumgebung prüft, ob es Aktualisierungen gibt; das lässt sich abschalten. |
| „Dann brauche ich nichts weiter." | Sie brauchen eine Maschine, jemanden, der sie betreut, und eine Entscheidung, wer daran darf. |
Und die Kehrseite, in einem Satz
WarumWarum ein kleines lokales Modell bei manchen Aufgaben besser abschneidet
Die übliche Erwartung lautet: Ein Modell mit 8 Milliarden Parametern ist bei allem schlechter als eines mit einigen Hundert Milliarden. Das stimmt im Mittel und nicht überall — und die Ausnahmen sind ausgerechnet die Aufgaben, für die man ein lokales Modell aufsetzt.
Der Grund liegt in der Art der Aufgabe. Eine enge Aufgabe — „ordne diese Nachricht einer von vier Sorten zu" — verlangt kein Weltwissen, keine langen Gedankenketten und keine Ausdauer. Sie verlangt, dass ein Text verstanden und einer Kategorie zugeordnet wird. Dafür reichen kleine Modelle, und der Abstand zum großen ist häufig nicht messbar.
Dazu kommt ein Umstand, der selten genannt wird: Auf der eigenen Maschine kostet ein Aufruf nichts. Das ändert, wie man arbeitet. Wer bei einem Anbieter je Anfrage zahlt, formuliert einen Auftrag und nimmt das Ergebnis. Wer nichts zahlt, probiert zwanzig Fassungen und nimmt die beste. Der Gewinn aus dieser Freiheit ist bei engen Aufgaben oft größer als der Verlust durch die kleinere Modellgröße.
Und ein dritter Punkt, der praktisch zählt: Ein lokales Modell antwortet ohne Netzweg. Bei sehr kurzen Antworten — ein Wort, eine Sorte, eine Zahl — kann es dadurch schneller beim Nutzer sein als ein großer Dienst, obwohl es langsamer rechnet. Wer hundert Vorgänge nacheinander einordnet, merkt das deutlich.
Wo der Abstand wirklich groß ist: lange Texte, mehrere Schritte hintereinander, seltenes Fachwissen, Programmierarbeit. Der Abstand wächst mit der Länge und der Zahl der Schritte — nicht mit der Schwierigkeit an sich. Diese Beobachtung ist der brauchbarste Wegweiser bei der Frage, welche Aufgabe lokal taugt.