Der Preis einer KI-Antwort hat sich halbiert — das zählt mehr als das nächste Modell
OpenAIs DevDay vom 1. Oktober 2024 brachte kein neues Spitzenmodell. Er brachte etwas Nützlicheres für jeden, der eine Wirtschaftlichkeitsrechnung aufstellt.
Am 1. Oktober 2024 kündigte OpenAI an seiner Entwicklerkonferenz in San Francisco das Prompt Caching an: Text, den das Modell in den letzten Minuten gesehen hat, kostet beim erneuten Senden die Hälfte. Es war die unspektakulärste Ankündigung des Jahres — und vermutlich die folgenreichste für jeden, der ein KI-Budget rechnet.
Was tatsächlich angekündigt wurde
Drei Punkte sind für den betrieblichen Einsatz relevant.
Prompt Caching. Anwendungen schicken bei jeder Anfrage denselben Kontextblock mit: eine Systemanweisung, eine Preisliste, ein Regelwerk. Dieser wiederholte Teil kostet neu 50 Prozent weniger und kommt schneller zurück.
Die Realtime API. Sprache rein, Sprache raus, ohne das Stocken von Aufnehmen, Transkribieren, Antworten und Vorlesen. Telefonartige Interaktion wurde von der Demo zur Funktion.
Modell-Destillation. Werkzeuge, um ein kleines, günstiges Modell auf den Ausgaben eines grossen für eine enge Aufgabe zu trainieren — etwa eingehende Post sortieren statt Aufsätze schreiben.
Warum gerade das Langweilige zählt
Jede KI-Rechnung hat dieselbe Form: Nutzen pro Antwort, minus Kosten pro Antwort, mal Menge. Zwei Jahre lang drehte sich die Diskussion um den ersten Term. Ist das Modell gut genug? Unterdessen ist der zweite Term still eingebrochen.
Das verschiebt, welche Aufgaben sich überhaupt lohnen. Eine Tätigkeit, die vier Minuten spart, lohnt sich bei fünfzig Rappen pro Aufruf nicht und bei fünf Rappen offensichtlich schon. Viel unscheinbare Arbeit im Schweizer KMU — eingehende Rechnungen sortieren, Standardantworten entwerfen, einen Lieferschein gegen die Bestellung prüfen — liegt genau in diesem Band.
Was daraus folgt
Wer eine KI-Idee 2023 durchgerechnet und mangels Wirtschaftlichkeit beerdigt hat, sollte neu rechnen. Nehmen Sie die zwei, drei verworfenen Ideen und prüfen Sie sie noch einmal. Einige bestehen jetzt, ohne dass sich an der Idee etwas geändert hätte.
Und Vorsicht vor dem umgekehrten Fehler. Günstigere Antworten verführen dazu, das Modell über alles laufen zu lassen — auch über Daten, die das Haus nie verlassen sollten. Preis ist keine Erlaubnis. Welche Daten an wen in welchem Land gehen dürfen, ändert kein Rabatt.
Die praktische Regel: Fallende Preise dürfen die Liste der Kandidaten verlängern. Welche Kandidaten überleben, entscheiden Ihre Datenregeln.