Thinking-Budgets und Effort-Stufen: Wie OpenAI, Anthropic und Google die Denkzeit ihrer Modelle steuern

Die Grundidee stammt aus der Forschung zu Test-Time Compute. Ein im August 2024 veröffentlichtes Paper von Charlie Snell und Kollegen untersucht, wie sich zusätzliche Rechenzeit bei der Inferenz am besten einsetzen lässt. Die Wirksamkeit hängt laut den Autoren stark von der Schwierigkeit des Prompts ab. Eine „compute-optimale“ Strategie, die den Rechenaufwand pro Prompt adaptiv verteilt, verbesserte die Effizienz gegenüber einer Best-of-N-Baseline um mehr als das Vierfache. In einem Vergleich bei gleicher FLOP-Zahl übertraf ein kleineres Modell mit zusätzlicher Test-Time-Rechenzeit ein 14-mal größeres Modell. Das galt für Aufgaben, bei denen das kleine Modell bereits nennenswerte Erfolgsquoten erreichte.

Anthropic hat mehrere Stufen dieser Entwicklung durchlaufen. Beim älteren „Extended Thinking“ legen Entwickler mit budget_tokens ein festes Denkbudget fest. Es muss mindestens 1.024 Token betragen und kleiner als max_tokens sein. Laut Doku ist es ein Zielwert, keine harte Obergrenze. Bei den Claude-4.6-Modellen gilt dieser Modus als veraltet, Claude 4.7 und neuere Modelle lehnen ihn mit einem Fehler ab. Dort entscheidet das Modell im „adaptiven Thinking“ selbst, ob und wie lange es nachdenkt.

Gesteuert wird das bei Anthropic über den Effort-Parameter mit den Stufen low, medium, high, xhigh und max. Welche Stufen verfügbar sind, hängt vom Modell ab. Standard ist in der Regel „high“, bei Claude Opus 5.5 und Claude Haiku 5.5 „medium“. Effort wirkt laut Anthropic auf alle Ausgabe-Token, also auf Text, Tool-Aufrufe und Thinking. Es ist ein Verhaltenssignal und kein striktes Token-Budget. Auf niedrigen Stufen kann Claude bei einfachen Aufgaben ganz auf das Nachdenken verzichten. Thinking-Token werden als Output-Token abgerechnet, auch wenn der Denktext nicht zurückgegeben wird. Ändert man Budget oder Effort-Stufe auf oberster Ebene zwischen zwei Anfragen, werden Cache-Breakpoints ungültig.

OpenAI steuert den Denkaufwand seiner Reasoning-Modelle über den Parameter reasoning.effort in der Responses API bzw. reasoning_effort in Chat Completions. Laut OpenAI-Dokumentation hängen die unterstützten Stufen vom Modell ab und reichen etwa von none und minimal über low, medium und high bis xhigh und max. Niedrigere Stufen bringen schnellere Antworten mit weniger Token, höhere Stufen gründlichere Antworten.

Google steuert das Denken bei Gemini über den Parameter thinking_level mit festen Stufen. Welche Stufen unterstützt werden, hängt laut Google-Doku vom Modell ab. Die Gemini-Modelle denken standardmäßig dynamisch und passen den Aufwand automatisch an die Komplexität der Anfrage an.

Einordnung: Alle drei Anbieter steuern den Denkaufwand laut ihren Dokumentationen über wenige grobe Stufen; bei Anthropic ersetzen Effort und adaptives Thinking ab Claude 4.7 die festen Token-Budgets. Innerhalb dieser Stufen entscheidet das Modell selbst, wie viel es nachdenkt. Anthropic rät, die passende Stufe mit eigenen Evaluierungen zu ermitteln, statt Einstellungen von älteren Modellen zu übernehmen. Belastbare Aussagen über Kostenersparnisse hängen deshalb vom einzelnen Workload ab. Eigene Messungen hat FrontierRadar dazu nicht durchgeführt.