RAG vs. CAG vs. Agentic RAG: Was CTOs 2026 vor der Entscheidung wissen müssen

Die teuerste Architekturentscheidung, die ein CTO 2026 trifft, ist nicht die Modellwahl, sondern wie dieses Modell auf das Unternehmenswissen zugreift.

Drei Muster haben sich herauskristallisiert: Retrieval-Augmented Generation (RAG), Cache-Augmented Generation (CAG) und Agentic RAG. Anbieter verkaufen sie als austauschbar. Sind sie nicht. Jedes beantwortet vier Fragen anders: Wie gross ist Ihre Wissensbasis, wie oft ändert sie sich, was passiert bei Fehlern und wie autonom soll das System agieren?

Die drei Ansätze, ohne Marketing

RAG ist das Standardmuster. Eine Anfrage kommt, eine Retrieval-Schicht (hybride lexikalische + Vektorsuche, fusioniert über Reciprocal Rank Fusion) holt die relevantesten Chunks aus einem Index, das LLM konditioniert seine Antwort darauf. Azure AI Search, Googles Vertex RAG Engine und AWS Bedrock Knowledge Bases implementieren Varianten. Enhanced RAG ergänzt Query-Rewriting, Reranker und Metadatenfilter, die Pipeline bleibt linear und vorhersagbar.

CAG dreht das Prinzip um. Statt pro Anfrage zu retrievalen, wird ein kuratiertes Wissenskorpus vorab in den Modellkontext geladen und der Key-Value-Cache vorgewärmt. Die Online-Latenz fällt gegen null, weil jede Anfrage den vorbereiteten Zustand wiederverwendet. Der Haken: Es funktioniert nur bei kleinen, stabilen Wissensbasen, die ins Aufmerksamkeitsbudget passen.

Agentic RAG übergibt die Kontrolle dem LLM. Das Modell entscheidet, wann es retrievalt, ob erneut retrievalt, welche Tools es aufruft und wann die Antwort gut genug ist. Es ist das Muster hinter Research-Assistenten und autonomen Backoffice-Agenten.

Was die Daten 2026 tatsächlich zeigen

Ein empirischer Vergleich vom Januar 2026 zeigt, was die meisten Anbieter-Decks ausklammern: Agentic ist nicht universell besser. In einem Finanz-QA-Setting erreicht Agentic 97,7 / 98,8 Recall/F1 und schlägt Enhanced (95,1 / 95,7) knapp. Domäne wechseln, und Agentic bricht auf 49,3 / 64,6 ein, während Enhanced bei 84,4 / 87,9 bleibt. Noch schlechter: Agentic RAG verursachte bis zu 3,6× höhere Token- und Tool-Call-Kosten als Enhanced RAG bei gleicher Last.

Ein Readiness-Harness vom März 2026 macht die operativen Trade-offs greifbar. Höhere Retrieval-Tiefe (k = 3 vs. k = 10) steigert Hit@k um 7–12 Prozentpunkte auf BEIR-Slices, verdreifacht aber die Kosten pro Run (≈ 0,007 auf ≈ 0,020 USD). Ein Reranker verändert das Profil komplett: Auf SciFact mit k = 5 maximiert BM25 allein Hit@k, aber BM25 + Reranker liefert die beste Faithfulness und die niedrigste p95-Latenz. Die Lektion: "grösseres Modell" ist keine Strategie. Auf FiQA liegt ein kleineres Modell bei Faithfulness vorn, während das grössere 9 Sekunden p95-Latenz kostet.

Für CAG berichten öffentliche Anbieter-Benchmarks (Dezember 2025) einen BERTScore von 0,776 auf HotPotQA, indikativ, nicht universell. Betrachten Sie es als Signal, dass CAG für kleine stabile Korpora tragfähig ist, nicht als Garantie.

Ein CTO-Entscheidungsrahmen

Bevor Sie ein Muster wählen, klären Sie vier Punkte:

• Wissensprofil, Grösse, Update-Frequenz, Query-Wiederholung, Struktur. Ein 500-seitiges Policy-Korpus verhält sich völlig anders als eine lebende Produktdokumentation.
• Aufgabenprofil, Single-Turn-QA, Multi-Hop-Reasoning oder Tool-gesteuerte Workflows? Agentic rechnet sich nur, wenn die Aufgabe wirklich Iteration braucht.
• Risikoprofil, Data Residency, Key Management, Audit-Pflichten und der Schadensradius einer halluzinierten Quelle oder eines unüberwachten Tool-Aufrufs.
• Operativ-Profil, OpenTelemetry-Traces, Eval-Harnesses, CI-Gates für KI-Pipelines. Ohne sie ist Agentic RAG nicht beobachtbar.

Auf Use-Cases übertragen:

• Customer Support, Enhanced RAG als Default. CAG wird interessant, wenn FAQ/Policy-Korpus stabil und klein ist. Agentic nur bei echten Diagnose-Workflows über Systeme hinweg.
• Knowledge Management, RAG mit Hybrid Search und strikten Metadatenfiltern. CAG für isolierte stabile Handbücher. Agentic für Research-Assistenten mit Verifikation.
• Code-Generierung, code-aware RAG mit Scoping-Regeln. Agentic nur, wenn autonomes Refactoring, Test-Generierung oder PR-Flows im Scope sind, und die Kosten eingepreist sind.
• Autonome Backoffice-Agents, Agentic RAG per Definition, aber nur mit harten Guardrails: Budget-Caps, Stop-Conditions, Human-in-the-Loop bei materiellen Entscheidungen und Claim-Level-Verifikation.

Die Governance-Schicht, die keine Architektur mitliefert

Jedes Muster oben unterstellt, dass sich jemand anderes um das kümmert, was Regulatoren interessiert: Wer hat welche Daten gesehen, war die Antwort auf autorisierten Quellen gegründet, blieb ein Tool-Aufruf innerhalb der Policy, ist die Kette in sechs Monaten noch nachvollziehbar? Tun sie nicht. RAG-Anbieter liefern Retrieval und Indexing. CAG-Frameworks liefern Kontextmanagement. Agentic-Frameworks liefern Orchestrierung. Keines liefert Governance.

Unter dem EU AI Act liegt die Beweislast beim einsetzenden Unternehmen, nicht beim Modellanbieter. Jede RAG-Anfrage, jeder gecachte Kontext und jeder agentische Tool-Aufruf muss protokolliert, zurechenbar, policy-durchgesetzt und replay-fähig sein. Dies nachträglich zu ergänzen war der teuerste Fehler, den wir 2026 bei Unternehmen beobachtet haben.

Welches Muster auch gewählt wird, planen Sie zuerst den Audit-Pfad. hegyon.ai stellt die Governance-Schicht bereit, die zwischen Ihren Menschen, Ihren Daten und Ihren Modellen sitzt, Policy-Enforcement, PII-Redaction, vollständiges Audit-Logging und Model-Routing, sodass die Architekturentscheidung oben eine Performance-Frage bleibt, keine Compliance-Frage wird.

Swiss-hosted oder On-Premise. Ihre Daten, Ihre Regeln.