RAG verbessern: Das Problem ist selten das Modell
24. Juni 2026
WeiterlesenFoundry IQ erklärt: Microsofts verwaltete Wissensschicht auf Azure AI Search — was sie gegenüber klassischem RAG bringt, was sie kostet und wann Schweizer KMU besser bei RAG oder der Stufe «minimal» bleiben.

Seit Microsoft «Foundry IQ» bewirbt, klingt es für viele Schweizer KMU nach dem nächsten Produkt, das man prüfen, lizenzieren und in die Roadmap aufnehmen muss. Genau hier lohnt sich die Entzauberung: Foundry IQ ist keine neue Suchmaschine und kein separater KI-Stack, sondern Microsofts verwaltete Wissensschicht für Agenten — gebaut auf Azure AI Search und dessen Agentic-Retrieval-Funktionen. Es gibt keine separate Plattform, auf die Sie migrieren müssten; die Rechnung landet weiterhin bei Azure AI Search und Azure OpenAI.
Belanglos ist das trotzdem nicht. Foundry IQ kann mehrere Wissensquellen in einer Knowledge Base bündeln, Suchanfragen in Teilfragen zerlegen, Quellen auswählen, Ergebnisse mit Zitaten zurückgeben und — je nach Quelle und Konfiguration — Berechtigungen berücksichtigen. Der Preis dafür ist nicht nur Geld, sondern Komplexität: zusätzliche Tokenkosten, höhere Latenz, Preview-Anteile, Quellkonfiguration, Berechtigungsdetails und mehr Betriebsverantwortung.
Für viele Schweizer KMU ist deshalb nicht die Frage: «Brauchen wir Foundry IQ?» Die bessere Frage lautet: «Sind unsere Nutzerfragen wirklich so zusammengesetzt, quellenübergreifend und berechtigungssensitiv, dass klassisches RAG oder der Minimalmodus nicht mehr reichen?» Dieser Artikel liefert das Raster, um genau das zu beantworten.
Foundry IQ ist Microsofts Foundry-seitige, verwaltete Wissensschicht für KI-Agenten: Knowledge Bases, die eine oder mehrere Wissensquellen unter einem Endpunkt bündeln, plus die Integration in Azure OpenAI und den Foundry Agent Service. Die Suchmaschine darunter ist Azure AI Search; der Motor, der Anfragen plant und zerlegt, heisst Agentic Retrieval. Microsofts FAQ sagt es direkt: «Foundry IQ is built on Azure AI Search's agentic retrieval capabilities» — und wer eigene Lösungen baut, kann Agentic Retrieval auch ohne den Foundry-Überbau direkt über die Azure-AI-Search-APIs nutzen. Zur selben Einordnung kommt unabhängig die Beratungsfirma Spyglass.
Wichtig für die Budgetdiskussion: Es gibt durchaus etwas zu konfigurieren und zu bezahlen — Microsoft betreibt sogar eine eigene «Foundry IQ pricing»-Seite, deren Untertitel «Foundry IQ (Azure AI Search)» die Verwandtschaft gleich mitliefert. Aber es gibt keine separate Suchplattform zu evaluieren und kein Migrationsprojekt zu planen. Die Agentic-Retrieval-Aktivität wird laut derselben Seite unter «Azure AI Search» verrechnet; die LLM-Anteile unter Azure OpenAI.
Weil die Begriffe im Umlauf munter vermischt werden, hier die saubere Trennung:
| Begriff | Saubere Definition |
|---|---|
| Azure AI Search | Such-, Indexierungs- und Retrieval-Infrastruktur |
| Agentic Retrieval | Multi-Query-Retrieval-Engine innerhalb von Azure AI Search |
| Foundry IQ | Foundry-seitige, verwaltete Wissensschicht auf diesen Fähigkeiten |
| Knowledge Base | Wiederverwendbarer Retrieval-Endpunkt für Agenten |
| Knowledge Source | Angebundene Datenquelle: Blob Storage, OneLake, SharePoint, Web oder ein bestehender Index |

Eine Randnotiz zur Orientierung: Die FAQ nennt drei IQ-Workloads — Work IQ für Microsoft-365-Kontext, Fabric IQ für strukturierte Geschäftsdaten, Foundry IQ für Unternehmenswissen. Auf der Marketing-Hubseite kommt Web IQ für Live-Webinhalte als viertes Familienmitglied dazu. Wer die Namen verwechselt, befindet sich in bester Gesellschaft. Für diesen Artikel gilt: Foundry IQ ist die Schicht für den belegten Abruf aus Dokumenten- und Wissensquellen.
Klassisches RAG stellt pro Frage genau eine Suchanfrage und übergibt die Treffer dem Modell. Die Agentic-Retrieval-Übersicht beschreibt den agentischen Ansatz dagegen als «retrieval as a reasoning task»: Ein LLM analysiert die Frage samt Gesprächsverlauf, zerlegt sie in Teilanfragen, wählt die passenden Wissensquellen aus, fragt sie parallel ab, prüft, ob das Signal reicht, iteriert bei Bedarf und liefert belegte Ergebnisse zurück.
Konkret kauft man mit einer Foundry-IQ-Knowledge-Base gegenüber einem selbst gebauten Single-Query-Stack diese Fähigkeiten ein:
| Fähigkeit | Warum sie zählt | Vorbehalt |
|---|---|---|
| Multi-Source-Knowledge-Base | Eine wiederverwendbare Retrieval-Schicht für mehrere Agenten statt Pipeline pro Agent | Quellen- und API-versionsabhängig |
| Indexierte + Remote-Quellen | Blob Storage, OneLake, SharePoint, Web und bestehende Indexe kombinierbar | Nicht jede Quelle hat denselben ACL-, Refresh- und Preview-Status |
| Query-Planung | Zerlegt zusammengesetzte Fragen in fokussierte Teilanfragen | Kostet Latenz und Modell-Tokens |
| Quellenauswahl | Die Engine wählt pro Frage die relevanten Quellen | Braucht gepflegte Quellbeschreibungen und Retrieval-Instruktionen |
| Iterative Suche | Stufe «medium» startet bei schwacher Evidenz genau einen zweiten Durchgang | Preview, ein Retry, zusätzliche Kosten und Latenz |
| Extraktiver Output mit Zitaten | Agenten erhalten Rohbelege statt fertiger Prosa | Answer Synthesis empfiehlt Microsoft nur für Standalone-Anwendungen |
| ACL-/Purview-Unterstützung | Voraussetzung für Enterprise-Suche über geschützte Bestände | Nicht automatisch für alle Quellen (siehe Kasten) |
| Activity-Logs und Query-Pläne | Zeigen, was gesucht wurde und warum | Observability noch im Aufbau |
Indexierte Quellen übernehmen laut FAQ Chunking, Vektorisierung, Metadaten-Extraktion und ACL-Synchronisation automatisch; Remote-Quellen (SharePoint via Copilot Retrieval API, Web via Grounding with Bing) speichern nichts, sondern fragen das Quellsystem zur Laufzeit ab. Abgerufen wird die Knowledge Base über die Retrieve-API — oder als MCP-Endpunkt, was sie für Agenten ausserhalb des Foundry-Ökosystems anschlussfähig macht.
Die eigentliche Entscheidung ist keine Produktentscheidung, sondern die Wahl einer Stufe. Der Reasoning-Effort-Regler macht daraus ein Kontinuum — und dass Microsoft einen agentischen Modus mit eingebautem Ausschalter liefert, ist das stillschweigende Eingeständnis, dass die volle Stufe schwer und teuer ist:
| Stufe | Was passiert | Wofür sie reicht |
|---|---|---|
| Klassisches RAG (ohne Knowledge Base) | Eine Suchanfrage pro Frage, hybride Suche, eigene Orchestrierung | Nachschlagen, Definieren, Verifizieren in einer homogenen Quelle |
| «minimal» | Knowledge-Base-Komfort ohne LLM: direkte Text-/Vektorsuche über alle Quellen, vorhersehbares Verhalten | Mehrere Quellen, aber einfache Fragen; Migrationen von der Search-API |
| «low» (Default) | Ein Durchgang LLM-Query-Planung und Quellenauswahl, optionale Answer Synthesis (5'000-Token-Budget) | Zusammengesetzte Fragen mit überschaubarer Tiefe |
| «medium» | Zusätzlich semantischer Klassifikator, L3-Ranking und genau eine Retry-Iteration bei schwacher Evidenz (10'000-Token-Budget) | Zusammengesetzte Fragen über getrennte, geschützte Quellen mit hohem Relevanzanspruch |
Ein Warnhinweis zu allen Limiten in diesem Umfeld: Sie sind API-versionsabhängig und haben sich bereits verschoben. In der 2026-05-01-preview erlauben «low» und «medium» auf den meisten Bezahl-Tiers bis zu 10 Wissensquellen pro Knowledge Base; ältere Preview-Versionen limitierten auf 3 Teilanfragen aus 3 Quellen («low») beziehungsweise 5 aus 5 («medium»). Wer solche Zahlen in eine Architekturentscheidung einbaut, prüft sie gegen die konkret verwendete API-Version — nicht gegen einen Blogartikel, auch nicht gegen diesen.
Das verlässlichste Entscheidungskriterium bleibt der Fragetyp. Solange Ihre Nutzer nachschlagen, definieren und verifizieren («Was steht im Vertrag zu Kündigungsfristen?»), trägt eine einzelne gute Suchanfrage. Sobald Fragen mehrere Quellen kombinieren und Zwischenschritte brauchen («Welche Mandate betrifft die Regeländerung, und was haben wir ihnen zugesichert?»), beginnt der Bereich, in dem geplante Teilanfragen ihren Aufpreis wert sind. Eine harte Dokumentenzahl als Schwelle gibt es nicht; kippen kann es schon ab einigen hundert Dokumenten, wenn die Fragen zusammengesetzt sind.

Eine seriöse Kostenbetrachtung trennt vier Posten, die unabhängig voneinander laufen:

Zur Grössenordnung des Fundaments eine reale Zahl aus meinem eigenen Betrieb, ausdrücklich als anekdotischer Vergleichswert gekennzeichnet: Mein RAG-Produkt AmpliQ — klassische Single-Query-Architektur auf Azure AI Search, ohne agentische Stufe — kostete im Mai 2026, einem Monat mit bewusst tiefer Nutzung, CHF 491:
| Kostenblock | CHF/Monat (gerundet) |
|---|---|
| Azure AI Search (Standard S1 inkl. Semantic Ranker) | 178 |
| Modell-Tokens (Foundry Models) | 86 |
| Applikations-Infrastruktur (Hosting, Echtzeit-Kanal, Cache, Datenbank, Netzwerk) | 200 |
| Dokumentverarbeitung (Content Understanding) | 25 |
| Storage, Key Vault, Übriges | 2 |
Die Lehre daraus betrifft die Zähler eins bis drei: Die Suchkapazität ist ein Fixkostenblock — die S1-Einheit kostet ihre rund CHF 178 im Monat, ob zehn oder zehntausend Abfragen laufen. Die Token-Kosten dagegen skalieren mit der Nutzung. Genau dort setzt die agentische Stufe an: Sie erhöht nicht primär die Fixkosten, sondern multipliziert die Modellaufrufe pro Frage — auf Zähler zwei und drei gleichzeitig.
Die Planungsschritte kosten Zeit. Microsoft benennt das in der Übersicht selbst: «Agentic retrieval adds latency compared to a single-query pipeline, but it handles query complexity that a single query can't.» Gegen die Latenz nennt Microsoft drei Hebel: ein kleineres, schnelleres Modell für die Query-Planung, das Zusammenfassen langer Gesprächsverläufe vor der Abfrage und den Schalter auf «minimal».
Zu realen Antwortzeiten existieren belegte Community-Daten: Ein Microsoft-Q&A-Thread zur Foundry-Orchestrierung beschreibt normale Antworten bei etwa 3 bis 6 Sekunden, mit Ausreissern von 20 bis über 40 Sekunden bei kaltem Cache oder regionaler Auslastung. Berichte über 90 bis 120 Sekunden und mehrminütige Antworten betreffen das Model-Serving im Foundry-Ökosystem generell und sind nicht bestätigt Foundry-IQ-spezifisch.
Hier eine Korrektur an einer Erzählung, die auch durch meine eigene frühere Recherche geisterte: Switzerland North sei eine von nur drei Regionen weltweit mit Agentic Retrieval. Das ist überholt. Laut der aktuellen Regionsliste unterstützen inzwischen Dutzende Regionen Agentic Retrieval — in Europa unter anderem France Central, Germany West Central, Italy North, Sweden Central, UK South, West Europe sowie Switzerland North und Switzerland West (Stand: Juli 2026). Ein exklusiver Schweizer Zugangsvorteil ist das nicht mehr.
Was für Schweizer Deployments trotzdem zählt: Switzerland North ist vollständig versorgt — Agentic Retrieval inklusive Free-Tier-Unterstützung, Semantic Ranker und Query Rewrite — und gehört zu den rund 15 Regionen weltweit, in denen auch die iterative Stufe «medium» verfügbar ist. Wer in Switzerland North bereits Azure AI Search betreibt, kann die agentische Stufe also ohne Regionswechsel und ohne Datenexport in eine andere Geografie testen. Das ist der praktisch relevante Punkt — nicht ein vermeintlicher Exklusivzugang.
Und: Regionale Verfügbarkeit ist keine Datenresidenz-Zusage; diese zwei Konzepte werden gern verschmolzen. Auf Ebene der Foundry-Plattform hängt eine vertragliche EU-Residenz-Garantie an speziellen Data-Zone-SKUs in Sweden Central oder Germany West Central; eine Foundry-IQ-spezifische Residenz-Zusage adressiert derzeit keine auffindbare Quelle. Dazu kommt der Hinweis aus Microsofts eigenen Preview-Bedingungen: Die 2026-05-01-preview unterstützt Verbindungen zu Dritt-Services, deren Nutzung Datenflüsse ausserhalb der Azure-Compliance-Grenze auslösen kann — die Verantwortung dafür liegt explizit beim Kunden. Wer revDSG- oder FINMA-Anforderungen hat, klärt die Residenzfrage deshalb pro Feature und pro Wissensquelle, nicht pro Region.
Microsoft publiziert keine Schwelle, ab der sich die agentische Stufe lohnt; die folgende Signatur ist Editorial Synthesis aus der Quellenlage: mehrere getrennte, zugriffsgeschützte Wissensquellen, echte zusammengesetzte Fragen und eine heterogene Dokumentbasis. Konkret sehen Ja-Kandidaten so aus:
Zwei Einordnungen gehören zu jedem Ja: Microsofts «36 % relevantere Antworten» sind eine Eigenmessung ohne offengelegte Methodik. Und die Wissensquellen-Liste ist Microsoft-zentrisch, ein Betrieb gegen Nicht-Azure-Modelle nicht vorgesehen: Das kritisiert mit Graphlit ausgerechnet ein Konkurrent, aber die Abhängigkeit von Azure AI Search und Azure OpenAI bestätigen Microsofts eigene Docs.
Das typische Schweizer KMU-Szenario sieht anders aus als Microsofts Demo. Drei Konstellationen, in denen klassisches RAG oder die Stufe «minimal» sehr wahrscheinlich reicht — wieder als Editorial Synthesis, nicht als Microsoft-Empfehlung:
Halten Sie Ihre eigene Wissensbasis gegen fünf Fragen:
Bei zwei oder mehr Nein: Bleiben Sie bei klassischem RAG oder «minimal», und streichen Sie «Foundry IQ evaluieren» von der Projektliste. Das Zielbild trägt trotzdem: Eine 50-Personen-Treuhandfirma betreibt klassisches RAG über die Mandatsdokumente, Antworten kommen in ein bis zwei Sekunden mit Fundstelle, geprüft und entschieden wird weiterhin von Menschen. Die agentische Stufe bleibt eine dokumentierte Option für den Tag, an dem die Fragen zusammengesetzter werden.
Wer die agentische Stufe einführt, übernimmt Betriebsaufgaben, die in den Ankündigungen nicht vorkommen:
Und eine Plattform-Grenze, die für die Toolwahl zentral ist: Knowledge Bases lassen sich aus dem Foundry Agent Service, dem Microsoft Agent Framework oder jeder eigenen Applikation über die Azure-AI-Search-APIs aufrufen. Nicht kompatibel sind sie mit der Copilot-Welt: Laut FAQ sind Copilot-Wissensquellen und Foundry-IQ-Wissensquellen konzeptionell ähnlich, aber nicht interoperabel — Foundry-IQ-Quellen funktionieren nicht in Copilot, Copilot-Quellen nicht in Foundry IQ. Wer zwischen Copilot Studio, M365 Copilot und einem eigenen Foundry-Agenten abwägt, entscheidet damit auch, in welchem der beiden getrennten Wissensquellen-Ökosysteme investiert wird.
Zuerst die Offenlegung: Ich baue und verkaufe Retrieval-Lösungen, unter anderem AmpliQ. An einer Empfehlung für die teurere agentische Stufe würde ich kurzfristig verdienen — gerade deshalb dürfen Sie die Aussage «Sie brauchen sie wahrscheinlich nicht» ernst nehmen.
Was klassisches Single-Query-RAG leistet, sehe ich täglich: In Kundendeployments antwortet der AmpliQ-Stack — Azure AI Search, hybride Suche, eine Abfrage pro Frage — end-to-end meist unter ein bis zwei Sekunden. Das ist die Referenz, gegen die ein agentischer Aufpreis von mehreren Sekunden bis zweistelligen Sekunden antreten muss.
Die zweite, unbequemere Beobachtung: Rate Limits. Trotz erheblicher Arbeit an der Retrieval-Strategie, gerade um Modellaufrufe zu sparen, schlagen die Token-Kontingente der Modell-Deployments schneller an, als Budgetpläne es vorsehen. Daraus folgt für die agentische Stufe eine einfache Rechnung: Query-Planung, Teilanfragen und Synthese machen aus einer Nutzerfrage mehrere Modellaufrufe. Wer heute schon an Kontingenten anschlägt, multipliziert dieses Problem, bevor die erste bessere Antwort ankommt.
Ein eigener Foundry-IQ-Test in Switzerland North steht bei mir noch aus; die Zahlen oben sind der klassische Kontrast, keine agentische Messung. Auch das gehört zur Ehrlichkeit.
Gestaffelt — und die Antwort hängt an der API-Version. Teile von Agentic Retrieval sind in der REST-API 2026-04-01 generell verfügbar; der Reasoning-Effort-Regler, der Serverless-Tarif und einzelne Konnektoren bleiben Preview und verlangen die 2026-05-01-preview. Dass ein älterer Q&A-Thread Foundry IQ pauschal als «not recommended for production workloads» einstufte, während spätere Produktkommunikation GA verkündete, ist Timeline-Drift, kein Widerspruch: Beide Aussagen stimmten zu ihrem Zeitpunkt — und für die Preview-Anteile gilt der Produktions-Vorbehalt bis heute.
Belastbare unabhängige Messungen existieren nicht. Microsofts eigene Zahlen — 36 % relevantere Antworten, bis zu 54 % mehr Recall, eine 10'000-Query-Studie zur Groundedness — stammen sämtlich aus Microsoft-eigenen, selbst bewerteten Benchmarks ohne unabhängige Replikation. Als Richtungssignal brauchbar, als Entscheidungsgrundlage nicht.
Nein. Laut Microsofts FAQ sind die Konzepte ähnlich, die Quellen aber nicht interoperabel: Foundry-IQ-Wissensquellen funktionieren nicht in Copilot, Copilot-Wissensquellen nicht in Foundry IQ. Die Plattformwahl ist damit auch eine Investitionsentscheidung für eines der beiden Ökosysteme.
Work IQ liefert Agenten Kontext aus Microsoft 365 (wer arbeitet woran: Mails, Meetings, Dokumente), Fabric IQ eine semantische Schicht über strukturierten Geschäftsdaten, Foundry IQ den belegten Abruf aus Dokumenten- und Wissensquellen. Auf der Marketing-Hubseite kommt Web IQ für Live-Webinhalte als viertes Familienmitglied dazu.
Foundry IQ ist kein neues Produkt, das Sie als solches evaluieren müssten: Es ist Microsofts verwaltete Wissensschicht auf Azure AI Search und Agentic Retrieval — real und in Teilen nützlich, aber kein Migrationsziel und kein Pflichtprogramm. Was bleibt, sind drei Dinge: die Einordnung, die Ihnen ein Scheinevaluationsprojekt erspart; ein Fähigkeits- und Kostenraster, das die vier beweglichen Zähler benennt; und ein Entscheidungsmodell entlang des Fragetyps statt entlang des Produktnamens.
Die bessere Abschlussfrage lautet deshalb nicht «Foundry IQ: ja oder nein?», sondern: Sind Ihre Nutzerfragen wirklich so zusammengesetzt, quellenübergreifend und berechtigungssensitiv, dass klassisches RAG oder der Minimalmodus nicht mehr reichen — und ist Ihre Wissensbasis überhaupt der Engpass, oder Ihre Retrieval-Architektur? Wenn Sie das für Ihr eigenes Setup nicht sicher beantworten können, ist genau diese Frage der Gegenstand eines unabhängigen RAG- und Grounding-Reviews von PowerLeap. Die Checkliste oben können Sie aber schon morgen selbst gegen Ihre Dokumentenbasis halten — bevor es ein Anbieter für Sie tut.

ÜBER DEN AUTOR
Adrian Stauffer · Gründer und Geschäftsführer
Adrian Stauffer ist Gründer von PowerLeap und begleitet Schweizer KMU von der KI-Idee bis in den Betrieb – mit über 15 Jahren Corporate-Controlling-Erfahrung, Microsoft-Stack-Tiefe von Copilot bis Foundry und täglicher eigener Entwicklung an produktiven KI-Systemen.
Themen vertiefen