RAG

Problem

Ein LLM weiß, was er während des Trainings gelernt hat. Es kennt nicht automatisch die aktuelle interne Dokumentation Ihres Unternehmens. Sie fragen: "Was ist unser PROD-Bereitstellungsverfahren?" Die Antwort gibt es in Ihrem privaten Wiki.

Lösung — Retrieval-Augmented Generation

Suchen Sie zuerst relevante Informationen ab und stellen Sie sie dem Modell als Kontext zur Verfügung. In der Regel werden Dokumente in Passagen aufgeteilt und für die Suche indexiert. Für jede Frage holt die Anwendung relevante Passagen ab, auf die der Benutzer zugreifen kann, und sendet sie mit der Frage an das Modell. Eine Azure-Implementierung kann Azure AI Search verwenden, um die Passagen abzurufen, und ein Azure OpenAI-Modell, um die Antwort aus diesem Kontext zu generieren.

Fragestellung
   ↓
Firmenwissen suchen
   ↓
Einschlägige Unterlagen
   ↓
LLM
   ↓
Antwort

Kerngedanke: RAG stellt dem Modell zur Anfragezeit externes Wissen als Grundlage für seine Antwort bereit.