Kontextmanagement

Problem

Ein Agent hat: * Anweisungen, * Gespräch, * Dokumente, * Werkzeugergebnisse, * frühere Entscheidungen. Ein Modell kann jedoch nur über die derzeit in seinem Kontext verfügbaren Informationen nachdenken. Alles für immer zu geben, ist teuer und schließlich unmöglich.

Lösung — Kontextmanagement

Wählen, zusammenfassen, abrufen und bewahren Sie die Informationen, die für den aktuellen Schritt relevant sind. Zum Beispiel stellt der Copilot Chat von VS Code jede Modellanforderung aus Anweisungen, Chatverlauf, relevanten Dokumentauszügen und Werkzeugergebnissen zusammen. Wenn sich der Kontext füllt, wird die ältere Konversation in eine Zusammenfassung komprimiert, die in späteren Anfragen verwendet wird; eine weitere Kompaktierung kann sie aktualisieren, während die Arbeit fortgesetzt wird. Die Zusammenfassung gehört zum Sitzungskontext; ihr Speicherort hängt von der Erweiterung ab. Sie soll Ziel, Einschränkungen, Entscheidungen und offene Arbeit bewahren, kann aber Details auslassen. Wichtige Dokumente sollten ausdrücklich referenziert und dauerhafte Regeln in Projektanweisungsdateien festgehalten werden.
Kerngedanke: Das Kontextmanagement entscheidet, welche Informationen das Modell jetzt wissen sollte.