Wie Sie das Beste aus Ihren Agenten herausholen: Multi-Agenten-Systeme

Im letzten Beitrag haben wir unsere Erfahrungen mit dem Umgang mit dem Kontext eines KI-Agenten mitgeteilt. Wir haben verschiedene Strategien besprochen, um die Kontrolle über den Kontext eines einzelnen Agenten zu behalten. In diesem Beitrag konzentrieren wir uns auf die Erstellung eines Workflows mit mehreren Agenten: Wie funktioniert das und warum sollten Sie überhaupt mehrere Agenten haben wollen?

Wenn Sie den Trend verfolgt haben, haben Sie sicher schon von Multi-Agenten-Systemen gehört - die manchmal als Multiplikator für Agenten dargestellt werden, als ob ihre Produktivität linear oder sogar exponentiell mit ihrer Anzahl skaliert. In der Praxis führt das Hinzufügen weiterer Agenten auch zu mehr Komplexität. Es lohnt sich also zu fragen: Wann brauchen Sie eigentlich ein Multi-Agenten-System?

Wann brauchen Sie mehrere Agenten?

Stellen Sie sich vor, wir möchten ein System entwickeln, das eine ausgewogene Zusammenfassung eines Nachrichtenartikels liefern kann. Nehmen wir an, wir wollen dies mit einem einzigen Agenten tun, dem wir Zugang zu Tools geben, die Nachrichtenartikel aus verschiedenen Quellen abrufen und eine Websuche durchführen können. Wir könnten dem Agenten dann Anweisungen geben, einem Plan wie diesem zu folgen:

Ein einzelner Agent kann im Prinzip Aufgaben wie diese erledigen. Da die Aufgabe jedoch das Sammeln einer Vielzahl von Informationen erfordert, ist es wahrscheinlich, dass er manchmal (oder sogar oft) aus dem Zusammenhang gerissen wird, Anweisungen nicht befolgt oder etwas ganz anderes tut (z.B. ein Gedicht schreiben), und zwar aufgrund von Aufmerksamkeitsproblemen, wie sie im vorherigen Beitrag beschrieben wurden.

Natürlich sind Anleitungen wie die obige für eine Aufgabe wie diese viel zu kurz gefasst. Für die Faktensuche (Schritt 2) müssten wir zum Beispiel ausführlich erklären, wie man objektive Fakten sammelt, was wir als zuverlässige Quellen ansehen und wie man die Zuverlässigkeit einer unbekannten Quelle bewertet. Und für die perspektivische Suche (Schritt 4) würden wir Anweisungen für die Websuche geben, die genau das Gegenteil von denen für Schritt 2 sind; statt nach Fakten würde der Agent nach Meinungen suchen. Es wäre wahrscheinlich, dass der Agent bei der Durchführung dieser Schritte (zumindest teilweise) durch die widersprüchlichen Anweisungen abgelenkt würde.

Eine mögliche Lösung für dieses Problem wäre die Verwendung mehrerer Agenten. Wir könnten z.B. für jeden Schritt einen Agenten einsetzen, jeder mit seinen eigenen Anweisungen und Anweisungen, wie er an den nächsten Agenten übergeben werden kann, sobald er seine Aufgabe erledigt hat.

Bei einem solchen System ist es zwar wahrscheinlicher, dass die Forschung gemäß den Anweisungen durchgeführt wird, aber es besteht immer noch die Gefahr, dass die Agenten aus dem Kontext gerissen werden oder Probleme mit der Aufmerksamkeit haben: Jeder der Agenten hat immer die gesamte Historie der Eingaben, Nachrichten, Toolaufrufe und Ergebnisse in seinem Kontext.

Multi-Agenten-Workflows mit strukturierten Daten

Eine weitaus bessere Lösung wäre es, den Arbeitsablauf in eine Reihe von Schritten aufzuteilen, von denen jeder seine eigenen Anweisungen und Ziele hat und die ausschließlich mit strukturierten Informationen kommunizieren. Das könnte zum Beispiel so aussehen wie in der Abbildung unten, aber ein Workflow mit einem eigenen Agenten für jeden der sieben Schritte könnte noch besser funktionieren.

Die strukturierten Informationen, die zwischen den Agenten weitergegeben werden, könnten in etwa so aussehen, wobei jedes der Felder erst ausgefüllt wird, wenn der jeweilige Agent seine Arbeit beendet hat:

{
  "outline": "...",
  "factual_summary": "...",
  "perspectives": {
    "viewpoint_a": "...",
    "viewpoint_b": "..."
  },
  "final_summary": "..."
}

Dies würde sicherstellen, dass die Gedankengänge der Agenten sowie die rohen Suchergebnisse nicht in den Kontext der anderen Agenten gelangen: Nur das Endergebnis jedes Agenten gelangt in den Kontext der folgenden Agenten. Wir können sogar noch mehr Kontrolle ausüben: Wir müssen nicht jedem Agenten das gesamte strukturierte Ergebnis zur Verfügung stellen, sondern können stattdessen nur die Felder im Kontext bereitstellen, die für den jeweiligen Agenten relevant sind.

Ein Arbeitsablauf wie dieser gibt Ihnen viel Kontrolle über die durchfließenden Informationen, was von Vorteil sein kann, aber er ist noch nicht perfekt. So ist es zum Beispiel wahrscheinlich, dass der Zusammenfassende bei der Überprüfung (Schritt 6), bei der er den Entwurf nur auf der Grundlage neutraler Fakten überprüfen soll, von den Ergebnissen der perspektivischen Analyse (Schritt 4) "abgelenkt" wird. Solange diese Ergebnisse im Kontext stehen, gibt es keine Garantie, dass die Überprüfung nur auf den neutralen Fakten basiert. Da der letzte Agent jedoch die perspektivische Analyse benötigt, um die endgültige Zusammenfassung zu schreiben, können wir die perspektivische Analyse nicht aus dem Kontext entfernen.

Agenten als Werkzeuge

Wir können dieses Problem sowie potenzielle Kontextüberläufe, die durch große Suchergebnisse verursacht werden, beheben, indem wir Agenten als Werkzeuge implementieren.

Wir können zum Beispiel ein Tool erstellen, das einen Entwurf auf der Grundlage (nur) der objektiven Fakten überprüft. Indem wir sicherstellen, dass wir keine Meinungen als Eingabe bereitstellen, wird dieser Agent wahrscheinlich neutral sein. Der Zusammenfassungs-Agent kann dieses Tool aufrufen, sobald er einen Entwurf vorbereitet hat, und den Aufruf bei Bedarf wiederholen.

Websuche als Agent

In ähnlicher Weise können wir ein Suchwerkzeug implementieren, das die Suchergebnisse vorab zusammenfasst und so ein Überlaufen des Kontexts verhindert. Der daraus resultierende Arbeitsablauf wird zwar etwas komplexer, aber es ist viel unwahrscheinlicher, dass der Kontext verloren geht, die Aufmerksamkeit verloren geht, Sie ein Gedicht schreiben oder eine einseitige Zusammenfassung erstellen. Anstelle eines Tools, das eine URL oder eine Suchanfrage erwartet und den Inhalt dieser Seite(n) extrahiert, erhält der Agent Zugriff auf ein Tool, das eine URL oder eine Suchanfrage und eine Beschreibung der Informationen erwartet, die es extrahieren möchte. Dieses Tool gibt eine Zusammenfassung der angeforderten Informationen zurück. Auf diese Weise kann der Agent mehrere Suchanfragen und Seitenabfragen nacheinander durchführen, ohne seinen Kontext mit irrelevanten Informationen zu füllen, da diese irrelevanten Informationen von dem Tool herausgefiltert werden.

Um zu verstehen, warum dies wichtig ist, sollten Sie sich vor Augen führen, was ohne diese Funktion passiert. Ein Standard-Web-Suchtool gibt rohe Seiteninhalte direkt in den Kontext des aufrufenden Agenten zurück. Eine einzige Seite kann Zehntausende von Token enthalten, von denen die meisten für die anstehende Aufgabe irrelevant sind. Schon nach wenigen Suchvorgängen dominiert das Rauschen den Kontext des Agenten.

Bei einem Web-Suchagenten als Werkzeug holt der Unteragent den Rohinhalt ab und extrahiert nur die für die Anfrage relevanten Informationen, bevor er eine kompakte, strukturierte Zusammenfassung zurückgibt. Der aufrufende Agent sieht nie den Rohinhalt der Seite. Stattdessen sieht er nur die Informationen, die er angefordert hat.

Unserer Erfahrung nach reduziert dies die pro Suchaufruf zurückgegebenen Daten um 90-98% im Vergleich zum Rohinhalt. Der Hauptagent kann viel mehr Suchen durchführen, bevor er an die Grenzen des Kontexts stößt, und seine Aufmerksamkeit bleibt auf die Aufgabe konzentriert, anstatt das Rauschen zu durchsieben. Der Nachteil ist ein zusätzlicher LLM-Aufruf pro Suche, der zu einer gewissen Latenz führt - aber wir fanden, dass sich dieser Preis angesichts der höheren Zuverlässigkeit lohnt.

Die Komplexität bringt leider auch eine Reihe neuer Probleme mit sich. Die Fehlersuche wird zum Beispiel sehr viel komplizierter. Das Debuggen von Problemen in einem komplexen agentenbasierten Workflow erfordert eine gute Einrichtung der Nachverfolgung und Sichtbarkeit. Darüber hinaus erfordert die Entwicklung effektiver Tools, insbesondere solcher, die Agenten einbeziehen, viel Aufmerksamkeit (von Ihnen, nicht vom Agenten), was wir ebenfalls in einem späteren Beitrag behandeln werden.

Fazit

Kurz gesagt, Multiagentensysteme sind nicht der exponentielle Produktivitätsmultiplikator, für den sie manchmal gehalten werden. Sie sind jedoch das richtige Werkzeug, wenn ein einzelner Agent mit Aufmerksamkeits- oder Kontextproblemen zu kämpfen hat.

Eine strukturierte Kette von Agenten, bei der die Agenten nur mit genau definierten Datenfeldern kommunizieren, ist von großem Vorteil. So kann sich jeder Agent auf eine einzige Aufgabe konzentrieren und verhindern, dass frühere Überlegungen oder irrelevante Informationen in den Kontext späterer Agenten einfließen. Darüber hinaus ermöglicht die Implementierung von Agenten als Werkzeuge eine noch feinere Kontrolle: Ein Überprüfungswerkzeug, das nur neutrale Fakten sieht, kann nicht durch Meinungen beeinflusst werden, die es noch nie gesehen hat, und ein Suchwerkzeug, das die Suchergebnisse vorab zusammenfasst, kann verwendet werden, um die Menge des Kontexts um eine Größenordnung zu reduzieren.

Jede weitere Strukturebene führt jedoch zu zusätzlicher Komplexität, zusätzlichen LLM-Aufrufen und schwieriger zu behebenden Problemen. Unserer Erfahrung nach ist der Gewinn an Zuverlässigkeit die Kosten wert, insbesondere bei Aufgaben, bei denen es auf Genauigkeit ankommt.