Eine aktuelle Studie der Stanford University liefert empirische Erkenntnisse zu den Vor- und Nachteilen des Einsatzes von Multi-Agenten-KI-Systemen im Vergleich zu Ansätzen mit einzelnen Agenten. Die Arbeit untersucht die Frage, unter welchen Bedingungen der zusätzliche Rechenaufwand durch die Zusammenarbeit mehrerer KI-Agenten zu Vorteilen führt, wann einzelne KI-Agenten besser performen.
Die Forscher führten über 4.000 Experimente mit LLMs wie GPT-4o, Claude 3.5 Sonnet und Llama 3.1 405B durch, wobei vier Benchmarks unterschiedliche kognitive Anforderungen abdecken:
- WebArena: Simuliert reale Aufgaben der Webnavigation und -interaktion.
- ToolBench: Testet den agentischen Einsatz von Werkzeugen für komplexe, mehrstufige Operationen.
- BFCL (Berkeley Function-Calling Leaderboard): Bewertet die Genauigkeit beim Aufruf von Funktionen.
- SWE-bench Verified: Bewertet Software-Engineering-Aufgaben wie Code-Bearbeitung und Debugging.
Die Ergebnisse zeigen ein klares Muster: Multi-Agenten-Systeme verursachen aufgrund des Informationsaustauschs zwischen den Agenten und redundanter Verarbeitungsprozesse durchweg 2- bis 10-mal höhere Rechenkosten. Allerdings übertreffen sie einzelne Agenten vor allem bei komplexen Aufgaben. Einzelne Agenten erzielten beispielsweise bei einfachen Aufgaben bei einem Drittel des Rechenaufwands um 15–20 % höhere Erfolgsraten als Multi-Agenten-Teams; Multi-Agenten-Systeme weisen hier einen hohen Koordinationsaufwand, ie etwa Fehlern beim Parsen von übermittelten Nachrichten. Eine Analyse ergab u.a., dass Agenten „aneinander vorbeiredeten“ und hierdurch einerseits irrelevante Antworten generierten, zugleich den Token-Verbrauch um 40 % erhöhten.
URL:
- Bericht im Forum von Gnoppix : https://forum.gnoppi … rth-the-compute/5543
- Pressebericht bei The Decoder: https://the-decoder. … i-agenten-auszahlen/