In einer gemeinsamen Untersuchung verglichen Forscher von Handshake AI und der McGill University die von KI erzeugten Ergebnisse mit denen von Junior-Investmentbankern anhand von typischen Arbeitsabläufen. Dazu wurde u.a. der Benschmark BankerToolBench genutzt.
- Bericht zu BankerToolBench auf arXiv: https://arxiv.org/abs/2604.11304
- Benchmark bei guthub: https://github.com/H … arch/bankertoolbench
BankerToolBench bewertet konkrete Produkte, die ein Junior-Banker einem Manager vorlegt: funktionale Excel-Finanzmodelle, PowerPoint-Präsentationen für Kunden, PDF-Berichte und Word-Dokumente. zudem müssen Junior-Investmentbanker Datenräume durchsuchen, auf Plattformen wie FactSet und Capital IQ zugreifen und SEC-Unterlagen analysieren.
Zur Bewertung der Ergebnise wurde eine von Bankern erstellte Checkliste mit etwa 150 Punkten in sechs Kategorien genutzt. Die Kategorien umffassen: technische Genauigkeit, Eignung für den Kunden, Compliance, Überprüfbarkeit und Konsistenz der Dateien.
Neun prominente Modelle wurden der Bewertung unterzogen: GPT-5.2, GPT-5.4, Claude Opus 4.5 und 4.6, Gemini 2.5 Pro, Gemini 3.1 Pro Preview, Grok 4 sowie die Open-Source-Modelle Qwen-3.5-397B und GLM-5.
Dabei gab es ein klares Urteil: Kein Ergebnis eignet sich nach Ansicht der an der Untersuchung beteiligten Banker für eine Kundenpräsentation. Nach Beurteilung der Banker erfordern 41 Prozent der KI-generierten Inhalte umfangreiche Überarbeitungen, während sich 27 Prozent als völlig unbrauchbar erwiesen. Nur 13 Prozent benötigten geringfügige Anpassungen. Und keines der Ki-genrierten Ergebnisse wurde ohne Änderungen genehmigt.
Bericht dazu unter