Wie wir KI-Agenten systematisch messen und testen

Ein KI-Agent, der auf echten Geschäftsdaten arbeitet, trifft bei jeder Anfrage Dutzende Entscheidungen: Welches Werkzeug wähle ich? Welche Daten hole ich? Wie formuliere ich die Antwort? Wer solche Systeme für Unternehmen einsetzt, kann sich nicht auf ein Bauchgefühl verlassen. Bei Vectoryon behandeln wir die Nachvollziehbarkeit eines KI-Laufs deshalb als Teil des Produkts, nicht als Nebensache.

Dieser Beitrag beschreibt, wie wir die Qualität unseres KI-Assistenten prüfen — quantitativ und qualitativ.

KI in der Praxis ist eine Blackbox — ausser man misst sie

Das Verhalten eines KI-Agenten ist nicht deterministisch: Dieselbe Frage kann zu unterschiedlichen Wegen führen. Solange man diese Wege nicht sichtbar macht, bleibt jede Aussage über «gut» oder «schlecht» eine Vermutung. Messbarkeit ist die Voraussetzung dafür, einem System überhaupt vertrauen zu können.

Vollständige Ausführungs-Traces (qualitativ)

Jede Entscheidung und jedes Werkzeug-Ergebnis eines Agenten-Laufs wird als strukturiertes Ereignis erfasst — mit dem echten Ergebnis, nicht nur einem «erledigt». So lässt sich ein Lauf vollständig rekonstruieren: Warum hat der Agent diesen Weg gewählt? Welche Daten kamen zurück? Wo verlor er den Faden? Ohne diese Nachvollziehbarkeit ist die Analyse eines nicht-deterministischen Systems blindes Raten.

A/B-Vergleiche zwischen Ansätzen (quantitativ)

Wir vergleichen konkurrierende Ansätze nicht nach Meinung, sondern nach Zahlen. In kontrollierten A/B-Läufen messen wir über identische Aufgaben hinweg drei Dinge:

• Kosten — der Aufwand pro erledigter Aufgabe.
• Erfolg — löst der Agent die Aufgabe von Anfang bis Ende?
• Effizienz — unnötige Umwege und Leerläufe.

Architektur-Entscheidungen treffen wir so anhand messbarer Ergebnisse statt anhand von Annahmen. Erst durch systematisches Messen werden Unterschiede sichtbar, die man sonst überschätzt oder übersieht.

Szenario-Evaluationen (quantitativ)

Für wiederkehrende Aufgabentypen pflegen wir Prüf-Suiten: definierte Eingaben mit erwartetem Verhalten. Diese laufen reproduzierbar gegen jede Änderung und fangen Rückschritte, bevor sie einen Nutzer erreichen.

Kosten pro Lauf — als Qualitätssignal

Jeder KI-Aufruf wird gemessen. Nicht nur fürs Abrechnen, sondern als Qualitätssignal: Ein Agent, der eine Aufgabe teuer und umständlich löst, ist ein zu behebendes Problem, kein akzeptabler Zustand.

Warum das für Schweizer KMU zählt

Für Unternehmen, die KI auf ihre echten Geschäftsdaten loslassen, ist Messbarkeit kein akademisches Detail. Sie ist die Grundlage dafür, einem System zu vertrauen. Vectoryon evaluiert seine KI-Agenten systematisch — quantitativ durch A/B-Tests, Kosten-Messung und Prüf-Suiten, qualitativ durch vollständige Ausführungs-Traces — und in der Schweiz gehostet. Damit aus einer Blackbox ein nachvollziehbares Werkzeug wird.