So testen wir

Was wir tun

Wir wählen eine einfache Frage und stellen vielen KI-Modellen immer wieder dasselbe.

Bei den meisten Tests schreiben wir den Plan vor der ersten Frage auf. Der Plan wird eingetragen, nicht festgeschrieben. Ändert sich später etwas, sagen wir das auf der Testseite. Jede Testseite sagt, ob ein schriftlicher Plan veröffentlicht ist.

Jede Frage ist ein neuer Chat

Jede Frage beginnt bei null. Das Modell sieht weder seine früheren Antworten noch die von anderen. So können wir dieselbe Frage oft stellen und sehen, wie stark die Antwort schwankt.

Was die Zahlen bedeuten

Ein Ergebnis ist eine Zählung von Antworten. Wir zählen, wie oft jede Antwort vorkam, unter allen Antworten im Hauptlauf.

Ein Programm, kein Mensch, entscheidet, wie jede Antwort gezählt wird. Prozentwerte stehen immer neben den Zählungen, aus denen sie kommen.

Die Diagramme, die Tabellen und die Downloads verwenden dieselben Zahlen.

Grauzone

Eine Antwort in der Grauzone ist ein Grenzfall: Das Modell war nahe daran, in die andere Richtung zu gehen, und tat es nicht. Es endete mit einer klaren Antwort, aber ein zweiter Leser sah Zweifel darin, oder die Antwort selbst sagt, dass die Wahl schwer ist oder dass die andere Wahl auch in Ordnung wäre.

Das Markieren ist vom Bewerten getrennt. Markierungen ändern nie eine Zählung oder ein Ergebnis. Jede Markierung sagt, warum, und wo eine Wortregel sie gefunden hat, zeigt sie den Satz.

Antworten, die sich tatsächlich geändert haben, zum Beispiel wenn die Optionen in anderer Reihenfolge genannt wurden, sind eigens markiert.

Wendepunkte und gelbe Zeilen

Im Dilemma-Test kippt die Antwort eines Modells von NO zu YES, wenn die Gruppe größer wird. Für jedes Modell, jede Person, Methode und Reihenfolge der Optionen sind die Antwort direkt vor dem Kippen und die direkt danach als Wendepunkt markiert.

In jeder dieser Antworten ist eine Zeile gelb markiert. Ein KI-Assistent (Claude, in Claude Code) hat jede Antwort nach dem Lauf gelesen und die Zeile gewählt, die am meisten sagt: ein Grundsatz, eine Last, die das Modell nach eigener Aussage trägt, oder ein ehrliches Eingeständnis. In diesem Test stammen auch die Antworten von Claude-Modellen. Die Auswahl ist ein Urteil, kein Programm, deshalb wird sie so gezeigt. Sie veranschaulicht, beweist nichts und ändert keine Zählung.

Wir behalten jede Antwort

Nichts wird gelöscht oder bearbeitet. Fehlgeschlagene Fragen und merkwürdige Antworten bleiben in den Daten. Wird ein Lauf verworfen, steht er mit dem Grund auf der Testseite, und keine seiner Antworten wird gezählt.

Die Rohdateien sind die Dateien, die unsere Werkzeuge beim Lauf des Tests geschrieben haben. Jedes Mal, wenn wir die Website neu erstellen, werden die Zahlen daraus neu berechnet, und das Erstellen bricht ab, wenn eine Summe nicht stimmt.

Eine Änderung, die wir an den Rohdateien machen

Vor der Veröffentlichung nehmen wir Angaben heraus, die nichts mit den Antworten zu tun haben: Angaben zum Rechner, auf dem sie liefen, etwa Ordnernamen und Kontolimits, sowie Abrechnungsangaben. Alles andere bleibt unverändert, und neben jeder Kopie steht ein Fingerabdruck (SHA-256) des unberührten Originals, damit du das nachprüfen kannst.

Zwei Arten zu fragen

OpenRouter schickt pro Frage eine Anfrage. Claude Code lässt das Modell in einem Kommandozeilenwerkzeug laufen, das unseren Anweisungen eigene hinzufügt. Dasselbe Modell kann sich je nach Zugang unterschiedlich verhalten, deshalb mischen wir nie Zahlen verschiedener Zugänge in einer Rangliste.

Grenzen

Alle bisherigen Tests liefen über wenige Tage, mit wenigen Versuchen pro Modell. Ein kleiner Abstand zwischen zwei Modellen kann Zufall sein. Wir leiten daraus keine Rangliste ab.

Modelle ändern sich. Ein Ergebnis beschreibt das Modell, wie es an dem Tag antwortete, an dem wir fragten.

Wir haben nur sehr wenige Einstellungen gesetzt. Sofern eine Testseite nichts anderes sagt, blieben Einstellungen wie die Temperatur auf dem Standard des jeweiligen Anbieters.

Läufe, die wir nicht verwendet haben

Einige Läufe wurden gestoppt oder ersetzt. Sie werden aufbewahrt und nicht gezählt.

• Was ist der beste Film aller Zeiten?: Ein Einrichtungsfehler schickte zu Beginn des ersten Starts die falsche Frage. Der Lauf wurde nach wenigen Sekunden gestoppt, und keine seiner Antworten wird in einem Ergebnis verwendet.
• Was ist der beste Film aller Zeiten?: Ein erster Lauf der Claude-Modelle über Claude Code nutzte eine veraltete Version des Werkzeugs, sodass ein Modell als ältere Version lief und ein anderes nicht verfügbar war. Er wurde durch einen Lauf über OpenRouter ersetzt, und keine seiner Antworten wird verwendet.

Prüfe unsere Arbeit

Jede Testseite verlinkt auf die JSON- und CSV-Dateien und auf die originalen Rohdateien. Die Datenseite erklärt jedes Feld.