Daten
Jeder Test kommt als eine JSON-Datei und eine CSV-Datei, und die originalen Rohdateien liegen auch hier. Alles steht frei zum Download bereit.
| Test | Antworten | JSON | CSV | Originaldateien |
|---|---|---|---|---|
| Was ist der beste Film aller Zeiten? | 437 | JSON 292 KB | CSV 144 KB | Fingerabdrücke |
| Wer ist der klügste Mensch, der je gelebt hat? | 494 | JSON 332 KB | CSV 167 KB | Fingerabdrücke |
| Hilft es einer KI, den Buchstaben e zu vermeiden, wenn man ihr sagt, sie soll härter nachdenken? | 60 | JSON 71 KB | CSV 35 KB | Fingerabdrücke |
| Ab welcher Gruppengröße opfert eine KI einen Menschen, um die Gruppe zu retten? | 512 | JSON 812 KB | CSV 800 KB | Fingerabdrücke |
| Kann eine KI drei Zeilen ohne den Buchstaben e schreiben? | 30 | JSON 37 KB | CSV 17 KB | Fingerabdrücke |
Was in jeder Datei steht
Jede Antwort ist ein Datensatz. Das sind seine Felder.
- id
- Ein stabiler Name für die Antwort.
- model_name
- Der vollständige Name des Modells.
- model_id
- Die genaue Modell-ID, die gesendet wurde.
- route
- Wie das Modell aufgerufen wurde: OpenRouter oder Claude Code.
- served_by
- Wer die Antwort tatsächlich geliefert hat, wenn bekannt.
- phase
- Der Teil des Tests: Probelauf, Hauptlauf oder mit Begründung gefragt.
- prompt_id
- Welcher Prompt verwendet wurde.
- run_index
- Die Nummer der Frage für dieses Modell und diesen Prompt.
- condition
- Was in diesem Test variiert wurde, zum Beispiel die Gruppengröße.
- ok and error
- Ob die Frage funktioniert hat, und warum nicht, falls sie fehlschlug.
- text
- Die vollständige Antwort, genau so, wie sie zurückkam.
- verdict
- Wie unser Programm die Antwort gelesen hat: ein Etikett, ein Wert und Hinweise.
- ts_start and ts_end
- Wann die Frage gesendet wurde und wann sie fertig war, wenn bekannt.
- tokens
- Eingabe-, Ausgabe- und Denk-Tokens, wenn bekannt.
- latency_s
- Sekunden, die das Modell brauchte.
- source
- Die veröffentlichte Rohdatei und die Zeile darin, aus der diese Antwort stammt.
- grey
- Warum die Antwort in der Grauzone liegt (sie zögerte, änderte sich aber nicht), wenn sie dort liegt: eine Liste von Gründen.
- readers
- Wie ein zweiter Leser die Antwort eingeschätzt hat, wenn bekannt.
- changed
- Warum die Antwort als Meinungsänderung zählt, wenn sie es tut: eine Liste von Gründen.
- grey_notes
- Der Satz aus der Antwort, der eine Wortmarkierung ausgelöst hat, wenn es einen gibt.
- turning
- Markiert eine Antwort neben einem Wendepunkt: davor (das letzte NO) oder danach (das erste YES).
- highlight
- Die Zeile, die ein KI-Assistent beim Lesen als die aufschlussreichste einer Wendepunkt-Antwort gewählt hat.
Über die CSV-Dateien
Eine Textzelle, die mit =, +, - oder @ beginnt, bekommt ein Apostroph davor, damit Tabellenprogramme sie nicht als Formel ausführen. Die JSON-Dateien sind exakt.
Die Fingerabdruck-Liste neben jedem Satz Rohdateien gibt den SHA-256 der Originaldatei an, damit du eine Kopie mit unserer vergleichen kannst.