נתונים

כל בדיקה מגיעה כקובץ JSON אחד וקובץ CSV אחד, וגם הקבצים הגולמיים המקוריים נמצאים כאן. הכול להורדה חופשית.

מה יש בכל קובץ

כל תשובה היא רשומה אחת. אלה השדות שלה.

id

שם יציב לתשובה.

model_name

השם המלא של המודל.

model_id

מזהה המודל המדויק שנשלח.

route

איך קראנו למודל: OpenRouter או Claude Code.

served_by

מי הגיש בפועל את התשובה, כשזה ידוע.

phase

החלק בבדיקה: ריצת ניסיון, ריצה ראשית, או נשאל עם נימוק.

prompt_id

איזה פרומפט נשאל.

run_index

מספר השאלה עבור המודל והפרומפט הזה.

condition

מה שונה בבדיקה הזו, למשל גודל הקבוצה.

ok and error

האם השאלה הצליחה, ואם נכשלה, למה.

text

התשובה המלאה, בדיוק כפי שהוחזרה.

verdict

איך התוכנה שלנו קראה את התשובה: תווית, ערך ודגלים.

ts_start and ts_end

מתי השאלה נשלחה ומתי הסתיימה, כשזה ידוע.

tokens

טוקני קלט, פלט וחשיבה, כשזה ידוע.

latency_s

כמה שניות לקח למודל.

source

הקובץ הגולמי שפורסם והשורה בתוכו שממנה הגיעה התשובה הזו.

grey

למה התשובה באזור האפור (המודל היסס אבל לא שינה את דעתו), כשהיא שם: רשימת סיבות.

readers

איך הקורא השני פירש את התשובה, כשזה ידוע.

changed

למה התשובה נחשבת לשינוי דעה, כשהיא כזו: רשימת סיבות.

grey_notes

המשפט מהתשובה שהפעיל סימון ניסוח, כשיש כזה.

turning

מסמן תשובה ליד נקודת מפנה: לפני (ה-NO האחרון) או אחרי (ה-YES הראשון).

highlight

השורה שעוזר בינה מלאכותית בחר בקריאה כמשמעותית ביותר בתשובה של נקודת מפנה.

על קובצי ה-CSV

תא טקסט שמתחיל ב-=, ‎+, ‎- או ‎@ מקבל גרש אחד בהתחלה, כדי שתוכנות גיליון לא יריצו אותו כנוסחה. קובצי ה-JSON מדויקים.

רשימת טביעות האצבע שליד כל קבוצת קבצים גולמיים נותנת את ה-SHA-256 של הקובץ המקורי, כדי שתוכלו לבדוק עותק מול העותק שלנו.