איך אנחנו בודקים

מה אנחנו עושים

אנחנו בוחרים שאלה פשוטה ושואלים הרבה מודלי בינה מלאכותית את אותו הדבר, שוב ושוב.

ברוב הבדיקות אנחנו כותבים את התוכנית לפני השאלה הראשונה. התוכנית נרשמת ולא ננעלת, ולכן אם משהו משתנה אחר כך אנחנו אומרים את זה בדף הבדיקה. בכל דף בדיקה כתוב אם פורסמה תוכנית כתובה.

כל שאלה היא שיחה חדשה

כל שאלה מתחילה מאפס. המודל לא רואה את התשובות הקודמות שלו ולא את התשובות של אף אחד אחר. כך אנחנו יכולים לשאול את אותה שאלה הרבה פעמים ולראות עד כמה התשובה משתנה.

מה המספרים אומרים

תוצאה היא ספירה של תשובות. אנחנו סופרים כמה פעמים עלתה כל תשובה, מתוך כל התשובות בריצה הראשית.

תוכנה, לא אדם, מחליטה איך נספרת כל תשובה. אחוזים מוצגים תמיד ליד הספירות שמהן הם מגיעים.

התרשימים, הטבלאות וההורדות משתמשים באותם מספרים.

אזור אפור

תשובה באזור האפור היא מקרה גבולי: המודל כמעט הלך לכיוון השני, אבל לא הלך. התשובה הסתיימה בהכרעה ברורה, אבל קורא שני ראה בה ספק, או שהתשובה עצמה אומרת שהבחירה קשה או שגם הבחירה האחרת הייתה בסדר.

הסימון נפרד מהניקוד. סימונים אף פעם לא משנים ספירה או תוצאה. כל סימון אומר למה, ובמקום שבו כלל ניסוח מצא אותו, הוא מציג את המשפט.

תשובות שהשתנו, למשל כשרשמנו את האפשרויות בסדר ההפוך, מסומנות בנפרד.

נקודות מפנה ושורות צהובות

בבדיקת הדילמה, תשובה של מודל מתהפכת מ-NO ל-YES כשהקבוצה גדלה. עבור כל מודל, אדם, שיטה וסדר אפשרויות, התשובה שממש לפני ההיפוך והתשובה שממש אחריו מסומנות כנקודת מפנה.

בכל אחת מהתשובות האלה שורה אחת מסומנת בצהוב. עוזר בינה מלאכותית בשם Claude קרא כל תשובה אחרי הריצה ובחר את השורה שאומרת הכי הרבה: עיקרון, נטל שהמודל אומר שהוא נושא, או הודאה כנה. בבדיקה הזו את התשובות כתבו גם מודלים של Claude. הבחירה היא שיפוט ולא תוכנה, ולכן היא מוצגת ככזו. היא רק ממחישה, לא מוכיחה דבר, ולא משנה שום ספירה.

אנחנו שומרים כל תשובה

שום דבר לא נמחק ולא נערך. שאלות שנכשלו ותשובות מוזרות נשארות בנתונים. אם ריצה הוסרה, היא רשומה בדף הבדיקה עם הסיבה, ואף אחת מהתשובות שלה לא נספרת.

הקבצים הגולמיים הם הקבצים שהכלים שלנו כתבו בזמן שהבדיקה רצה. המספרים באתר הזה מחושבים מחדש מהם בכל פעם שהאתר נבנה, והבנייה נעצרת אם אחד הסכומים לא תואם.

שינוי אחד שאנחנו עושים בקבצים הגולמיים

לפני הפרסום אנחנו מוציאים פרטים שלא קשורים לתשובות: פרטים על המחשב שהריץ אותן, כמו שמות תיקיות ומגבלות חשבון, ופרטי חיוב. כל השאר נשאר ללא שינוי, ולצד כל עותק מפורסמת טביעת אצבע (SHA-256) של המקור שלא נגעו בו, כדי שאפשר יהיה לבדוק.

שתי דרכים לשאול

OpenRouter שולח בקשה אחת לכל שאלה. Claude Code מריץ את המודל בתוך כלי שורת פקודה, שמוסיף הוראות משלו סביב ההוראות שלנו. אותו מודל יכול להתנהג אחרת בשני המסלולים, ולכן אנחנו אף פעם לא מערבבים מספרים ממסלולים שונים בדירוג אחד.

מגבלות

כל הבדיקות עד עכשיו הורצו על פני כמה ימים, עם מספר קטן של ניסיונות לכל מודל. פער קטן בין שני מודלים יכול להיות מזל. אנחנו לא טוענים לדירוג.

מודלים משתנים. תוצאה מתארת את המודל כפי שענה ביום ששאלנו.

הגדרנו מעט מאוד אפשרויות. אלא אם דף בדיקה אומר אחרת, הגדרות כמו טמפרטורה נשארו בברירת המחדל של כל ספק.

ריצות שלא השתמשנו בהן

חלק מהריצות נעצרו או הוחלפו. הן נשמרות ולא נספרות.

• מהו הסרט הגדול בכל הזמנים?: טעות בהגדרה שלחה את השאלה הלא נכונה בתחילת ההרצה הראשונה. היא נעצרה תוך שניות, ואף אחת מהתשובות שלה לא משמשת בשום תוצאה.
• מהו הסרט הגדול בכל הזמנים?: ריצה ראשונה של מודלי Claude דרך Claude Code השתמשה בגרסה מיושנת של הכלי, כך שמודל אחד רץ כגרסה ישנה יותר ומודל אחר לא היה זמין. היא הוחלפה בריצה דרך OpenRouter, ואף אחת מהתשובות שלה לא בשימוש.

בדקו את העבודה שלנו

כל דף בדיקה מקשר לקובצי JSON ו-CSV ולקבצים הגולמיים המקוריים. דף הנתונים מסביר כל שדה.