בדיקה
האם לומר לבינה מלאכותית לחשוב קשה יותר עוזר לה להימנע מהאות e?
נתנו ל-Claude Haiku 5.5 את אותה משימת כתיבה בכל הגדרת מאמץ, מנמוכה ועד מרבית, וספרנו את האות e בכל תשובה.
- כתיבה
- אילוצים
- מאמץ
התוצאה
במאמץ נמוך, ב-1 מתוך 10 תשובות לא הופיעה האות e. במאמץ מרבי, ב-10 מתוך 10.
אזור אפור
הבדיקה הזו לא מודדת היסוס. תשובה או שיש בה את האות e או שאין.
איך בדקנו
נתנו למודל אחד, Claude Haiku 5.5, את אותם 10 נושאים בכל הגדרת מאמץ, ניסיון אחד לכל אחד, וכל אחד בשיחה חדשה.
- מתי הורצה
- 7 באוקטובר 2026, 21:36 עד 22:02
- מסלול
- Claude Code
- כלי
- Claude Code CLI (claude -p) 2.1.287
הגדרות: Claude Haiku 5.5 (הגדרת מאמץ low)
- טמפרטורה: נשארה בברירת המחדל, לא הוגדרה על ידינו
- אורך התשובה המרבי: נשארה בברירת המחדל, לא הוגדרה על ידינו
- הגדרת מאמץ: low
- כלים: כבויים
- פרומפט מערכת: You are a helpful assistant.
- שיחה חדשה לכל שאלה: כן
הגדרות: Claude Haiku 5.5 (הגדרת מאמץ medium)
- טמפרטורה: נשארה בברירת המחדל, לא הוגדרה על ידינו
- אורך התשובה המרבי: נשארה בברירת המחדל, לא הוגדרה על ידינו
- הגדרת מאמץ: medium
- כלים: כבויים
- פרומפט מערכת: You are a helpful assistant.
- שיחה חדשה לכל שאלה: כן
הגדרות: Claude Haiku 5.5 (הגדרת מאמץ high)
- טמפרטורה: נשארה בברירת המחדל, לא הוגדרה על ידינו
- אורך התשובה המרבי: נשארה בברירת המחדל, לא הוגדרה על ידינו
- הגדרת מאמץ: high
- כלים: כבויים
- פרומפט מערכת: You are a helpful assistant.
- שיחה חדשה לכל שאלה: כן
הגדרות: Claude Haiku 5.5 (הגדרת מאמץ xhigh)
- טמפרטורה: נשארה בברירת המחדל, לא הוגדרה על ידינו
- אורך התשובה המרבי: נשארה בברירת המחדל, לא הוגדרה על ידינו
- הגדרת מאמץ: xhigh
- כלים: כבויים
- פרומפט מערכת: You are a helpful assistant.
- שיחה חדשה לכל שאלה: כן
הגדרות: Claude Haiku 5.5 (הגדרת מאמץ max)
- טמפרטורה: נשארה בברירת המחדל, לא הוגדרה על ידינו
- אורך התשובה המרבי: נשארה בברירת המחדל, לא הוגדרה על ידינו
- הגדרת מאמץ: max
- כלים: כבויים
- פרומפט מערכת: You are a helpful assistant.
- שיחה חדשה לכל שאלה: כן
הגדרות: Claude Haiku 5.5 (הגדרת מאמץ נשארה בברירת המחדל, לא הוגדרה על ידינו)
- טמפרטורה: נשארה בברירת המחדל, לא הוגדרה על ידינו
- אורך התשובה המרבי: נשארה בברירת המחדל, לא הוגדרה על ידינו
- הגדרת מאמץ: נשארה בברירת המחדל, לא הוגדרה על ידינו
- כלים: כבויים
- פרומפט מערכת: You are a helpful assistant.
- שיחה חדשה לכל שאלה: כן
תוצאות לפי הגדרת מאמץ
רחפו מעל עמודה או התמקדו בה כדי לראות את המספרים המדויקים. הטבלה שמתחת לתרשים כוללת את כולם.
גודל הפלט או הזמן השתנו בבירור בין ההגדרה הנמוכה ביותר לגבוהה ביותר, כלומר ההגדרה אכן הגיעה למודל.
הצגה כטבלה
| הגדרת מאמץ | תשובות בלי האות e | תשובות | סך האותיות e שנספרו | הכי הרבה בתשובה אחת | ממוצע טוקני חשיבה | ממוצע שניות |
|---|---|---|---|---|---|---|
| נמוך | 1 | 10 | 37 | 7 | 166.1 | 2.7 |
| בינוני | 5 | 10 | 17 | 6 | 577.7 | 4.4 |
| גבוה | 8 | 10 | 3 | 2 | 881.3 | 6.0 |
| גבוה מאוד | 9 | 10 | 1 | 1 | 1222.8 | 7.4 |
| מרבי | 10 | 10 | 0 | 0 | 4589.0 | 20.6 |
| ללא הגדרה (הורצה בנפרד) | 6 | 10 | 9 | 6 | 1040.7 | 6.6 |
כל התשובות
שום דבר לא הוסר. אפשר לסנן לפי מודל או תוצאה, לחפש בטקסט, ולפתוח כל תשובה כדי לראות מתי נשאלה ומה ההגדרות.
הפרומפטים המדויקים
Write exactly three lines about the ocean. Do not use the letter "e" anywhere, neither lowercase nor uppercase. Output only the text.
השתמשנו ב-10 גרסאות של הפרומפט. כל תשובה מציגה את הפרומפט המדויק שהיא קיבלה.
פרומפט מערכת: You are a helpful assistant.
מה הבדיקה הזו לא מראה
- זו ריצת בדיקה קטנה שנמשכה כמה ימים. הבדלים קטנים בין מודלים אינם משמעותיים.
- כל תשובה נשמרה. שום דבר לא הוסר בגלל שנראה מוזר.
- נבדק רק מודל אחד, עם ניסיון אחד לכל נושא והגדרה.
- הריצה בלי הגדרת מאמץ בוצעה קודם, בנפרד, ולכן היא מוצגת לצד האחרות ולא כחלק מאותה ריצה.
- אנחנו בודקים אם ההגדרה באמת שינתה את עבודת המודל לפי טוקנים וזמן, והתוצאה מוצגת בדף.
הורדת הנתונים
קבצים מקוריים (6)
- effort-dial__effort_pack__raw_haiku__claude-haiku-5-5.jsonl.gz עותק שפרטים פרטיים הוסרו ממנו
- effort-dial__effort_pack__raw_haiku_effort_high__claude-haiku-5-5.jsonl.gz עותק שפרטים פרטיים הוסרו ממנו
- effort-dial__effort_pack__raw_haiku_effort_low__claude-haiku-5-5.jsonl.gz עותק שפרטים פרטיים הוסרו ממנו
- effort-dial__effort_pack__raw_haiku_effort_max__claude-haiku-5-5.jsonl.gz עותק שפרטים פרטיים הוסרו ממנו
- effort-dial__effort_pack__raw_haiku_effort_medium__claude-haiku-5-5.jsonl.gz עותק שפרטים פרטיים הוסרו ממנו
- effort-dial__effort_pack__raw_haiku_effort_xhigh__claude-haiku-5-5.jsonl.gz עותק שפרטים פרטיים הוסרו ממנו
SHA256SUMS מציג טביעת אצבע (SHA-256) של כל קובץ מקורי.
תוכנית שנכתבה לפני השאלה הראשונה (נרשמה, לא נעולה).