כשמדברים על מבחני פיזה, כרגיל מתמקדים במקום של ישראל בדירוג מדינות ה-OECD (למי שלא זוכר, אנחנו מדורגים לקראת הסוף) אבל איך בעצם נקבע הדירוג הזה?

בטור הקודם הצגתי את החצי הראשון של התשובה. במבחני פיזה לכל שאלה יש דירוג קושי, ולפי רמת ההצלחה בתשובות מדרגים את הרמה של כל תלמיד שנבחן. באופן בסיס יש 6 רמות, מ-1 הנמוכה ביותר עד 6 הגבוהה ביותר, ובנוסף רמה של "פחות מ-1" עבור אלה שהישגיהם היו נמוכים עד כדי כך שקשה לכמת אותם. הפרשנות של הרמות היא שרמה 2 היא הרמה הנדרשת הבסיסית ביותר, רמה 3 זה כבר סביר, ורמות 5 ו-6 הם מצטיינים. רמה 1 נחשבת בעייתית ומצביעה על צפי לקשיים בהשגת עבודה ובכלל בהתמודדות עם העולם המודרני. התוצאה של המבחנים היא שבישראל יש יחסית הרבה תלמידים ברמה 1 או פחות מ-1 יחסית למדינות מערב אירופה למשל, ובמקביל פחות תלמידים ברמות 2 ומעלה.

אבל מה בדיוק הציונים שהתלמידים האלה קיבלו במבחן? במלים אחרות, עד כמה הם גרועים?

נתונים מפורטים על התפלגות הציונים אינם מתפרסמים, אבל יש נתונים חלקיים. זה מה שמוצג בגרף הבא. אבל כדי להעריך אותם צריך קודם כל להבין איך הם מוצגים. הציון הממוצע הוא רק מספר אחד, שמשקלל את כל הציונים. אבל מה שמעניין אותנו הוא הפיזור של הציונים סביב הממוצע. מבחינה סטטיסטית אפשר לאפיין את הפיזור על ידי גודל שנקרא "סטיית התקן", שהוא בעצם הממוצע של עד כמה הציונים של תלמידים שונים ורחוקים מהממוצע הכללי של כל הציונים. אבל זה שוב רק מספר אחד, שלא מאפשר הבחנה בפרטים. במקום זה התוצאות של מבחני פיזה מספקות נתונים על אחוזונים נבחרים של התפלגות הציונים.

במקרה שלנו, במבחן פיזה של 2018 נבחנו בישראל 6,623 תלמידים. אז יש לנו ערימה של 6,623 ציונים. נסדר אותם מהציון הנמוך ביותר לציון הגבוה ביותר. בהינתן סדר כזה, נסמן למשל את הציון ה-662 בסדר, שהיה 296 נקודות במבחן הקריאה. זה האחוזון העשירי: 10% מהציונים קטנים ממנו, ו-90% גדולים ממנו. באופן דומה, הציון ה-1,656 בסדר, שהיה 381 נקודות, הוא האחוזון ה-25, כי 25% מהציונים קטנים ממנו. הציון ה-3,312 הוא החציון, או האחוזון ה-50: חצי מהציונים קטנים ממנו, וחצי גדולים ממנו.

הנתונים של מבחני פיזה כוללים את האחוזונים ה-5, 10, 25, 50, 75, 90, ו-95 של התפלגות הציונים. אני מציג אותם באופן הבא. הטווח מהציון של האחוזון ה-25 עד הציון של האחוזון ה-75, שזה האמצע של ההתפלגות ("גוף" ההתפלגות), מיוצג על ידי מלבן. בתוך המלבן הזה יש קו שמציין את הציון החציוני, ועיגול שמציין את הציון הממוצע. ה"זנבות" של ההתפלגות משני הצדדים מיוצגים על ידי קו בין האחוזונים ה-5 וה-25 משמאל, ובין האחוזונים ה-75 וה-95 מימין. על הקווים האלה מצוין המקום של האחוזונים ה-10 וה-90 בהתאמה. השוואה עם ציר הציונים מאפשר לקבל תמונה של התפלגות הציונים במבחן, ובפרט להשוות את ההתפלגות במדינות שונות.

הגרף מראה את התפלגות הציונים במדינות נבחרות במבחן הקריאה (התוצאות במבחנים במתמטיקה ובמדעים דומות). הוא כולל את רוב מדינות ה-OECD, הארגון לשיתוף פעולה כלכלי, ובפרט את מדינות מערב אירופה ואת ארה"ב. בנוסף הוא כולל חלק מהמדינות האחרות שהשתתפו במבחן פיזה, ובפרט את סינגפור (נציגת מדינות המזרח הרחוק שמככבות במבחן פיזה) וכמה מדינות מהמזרח התיכון (ירדן, קטאר, ואיחוד האמירויות). כל המדינות מסודרות לפי הציון הממוצע.

מה שרואים בגרף הוא שיש שתי קבוצות של מדינות. בחלק העליון של הגרף נמצאות המדינות שתלמידיהן קיבלו ציונים טובים יחסית. האחוזון ה-5 בהתפלגות הציונים של המדינות האלה גבוה מציון 300, והאחוזון ה-95 הוא באזור ציון 650. בחלק התחתון של הגרף, לעומת זאת, התפלגות הציונים מוסטת לערכים נמוכים יותר: האחוזון ה-5 הוא בערך בציון 250, והאחוזון ה-95 הוא מתחת ל-600.

ישראל נמצאת באזור הגבול בין שתי הקבוצות. אם מסתכלים על הצד הימני של הגרף, נראה שהיא שייכת לקבוצת המדינות עם הציונים הגבוהים. האחוזון ה-90 בהתפלגות הציונים אצלנו שווה לזה של יפן, והאחוזון ה-95 שווה לזה של אירלנד, בריטניה, וגרמניה. באופן כללי, הציונים של התלמידים הטובים בישראל הם במקום טוב באמצע בין התלמידים הטובים של מדינות מערב אירופה, וגבוהים מממוצע ה-OECD.

אבל אם מסתכלים על הצד השמאלי של הגרף, נראה שישראל שייכת לקבוצת המדינות עם הציונים הנמוכים. האחוזון ה-5 אצלנו דומה לזה של ברזיל, וה-10 דומה לזה של רומניה; שניהם נמוכים מהאחוזונים המקבילים בירדן.

אין אף מדינה אחרת שהמרחק בין האחוזון ה-5 לאחוזון ה-95 בהתפלגות הציונים שלה כל כך גדול. בהתאם, רוב הפרסומים על תוצאות מבחני פיזה אכן מציינים שהמדד שבו ישראל מצטיינת במיוחד הוא הפערים בין התלמידים הטובים והגרועים. מייחסים את זה לכך שהתלמידים הטובים הם היהודים, והחלשים הם הערבים. החרדים (ובפרט הבנים החרדים) לא משתתפים במבחן פיזה. ההנחה הרווחת היא שאם הם היו משתתפים הציונים שלהם היו נמוכים עוד יותר.

מבחן פיזה אמור לבדוק מדגם מייצג של בני 15. כדי לוודא את זה הם סופרים כמה בתי ספר ותלמידים נופו מהמבחן למרות שעלו במדגם. ישראל מובילה בניפוי בתי ספר, אחרי ש-8.26% נופו (זה ערך מאוד חריג: במקום השני הולנד עם ניפוי של 5.05%). אנחנו במקום השני בניפוי תלמידים – 10.21%. בהערה בדו"ח פיזה מצוין כי שיעור הניפוי הגבוה נובע "מחוסר השתתפות של סוג מסוים של בתי ספר לבנים". לא ברור שהם מבינים באיזה סוג מדובר וכמה זה משפיע.

אבל מסתבר שפערים וניפוי הם לא המדדים היחידים שבהם ישראל חריגה.

בניגוד לשנים קודמות, השנה רוב המדינות ביצעו את מבחן פיזה באמצעות מחשב. דבר זה איפשר לאסוף נתונים שאי אפשר לאסוף עם שאלון נייר, כמו למשל הזמן שהושקע במילוי התשובות לשאלות. התפלגות הזמנים במדינות השונות מוצגת הגרף הבא. במקרה הזה הנתונים כוללים רק את האחוזונים 10, 50, ו-90, והם מוצגים על ידי קו שנמתח מהאחוזון ה-10 עד האחוזון ה-90, עם סימון של האחוזון ה-50 (החציון).

מה שרואים הוא שהתפלגות הזמנים די דומה בכל העולם, ואין קשר חזק בין הזמן שהתלמידים משקיעים במתן התשובות לבין הציון שהם מקבלים. ברוב המדינות האחוזון ה-10 של ההתפלגות הוא באזור 30 הדקות. אבל יש כמה מדינות שבהן שיעור לא מבוטל של התלמידים הסתפקו בפחות זמן. בקטאר האחוזון ה-10 עמד על 20 דקות. בקוריאה 19 דקות. השיא, בהפרש ניכר, מוחזק בידי תלמידי ישראל, ש-10% מהם הסתפקו בפחות מ-8 דקות כדי לסיים את השאלון.

אם אתם אופטימיים חסרי תקנה, אפשר לפרש את זה בתור נתון שמשקף את יכולותיהם המופלאות של תלמידינו הטובים ביותר. אבל יותר סביר להניח שזה משקף אחוז גבוה יחסית של תלמידים שפשוט לא בא להם על המבחן הזה, ולא השקיעו בו מאמץ. הנתונים בדו"ח לא נותנים את הקורלציה בין השקעת הזמן והציון כך שאי אפשר לדעת. אבל אם באמת הציונים הנמוכים שייכים לאלה שלא השקיעו, אולי בעצם מצבם לא עד כדי כך גרוע.