פרדוקס סימפסון

מאז שבא חיסון הקורונה לעולם קרו שני דברים: הראשון, שהוא הציל חיי אדם ומנע סבל בסדרי גודל אסטרונומיים; והשני, שהוא זכה למתקפה כוללת עליו מצד אנשים שאינם מבינים כלום בחיסונים, או במדע, או במתמטיקה, או בכלל, עד לרמת הטענות ש"החיסון עושה אותנו חולים", ולמתקפה הזו יש שלל תוצאות - למשל, אנשים שמעדיפים לקחת תרופה נגד תולעים שמיועדת לסוסים מאשר להתחסן. זה לא באמת מצחיק. מגיפת הקורונה היא הזדמנות לראות כמה נזק יכולה לגרום קבוצה קטנה של שקרנים מקצועיים והקבוצה הרחבה מאוד של אנשים שלא מבינים כלום בתחום שעליו הם מדברים ומהדהדים את השקרים הלאה.

בפוסט הזה אני לא הולך לדבר על מגיפת הקורונה או החיסון - זה דיון שצריך להשאיר לאנשי המקצוע בתחום (אני רק אומר - אם זה עדיין רלוונטי עבורכם, תתחסנו!). אני הולך לדבר על משהו מתמטי פשוט מאוד, ועם זאת מאוד לא אינטואיטיבי ומבלבל, שמכונה “פרדוקס סימפסון” שאומר, במשפט מחץ אחד, שמגמה כלשהי שבאה לידי ביטוי בשתי קבוצות שונות של נתונים עשויה להתהפך כשמאחדים את קבוצות הנתונים הללו. לפרדוקס הזה יכולות להיות שלל השלכות שונות ומשונות, אבל בהקשר שלנו הדוגמא המומצאת שבה אני הולך להשתמש כדי להדגים את המתמטיקה שלו היא זו: האם ייתכן שהסטטיסטיקה של חיסוני הקורונה תראה שאלו דווקא אלו שאינם מחוסנים שנפגעים פחות קשה מהנגיף, למרות שחד משמעית מי שמחוסנים דווקא מוגנים יותר מפגיעה קשה של הנגיף? התשובה היא שזה בהחלט ייתכן, וזה תמרור אזהרה ענקי מפני ציטוט חסר מחשבה של נתונים סטטיסטיים שטחיים מדי.

אם כן, הבה נעזוב את הקורונה ונדבר על נגיף בדיוני שנקרא “שרונה”. שרונה דומה לקורונה בכך שהפגיעה שלו במבוגרים היא קשה משמעותית יותר מהפגיעה שלו בילדים: בקרב מבוגרים, אחד מכל שני מבוגרים שחלה בשרונה יגיע למצב קשה; בקרב ילדים, רק אחד מכל מאה ילדים שחלה בשרונה יגיע למצב קשה. אנחנו אומרים על זה שההסתברות של מבוגר לחלות קשה היא \( \frac{1}{2} \) וההסתברות של ילד היא \( \frac{1}{100} \). אם ניקח מדגם אקראי של בערך 1000 מבוגרים שחלו בשרונה, נצפה שבערך 500 מהם יגיעו למצב קשה; אם ניקח מדגם כזה עבור ילדים נצפה שרק 10 מהם יגיעו למצב קשה.

והנה הגיע היום המיוחל והחל מבצע חיסון נגד שרונה. מכיוון שאני מספר כל-יודע ואני זה שקובע מה קורה באמת לשרונה בגלל החיסון, אספר לכם שההשפעה של החיסון היא זו: הוא מפחית פי 5 את כמות החולים קשה, ומציל בזאת את בתי החולים מקריסה ואת המדינה מאפוקליפסה. חיסון טוב!

כלומר, בקרב המבוגרים, החיסון מפחית את ההסתברות שמבוגר יגיע למצב קשה מ-\( \frac{1}{2} \) אל \( \frac{1}{10} \). בקרב ילדים, ההסתברות יורדת מ-\( \frac{1}{100} \) אל \( \frac{1}{500} \) - רק אחד מבין 500 ילדים חולים יגיע למצב קשה. חיסון טוב!

זמן מה לאחר תחילת מבצע החיסונים, נערך מחקר שמטרתו לקבוע האם החיסון מסייע או לא. המחקר נערך בדקדקנות: מדגם בן 10,000 איש מאוכלוסיית החולים נבחר כך ש-5,000 איש ממנו מחוסנים, ו-5,000 אינם מחוסנים. כעת נבדק מי מהחולים הגיע למצב קשה. במחקר התבררו הנתונים הבאים:

• מבין המחוסנים, 451 איש הגיעו למצב קשה. כלומר, בערך \( 9\% \) מהמחוסנים.
• מבין הלא מחוסנים, 295 איש הגיעו למצב קשה. כלומר, \( 5.9\% \) מהלא-מחוסנים.

הנתון המזעזע והחד משמעי הזה מופץ תוך שלוש שניות ברשתות החברתיות תחת הטענה שהחיסון מגדיל את הסיכון לחלות קשה ולכן אסור בשום פנים ואופן להתחסן. מבצע החיסונים נעצר, בתי החולים עולים על גדותיהם עקב המחלה והמדינה קורסת לאפוקליפסה. הכל בגלל מחקר קטן!

מה הלך פה? הרי אמרתי שאני כל יודע והבטחתי לכם חגיגית שהחיסון מסייע. מה הוביל לתוצאות המזעזעות הללו של המחקר? ובכן, נפלנו קורבן לפרדוקס סימפסון.

האם שיקרתי לגבי הנתונים המספריים? ודאי שלא, ואני הולך לפרט באופן מדוקדק את כל החישובים שלי כדי שנראה שהכל מסתדר.

הנתון ש”הינדסתי” (כלומר, שיחקתי איתו באקסל עד שהמספרים יסתדרו לי יפה) הוא כמות המחוסנים והלא מחוסנים מקרב המבוגרים והילדים שהשתתפו במחקר. בסופו של דבר קבעתי את הדבר הבא:

• במחקר יהיו 5,000 מבוגרים שמתוכם 4,500 מחוסנים ו-500 אינם מחוסנים.
• במחקר יהיו 5,000 ילדים שמתוכם 500 מחוסנים ו-4,500 אינם מחוסנים.

האם סיטואציה כזו היא מציאותית בכלל? ובכן, אני לא צריך שהיא תהיה מציאותית כי אני מדגים כאן עיקרון מתמטי, אבל למעשה גם במגיפת הקורונה קרה דבר דומה - כמות המחוסנים בקרב מבוגרים הייתה גדולה משמעותית מכמות המחוסנים בקרב הילדים. במקרה של הקורונה היו לכך שתי סיבות: ראשית, חלק גדול מהילדים לא יכלו להתחסן כלל כי החיסון ניתן בתחילה רק לגילאים 18 ומעלה, ולקח זמן רק עד שהרחיבו אותו לבני 12 ומעלה; ושנית, מכיוון שמחלת הקורונה פוגעת פחות בילדים (אבל עדיין פוגעת), הורים לילדים נטו פחות לחסן אותם ויותר להסס. באופן כללי, ככל ששכבת הגיל עלתה ולכן הסיכון מפגיעת הקורונה עלה, כך עלה גם אחוז החיסון באותה שכבת גיל.

אם כן, החלוקה למחוסנים/לא מחוסנים שהצעתי היא סבירה והגיונית, והיא גם מובילה ישירות לתוצאת המחקר המוזרה שקיבלנו. אתם כבר יכולים לעשות בעצמכם את החישובים על סמך הנתונים שנתתי, אבל אני אפרט אותם בכל מקרה.

	חולה קשה	חולה קל	סך הכל
מבוגר מחוסן	450	4050	4500
מבוגר לא מחוסן	250	250	500
ילד מחוסן	1	499	500
ילד לא מחוסן	45	4455	4500
מחוסנים סך הכל	451	4549	5000
לא מחוסנים סך הכל	295	4705	5000

אם כן, אמרתי שיש 500 מבוגרים לא מחוסנים והסיכוי של מבוגר לא מחוסן לחלות קשה היא \( \frac{1}{2} \), אז יהיו לי 250 מבוגרים לא מחוסנים חולים קשה, ו-250 חולים קל (במציאות המציאותית המספרים אף פעם לא יהיו מדויקים כל כך, אבל יותר קל לראות את העיקרון המתמטי אם שומרים על המספרים פשוטים). יש 4,500 מבוגרים מחוסנים ואצלם הסיכוי לחלות קשה ירד ל-\( \frac{1}{10} \), כלומר יהיו רק 450 חולים קשה והיתר חולים קל.

נעבור לילדים: אצל הלא מחוסנים, רק 1 מכל מאה חולה קשה, ומכיוון שיש 4,500 לא מחוסנים, יהיו לנו 45 חולים קשה. לעומת זאת בקרב המחוסנים רק 1 מכל 500 חולה קשה, ובאופן פלאי (!) בחרתי את המספרים כך שיהיו בדיוק 500 מחוסנים כך שבדיוק 1 מהם חולה קשה.

אם כן, נסכם: מספר החולים קשה הכולל בקרב מחוסנים הוא \( 450+1=451 \), ואילו מספר החולים קשה בקרב לא מחוסנים הוא \( 250+45=295 \). זה מוביל לתוצאה המפתיעה שתיארתי.

ובכן, החישוב המתמטי היה פשוט מאוד, אפשר להסביר אותו גם לתלמידי בית ספר יסודי. אבל מה הולך פה? איך יוצא שהמחקר מראה שהחיסון מזיק, בזמן שהוא מועיל?

אפשר היה אולי להבין את זה אם החיסון היה מועיל פחות לילדים. נאמר, במקום להקטין את ההסתברות לחלות קשה פי 5, היה מקטין אותה רק פי 2. גם בסיטואציה כזו עדיין נראה לא הגיוני שהמחקר הכולל יגיד שהחיסון רק מזיק, בהתחשב בכך שהוא מועיל לכולם, אבל לפחות אפשר לנחש שחלק מהבעיה נובעת מהאופן השונה שבו אוכלוסיית הילדים מגיבה לחיסון. אבל פה הינדסתי את הנתונים בכוונה כדי שזה לא יהיה רלוונטי - החיסון משפיע באותה צורה בדיוק על שתי האוכלוסיות מבחינת הקטנת רמת הסיכון למחלה קשה, ועדיין המחקר לא מראה את זה.

בעיה פוטנציאלית אחרת שהינדסתי את הנתונים כדי שנראה שאינה מתקיימת היא חלוקה לא מאוזנת של המדגם. כפי שאמרתי, המדגם נבחר בקפידה כדי שבדיוק חצי ממנו יהיו מחוסנים וחצי לא מחוסנים, אבל בנוסף לכך בדיוק חצי ממנו הוא מבוגרים וחצי הוא ילדים, כך שברור שהתוצאה המוזרה לא נובעת מכך שלקחתי, נאמר, הרבה יותר ילדים משהייתי אמור.

אם כן, מה כן גורם לבעיה? מן הסתם, הדברים היחידים שמבדילים בין ילדים למבוגרים - כמה כל אוכלוסיה פגיעה מלכתחילה למחלה, ומה רמת החיסון בכל אוכלוסיה. מכיוון שיש הרבה יותר מחוסנים בקרב המבוגרים וגם מבוגרים נוטים לחלות קשה הרבה יותר מילדים, גם עם החיסון, כמות החולים קשה בקרב המחוסנים יוצאת גבוהה. מכיוון שרוב הלא מחוסנים הם ילדים, והם ממילא נפגעים הרבה פחות, יש הרבה פחות לא מחוסנים שחלו קשה. שימו לב שאין כאן שום עניין אקראי או סתם חוסר מזל: בפועל, אנחנו בהחלט מצפים שתהיה קורלציה בין “כמה קשה האוכלוסיה נפגעת” ו”כמה האוכלוסיה מחוסנת” כי מי שנפגעים יותר קשה יהיו אלו שיקפידו יותר להתחסן כדי לצמצם את הפגיעה הזו. כלומר, האפקט של פרדוקס סימפסון אפילו צפוי להופיע בסיטואציה כמו זו.

אז מה “הפתרון” של הפרדוקס? כמו בכל דבר שמצמידים לו את השם “פרדוקס”, אין ממש “פתרון” משביע רצון שלו כי אין פה שום טעות. סיטואציה פרדוקסלית היא כזו שגורמת לנו להבין שמשהו היה שגוי עם הנחות היסוד שלנו - בראש ובראשונה, הציפייה שמחקר כמו זה שתיארתי לעיל יתן תוצאה בעלת משמעות ולא ג’יבריש. מחקר שמנותח בצורה נאיבית כל כך פשוט לא יכול לתת תוצאות שאינן ג’יבריש. צריך להביא בחשבון בצורה זהירה מאוד את האפשרות שהתופעה שאותה חוקרים אינה אחידה בכל האוכלוסיה, ולהתחשב בכך באופן ביצוע המחקר. ה”פתרון” הוא פשוט לא להסתכל על סך הכל, כי אותו “סך הכל” לא נותן לי אינפורמציה מועילה; אני חייב להפריד לתת-אוכלוסיות כדי להסיק מידע מועיל.

בואו נראה את זה בפעולה. כזכור, בניסוי השגוי המקורי הסתכלתי על כמות החולים קשה מבין המחוסנים/לא מחוסנים והסקתי מסקנה כך: מבין המחוסנים היו 451 חולים קשה מתוך 5,000, כלומר 9%. מבין הלא מחוסנים היו 295 חולים קשה מתוך 5,000, כלומר 5.9%. ה”מסקנה”: החיסון מגדיל את הסיכוי לחלות בערך פי 1.5.

אם נסתכל על המבוגרים בלבד, לעומת זאת, נראה שמבין המחוסנים היו 450 חולים קשה מתוך 4,500, כלומר 10%. מבין הלא מחוסנים היו 250 חולים קשה מתוך 500, כלומר 50%. המסקנה: החיסון מקטין את הסיכוי לחלות בקרב מבוגרים פי 5.

אם נסתכל על הילדים בלבד, נראה שמבין המחוסנים היה חולה קשה אחד מתוך 500, כלומר 0.2%. מבין הלא מחוסנים היו 45 מתוך 4,500, כלומר 1%. המסקנה: החיסון מקטין את הסיכוי לחלות בקרב ילדים פי 5.

במקרה שלנו, אלו התוצאות הנכונות - אחרי שפילחנו נכון את המחקר על פי המשתנה הנוסף הרלוונטי (מבוגר/ילד) הפקנו את האינפורמציה האמיתית שבבסיס המודל שלי. אבל אם נקבל דבר כזה במציאות, האם זה סוף הסיפור? בוודאי שלא. גם אחרי פילוח כזה פרדוקס סימפסון עשוי להכות אותנו - אולי צריך לפלח עוד יותר את תת-האוכלוסיות, על פי נתונים רלוונטיים נוספים? זכרו שפרדוקס סימפסון יכול להטות את הכף גם לצד השני - לגרום לחיסון מזיק להיראות כאילו הוא מועיל.

אז מה המסקנה שלי? שסטטיסטיקה זה עסק רציני שלא צריך לעסוק בו כלאחר יד, בטח לא על בסיס נתון מספרי חלקי מאוד שמופץ באינטרנט. לרוע המזל, זה בדיוק מה שעושה רוב האינטרנט (וגם אני, ללא ספק, חוטא בזה לעתים קרובות). בידי רמאים ושקרנים פרדוקס סימפסון הוא נשק רב עוצמה ביותר - רוב האנשים שיפיצו הלאה שקר כמו זה של “תוצאת” המחקר המדומה שלי למעלה לא יבינו בכלל איך משהו פה יכול להשתבש. הם לא יעלו על דעתם שיש משהו כמו פרדוקס סימפסון בעולם. אולי כדאי ללמד עליו בבתי הספר? אבל גם אז, מי יזכור? מי יקשר את מה שנלמד בבית הספר למגיפה האיומה שפוגעת בנו כאן ועכשיו ויש לנו חוסר ביטחון גדול בנוגע לכל אספקט של ההתמודדות איתה, ובפרט החיסון?

כבר מראשית ימי הבלוג רציתי לכתוב על פרדוקס סימפסון ולא יצא. ניסיתי להמציא כל מני תרחישים דמיוניים שיהיה כיף לכתוב עליהם, כל מני דברים עם חדי קרן שיורקים קשת בענן ומה קורה אם נותנים להם סוכריות טופי שונות ומשונות, ושאר דברים כיפיים. לא יצא, ועכשיו הדוגמא שלי מגיעה בדיוק מאותו עולם שרציתי להימנע ממנו - מגיפות. אני רציתי להימנע מהעולם הזה, אבל העולם הזה לא רצה להימנע מאיתנו, וזה מכריח את כולנו להתייחס אליו ברצינות, גם ברמת הבנת המתמטיקה שלו. או לכל הפחות, להכיר בכך שזה גדול עלינו ולא לעסוק בזה, כי מהפצת טענות שקריות לגמרי נפגעים אנשים אמיתיים לגמרי.