מתודות עבודה

אין שקרן גדול הממוצע

By אוקטובר 12, 2017 One Comment

ממוצע – הדבר הזה שאנחנו כל כך אוהבים להישען עליו בשביל כל דבר, המספר הקסום הזה שמכיל בתוכו את כל הסטטיסטיקה, אפילו כשאין סטטיסטיקה להישען עליה מאחורי הטיעון, ממוצע השכר במשק עלה, "ממוצע השכר במשק ירד" או השימוש הגרוע והחביב עליי – "בממוצע – בנות\בנים מעדיפות\מעדיפים את הצבע ורוד\כחול".

ממוצע, הדבר הזה שהוא כל כך מדויק, כל כך החלטי וחתיכת שקרן מטונף.

הממוצע יכול לשקר אם עושים אותו לא כמו שצריך - על הבעיה ופתרונה

בדיחת אב ישנה ומעיקה אומרת שכאשר בחדר אחד יש אשה אחת בחודש תשיעי וגבר אחד – אזי ממוצע ההריון הוא חצי הריון או שכל אחת מהנוכחות בחדר בחודש הרביעי וחצי שלה להריון – הבדיחה הזאת חושפת לנו כמה דברים:

  1. שבדיחות אב לא חייבות להיות מצחיקות (למרות שיש עדויות על כמה כאלו שכן).
  2. שאנשים (או אבות, לצורך העניין) חושבים שסטטיסטיקה הוא לא דבר אמיתי שניתן להישען עליו בחיים.
  3. שהממוצע יכול לשקר – אבל רק אם עושים אותו לא נכון.

לפני הכל, בדיוק בזמן שסיימתי לכתוב את הפוסט הזה, ראיתי את הפוסט הנפלא של שי דשא ויבורסקי על הכשל הבייזיאני, אני מרגיש שאין לי מה לחפור על שגיאות שנובעות מטעות בסטטיסטיקה דפוקה ואני יכול להיכנס לעובי הקורה שלי כאן.

מה שכן – לכו לקרוא על הכשל הבייזיאני.

אז הממוצע הוא 5, אז מה?

טוב, נורא קל לי לכתוב את זה עכשיו, כי את שני הפוסטים כתבתי יחסית באותו הזמן – אבל בואו נסתכל על ניתוח הפוקימונים הגדול – כתבתי שם על קאטרפי המסכן, שאנחנו מצפים ממנו להיות כמו הממוצע עם סכימת הנתונים בגובה של 426~, והוא מסכן, רק בסכימה של 195.

אבל אם בקאטרפי נפלה שלהבת – מה יגיד האברה?

סך כל היכולות של אברה המסכן הוא 150 בסך הכל, וכולנו יודעים שההתפתחות הסופית שלו לאלקזם בסוף הדרך לא ממש משנה לו (לא מאמינים לי? תגידו לילד החנון הזה שלא מצליח לייצר קשרים חברתיים בתיכון שיבוא יום, בעולם האמיתי, ואנשים יאהבו והוא יהיה מגניב).

עכשיו, אפשר להגיד, בסדר, אבל אלו פוקימונים, זה לא אמיתי.

זה נכון, אבל יחד עם זאת, שיטת העבודה שהפעלנו שם היא אותה השיטה שהייתי מפעיל על מאגר נתונים אחר, ובכל זאת, בואו נשקול את הדוגמאות הבאות:

  1. ממוצע אחוז הנטישה שלי באתר הוא 50% – כלומר, 50% מהגולשים, נכנסים, לא מבצעים שום פעולה אחרת ועוברים למקום אחר (או מחכים 20 דקות בערך מבלי לעשות שום פעולה).
  2. ממוצע הרכישות של אתר מסוים עומד על 5 רכישות בשנה ללקוח.

עכשיו נפרק את הסעיפים:

ממוצע אחוז הנטישה שלי באתר הוא 50%  

סך הכל, בהתחשב בסוג האתר שלי (בלוג) זה לא ממש-ממש נורא, אדם קרא את הטקסט שלי, היה לו מעניין, נטש – לא ביג דיל – נכון?

אני יכול להסתפק בזה, אבל אני יכול (וצריך) לרדת רמה אחת למטה – נגיד, לפי סוג הפלטפורמה ממנה נכנסו לאתר שלי – וככה אני אגלה את הטבלה הזאת:

  • דסקטופ – אחוז נטישה – 30%
  • מובייל – אחוז נטישה – 90%
  • טאבלט – אחוז נטישה – 30%

עכשיו כבר יש פה סיפור מעניין לספר – איך יכול להיות שיש לי נטישה כל כך גבוהה דרך המובייל?

אולי יש סקריפט שחוסם את האתר?

אולי משהו גורם לזמני הטעינה של העמוד לעלות כל כך הרבה שאנשים פשוט נוטשים מבלי לחכות לתוכן?

אולי האתר שלי פשוט לא מותאם למובייל, וכל מי שנכנס מקבל איזה מפלצת מכוערת כזאת ומחליט שלא בא לו להכנס ולהתחיל לבדוק מה הסיפור?

הכל אפשרי – וכל פעם זאת שאלה שצריכה לעניין את בעלי האתרים ובעלי העסקים – הממוצע יגרום לכם לחשוב שהכל בסדר, למרות שיכול להיות המון מאוד לא בסדר.

אם אחוזי נטישה נמוכים מקושרים כלכלית לאתר – הרי שיש לנו פה פגיעה משמעותית בפוטנציאל ההכנסות.

הרבה פעמים, האמת לא תחזיק דגל אדום ובוהק מול העיניים ותגיד לכם "אני פה!".

ממוצע הרכישות של אתר מסוים עומד על 5 רכישות בשנה ללקוח

סך הכל – מה רע?

אני מוציא דו"ח, אני רואה ממוצע של חמש רכישות, הכל מגניב וטוב ויפה ואני יכול להיות מבסוט, אבל נניח שהחלטתי, כחלק מהגדרת המוצר העסקית שלי, שהמוצר מתאים לכל מי שמעל גיל 18 ומתחת לגיל 45.

תמיד יהיה נכון לבדוק את הממוצע עבור כל פלח גיל, עבור מגדרים שונים, עבור מיקומים בארץ ואפילו סוגי מכשירים- אז נוכל לגלות שיש לנו ריבוי קניות בקרב צעירים, מיעוט ניכר בקרב נשים בוגרות ואז נוכל להתחיל לשאול למה – אולי הקריאייטיב היה לא מתאים? אולי עיצוב המוצר מכוון לקהל צעיר יותר?

ניקח את זה כדוגמה תיאורטית:

נניח ואנחנו משווקים ערכות לבדיקת הריון בדנמרק – באופן כללי מאוד, אנחנו יכולים להניח שילדות בנות 16 פחות מעוניינות להיות במצב של הריון לעומת נשים בגילאי 28+ (קצת היוריסטיקות אף פעם לא הרגו אף אחד) – אבל לא בהכרח לא-צורכות את המוצר שלנו, אלא פשוט בנסיבות אחרות.

אם זה ככה, האם ניתן יהיה להניח שעיצוב המוצר, מבחינת הקריאייטיב שלנו יכול להשפיע על הרכישות?

כמובן – האם זה יכול לגרום לכך שבממוצע, נשים בקופנהגן בגילאי 29 פחות או יותר תרצנה בדיקת היריון עם עיצוב שמאשר להן שהן הולכות להיות אמהות? האם נערה בת 15 שקונה בדיקת הריון צריכה לקבל את אותו העיצוב?

אם נעשה שינוי בעיצוב המוצר, בעיצוב האריזה שלו – עם מסרים שונים – נוכל ממש לראות שינויים במוצעים – המוצע יכול להיות חומר משכך נפלא, מנחם, ומכיל את 'האמת', אבל אנחנו יודעים יותר טוב.

אוקיי, השתכנעתי, הממוצע הוא שורש כל הרוע, איך אני יכול להימנע מנפילה?

כמה אופציות –

  1. האחת, מה שכתבתי כבר פה למעלה, תחפרו את החיים של המידע שיש לכם, אל תוותרו לדאטה הזה ותמיד תשאלו שאלות נוספות.
  2. השניה, תסתכלו על החציון, המינימום, המקסימום, שלבי ה25%, ה-75%, תסתכלו על ההתפלגות עצמה – היא הגיונית?

בתמונה שהעליתי קודם של התפלגות סכומי התכונות של הפוקימונים יש שני פיקים – אם זה היה הגרף שלנו על כמות מכירות, מה יכול להסביר את זה? גברים-נשים? גילאים שונים? פלטפורמות?

העניין הוא כזה במידע אין אמת אחת בהכרח – הממוצע יכול לשקר וצריך לרדת רמות נוספות למטה או שהמידע גרנולרי מדי וצריך לעלות רמות ולהסתכל 'ממעוף הציפור', הנתונים לא בהכרח (נותן לעצמי את פרס האנדר-סטיינטמנט של הבלוג)  יגיעו מסודרים, הרבה פעמים תצטרכו להתמודד עם מידע חסר וכל מה שתעשו במסד אחד לא בהכרח יעבוד על המסד השני.

כשאנחנו עובדים עם מידע ושואלים שאלות, נצטרך להיות מוכנים לכך שהתשובות יולידו עוד שאלות, ובעוד שלפעמים זה יכול להיות קצת מתסכל,ברוב המקרים, זה פשוט חלק מהכיף.

מסכימים? לא מסכימים? רוצים להכניס גיפים של עגבניות זרוקות? יש לכם שיטות אחרות להימנעות מטעויות כאלה? שתפו אותי!

One Comment

Leave a Reply