אנליטיקס יכול לזייף, מידע עשוי להטעות ואפילו המוח עלול לתעתע. צר לנו, המספרים שכולנו סוגדים להם אינם אמת מוחלטת, אבל יש מה לעשות. המדריך שכל איש שיווק ותוכן חייב לקרוא
קארי פוקונגה, הבמאי הלוהט התורן של הוליווד (״מטורף״ בנטפליקס, העונה הראשונה והטובה של ״בלש אמיתי״ והסרט הבא של ג׳יימס בונד) סיפר לאחרונה בריאיון למגזין GQ פרטים על תהליך העבודה מול נציגי ענקית הסטרימינג ואלגוריתם התוכן שלה. ״הם עשויים להסתכל על התסריט ולומר – בהסתמך על המידע שלנו, אם תלך על מהלך עלילתי כזה תאבד כך וכך צופים״, הסביר. ״אין פה מישהו שמתח ביקורת ואמר, ׳בוא נדבר על זה׳ ואז יכול להיות שאני אנצח בדיון. טיעון האלגוריתם מנצח בכל פעם".
המקרה של פוקונגה מייצג את רוח הזמן: סגידה עיוורת לדאטה, לנתונים ולאלגוריתם. אין חולק על ההצלחה הכבירה של נטפליקס, אבל בעקבותיה, נראה שבחברה כבר לא מטילים ספק בנתונים. אם המכונה אומרת את זה – זו אמת מוחלטת. אין מה להתווכח.
ונטפליקס לא לבד. תעשיות שלמות – ענפי השיווק, התוכן והפרסום ביניהן – התמכרו למספרים ולאלגוריתמים. זה נוח, מספק ודאות וחוסך את הצורך לקבל החלטות קשות. ולכאורה, זה תמיד אמין ומדויק.
אז לא.
כל התהליך – מההחלטה מה למדוד, דרך שיטות המדידה ועד גזירת התובנות מתוך הדאטה – חשוף לכשלים, טעויות והטיות. במילים אחרות: לא פעם, אתם מקבלים החלטות על סמך מידע שגוי. החדשות הטובות הן שיש מה לעשות. כמה מהפתרונות הם טכניים, ואחרים קשורים לשינוי בתהליכי העבודה והמחשבה. בואו נכיר כמה מהבעיות הנפוצות, ונראה איך מתמודדים.
טעויות באנליטיקס
בכל יום, כשאתם פותחים את חשבון האנליטיקס שלכם, אתם חשופים למידע לא מושלם. גוגל אנליטיקס הוא כלי עבודה מרכזי שכמעט אי אפשר בלעדיו, ועדיין, יש בו לא מעט בעיות, מגבלות ואי דיוקים. אלה רק כמה מהם:
מקור הטראפיק Direct:
לכאורה, מייצג את מי שהקיש באופן אקטיבי את ה-URL שלכם. בפועל, מהווה המקור הזה לפעמים מעין פח אשפה של טראפיק שאנליטיקס לא הצליח להסביר. וכשדאטה לא מוסבר, הוא מבוזבז. יכול להיות שהנתונים שלכם טובים משחשבתם, או שלמהלכים שיווקיים שלכם מגיע יותר קרדיט ממה שנדמה.
איך מתגברים: אפשר להגדיר סגמנט שיסייע להאיר ולמפות את הטראפיק האפל בדשבורד שלכם. סגמנט כזה יכול להציג טראפיק שהגיע כביכול מ- Directאבל עם פילטר שמציג רק את המשתמשים שנחתו ישירות בעמודים פנימיים ולא בהומפייג׳. היות שה-URL של עמודים אלה הוא לרוב סבוך וארוך יותר, ההנחה הסבירה היא שאין כמעט משתמשים שהזינו אותו ידנית – משמע – כנראה שלא מדובר באמת בטראפיק שמקורו ב-Direct. סגמנט כזה יציג לכם, בקירוב, את הטראפיק האפל בנכס הדיגיטלי שלכם.
יש גורמים נוספים שמביאים לסיווג לא מדויק של מקור הטראפיק כ-Direct. ביניהם: קישור מאתר https לאתר http, קישור לאתר ממסמך כמו Word ,PDF, או מצגת פאוור פוינט וקישור לאתר מהמייל, מקמפיין שיווקי או מניוזלטר. לפחות בחלק מהמקרים, הוספת תג UTM לקישורים יכולה לסייע לפתור את הבעיה.
דו״חות על סמך מדגם חלקי:
ידעתם שאנליטיקס מספק לכם לא פעם נתונים על סמך דגימה חלקית בלבד של הטראפיק שלכם? זה קורה כשאתם מבצעים חיתוכי מידע, כמו למשל הוספת סגמנט או פילטר. כלומר פעולות די נפוצות. במקרה כזה אנליטיקס יוצר דו״ח אד-הוק. אם מספר הביקורים (Sessions) בטווח התאריכים שהגדרתם בדו״ח אד-הוק נתון חוצה רף מסוים – לרוב, 500 אלף ביקורים – אנליטיקס עשוי לדגום רק חלק מהטראפיק כדי לחסוך בזמן. לפעמים יידגם רק 25% מהטראפיק ואף למטה מזה. המשמעות – פגיעה בדיוק של הנתונים.
איך מתגברים: בכל פעם שהמידע בדו״ח שלכם מבוסס על מדגם חלקי בלבד, ישנה התראה על כך בחלק העליון של הדו״ח. לצידה, ניתן לבחור בין שתי אפשרויות. דיוק רב יותר – בחירה שמסתמכת על המדגם הגדול ביותר האפשרי, או תגובה מהירה יותר – במסגרתה אנליטיקס משתמש במדגם קטן יותר כדי לספק תשובות במהירות.
אותו משתמש, כמה מכשירים:
אם דנה מתחקרת מוצר בסמרטפון ברחוב אבל משלימה את הרכישה בדסק טופ שלה בבית, אנליטיקס (עדיין) לא יודע שמדובר באותו משתמש. לכן ירשמו שני ביקורים, שתי צפיות דפים, ובאחד מהם לא תופיע המרה.
איך מתגברים: אין ממש מה לעשות, נכון לכרגע, מלבד להביא בחשבון את האפשרות הזאת כשהטראפיק באתר מתנהג באופן שקשה להסביר.
ה-Bounce המושמץ:
כל אחד יודע לומר ש-Bounce גבוה זה רע ומצריך שינויים בתוכן. אבל הדברים לא כל כך פשוטים. גוגל מגדירה Bounce כביקור של דף אחד באתר. זה אומר שאם משתמש נכנס לדף נתון, שהה בו 8 דקות בהן קרא כתבה שסקרנה אותו ואז יצא ממנו, מבחינת גוגל מדובר ב-Bounce. יתרה מכך, מבלי שיעבור לדף נוסף, אנליטיקס לא תדע גם לחשב כמה זמן נמשכה הצפייה שלו בדף.
איך מתגברים: ראשית, אפשר להתבונן בדפים בהם ה- Bounceגרוע במיוחד ולבחון את זמני השהייה בהם. אם מדובר בפרק זמן מכובד, זה סימן שאנשים צורכים את התוכן שבדף הזה, ואולי לא כדאי להזדרז ולשנות אותו. שנית, ניתן להגדיר לאנליטיקס כי רק מי ששהה מתחת לפרק זמן מסוים, נניח 30 שניות, יהווה Bounce. או להגדיר Event כמו גלילה בעכבר או אחוז מסוים מהעמוד שנצפה על ידי המשתמש, ואם ה-Event הזה מתקיים, כנראה שמותר להתעלם מ-Bounce גבוה.
זהו כאמור רק מקבץ דוגמאות לא ממצה בעליל. וצריך גם לזכור שאף שהאנליטיקס הוא כלי מרכזי, הוא ממש לא לבד בשוק – מוצרים רבים מציעים ממשקים שונים וגישות שונות למדידה ולפילוח הנתונים. אבל אף אחד מהם לא מושלם.
טעויות במה שמודדים
וגם אם האלגוריתם היה מושלם, האנשים שתכננו אותו לא מושלמים. לשאלה מה מודדים יש חשיבות מכרעת ולא כל הדפים נולדו שווים. למשל, שיעור Bounce גבוה אינו בהכרח דבר רע בעמוד שבו מופיעות דרכי התקשרות. באתי, ראיתי, יצאתי. כמו כן, שיעור יציאה גבוה הוא תוצאה הגיונית וסבירה בדף שאחרי השלמת תהליך הרכישה. במקרים אחרים, נניח בעקבות טירגוט יעיל יותר של המאמץ השיווקי, נראה ירידה בטראפיק הנכנס, אך זה לא דבר רע, מדובר כנראה בטראפיק איכותי יותר. מנגד, אם אנחנו רואים תנועה ערה של קהל צעיר אבל פנינו למבוגרים, הנתונים הטובים לא יעזרו לנו.
איך מתגברים: מזהים מה הם המדדים שרלבנטיים להצלחה של הארגון שלנו, מתמקדים במטרות שלנו וגוזרים מהן יעדים לאנליטיקס.
טעויות בפרשנות ובגזירת התובנות
גם אם עשינו הכל נכון וקיבלנו דאטה ראוי ותקף, אנחנו עלולים לטעות באופן שבו אנחנו מפרשים אותו. זה יכול לנבוע מהטיות קוגניטיביות כמו היוריסטיקת הזמינות שאומרת שאנחנו זוכרים רק את הנתונים החזקים והבולטים ומתעלמים ממידע מורכב יותר או ממידע נוסף שלא זמין לנו.
יש גם כשלים לוגיים, כמו כשל הרגרסיה. שמעתם פעם על ״קללת השער של ספורטס אילוסטרייטד״? אוהדים, פרשנים וספורטאים חוטאים מדי פעם בטענה לפיה הופעה על שער המגזין מביאה מזל רע. יש לכאורה המון דאטה על ספורטאי-על שכיכבו בשער שהילל את יכולותיהם – ומיד אחר כך התרסקו על המגרש, רצף הניצחונות נקטע והסטטיסטיקה צנחה. הכשל כאן הוא חוסר הבנה של תופעת הרגרסיה לממוצע: ספורטאי מקבל בדרך כלל שער בעיתון בעקבות הופעות שיא על המגרש, הרבה מעבר לממוצע שלו. סטטיסטית, הסיכויים הם שמכאן ואילך הוא ישוב להפגין את היכולת הממוצעת, הפחות טובה שלו.
כשל נוסף קשור בתופעה של קשרים מזויפים בין נתונים. יש למשל קורלציה (קשר) בין מידת הנעליים לבין היכולת במתמטיקה, כך שככל שהנעל גדולה יותר, הביצועים במתמטיקה משתפרים. אבל זה כמובן קשר מזויף, שמסווה את הסיבה האמיתית: ילדים בני 15, עם כף רגל גדולה יותר, יצליחו בחשבון יותר מאשר ילדים בני 7. הגיל הוא המשתנה האמיתי שקשור ביכולת בחשבון.
איך מתגברים: הדרך הטובה ביותר להתמודד עם הטיות וכשלים היא פשוט להיות מודעים לקיומם. האם באמת יש קשר בין שני משתנים כמו שחשבנו? צריך לבחון את עצם הגישה שלנו לדאטה בספקנות, צניעות וביקורתיות לפני שנצא בהצהרות מפוצצות.
טעויות בהקשר
הלקוח מתלונן שכמות הכניסות לכתבה מסוימת צונחת וגם זמני השהייה לא מה שהיו. ״צריך להחליף כותרת!״, הוא דורש. אבל בדיקה קצרה של התוכן שמאחורי המספרים מלמדת שהכתבה עוסקת במטריות ועכשיו כבר קיץ, או שהאייטם עוסק במונדיאל שהסתיים מזמן, או שבאותו יום היה אירוע חדשותי גדול ואף אחד לא פנוי רגשית להתעניין בכתבה על גרביונים.
איך מתגברים: עונתיות, Real Time Marketing והשפעות סביבתיות שונות הן רק כמה דוגמאות לאירועים חיצוניים שמשפיעים על הדאטה שלכם, אירועים שהמספרים פשוט לא מודדים את השפעתם. הפתרון טמון דווקא ביתרון האנושי שלכם: הרימו את המבט מהדשבורד ובחנו את התמונה הגדולה. הצליבו מידע והפעילו את הראש כדי לראות אם המספרים לבדם מספרים את כל הסיפור.
האלגוריתם הוא לא אלוהים
אפילו לא נגענו בנושאים מרכזיים כמו טעויות בהזנה, ספאם, טראפיק של בוטים ובלבול בין קשר בין משתנים ליחסי סיבה ותוצאה. קצרה היריעה. ולמרות כל אלה, חשוב לומר: דאטה – והתובנות שעולות ממנו – הם כלי מרכזי בתעשייה במאה ה-21. אף אחד לא חושב שצריך להתעלם מהם. אבל איש מקצוע טוב חייב להתייחס בזהירות רבה יותר לממצאים, לבחון את המטרות, את ההקשר ואת ההיגיון שמאחורי הדברים. סגידה עיוורת לאלגוריתם עלולה להוביל אותנו לטעויות. ובכלל, האם היינו רוצים לחיות בעולם שבו רק אלגוריתם קובע מה ראוי, מה איכותי ומה מוצלח? שבו תכנים משוכפלים רק על סמך פופולריות לכדי העתקים דהויים של עצמם? עולם כזה כנראה היה מונע מאיתנו כמה מהמהלכים היצירתיים, המפתיעים והמצליחים שהענף ידע.
המספרים לא תמיד מספרים את כל הסיפור.