אחד החששות השכיחים ביחס לשימוש ההולך וגובר בפלטפורמות וביישומונים דיגיטליים הוא שהאלגוריתמים שעליהם הם מבוססים פוגעים באוטונומיה ובאותנטיות שלנו. לשני המושגים האלה יש מגוון רחב של משמעויות, אבל בהקשר הזה אוטונומיה פירושה בדרך כלל היכולת לנהל את חיינו כטוב בעינינו, ואותנטיות היא הלימה בין פעולותינו לבין תפיסתנו העצמית. החשש הוא שככל שנהיה חשופים יותר לפעולתם של אלגוריתמים, כך הם יצליחו לתמרן את התנהגותנו באופן הדוק יותר, וכך נאבד את היכולת לפעול ולחיות כפי שאנחנו רואים לנכון, ובאופן שיהיה נאמן למי שאנחנו.

בין אם החששות האלה מוצדקים או לא, העובדה שהם כה רווחים בספרות המחקרית ובדיון הציבורי מעידה על החשיבות שרבים עדיין מייחסים לערכי האוטונומיה והאותנטיות. והחשיבות הזאת מפתיעה, משום ששני הערכים הללו הוכרזו לא פעם כבלתי רלוונטיים במקרה הטוב, וכמסוכנים ודכאניים במקרה הרע.

מבחינה היסטורית, שורשיו של מושג האוטונומיה בהגותם של הוגי הנאורות ז׳אן-ז׳אק רוסו ועמנואל קאנט, שני הוגים שהפכו למוקצים מחמת לבנבנותם ופריבלגיותם בחוגים פרוגרסיביים מסוימים. מבחינה תיאורטית, מושג האוטונומיה הותקף על כך שהוא מתעלם מהתלות של הפרט במארג החברתי ומבטא פנטזיה על אודות חירות שאיננה אפשרית, או שאיננה רצויה כלל. מושג האותנטיות ספג בתורו ביקורת בידי הפוסט-סטרוקטורליסטים שהטילו ספק בקיומו של עצמי אחדותי ורציף, וממילא גם פקפקו בכל תיאוריה שהבטיחה להפוך אותנו לחופשיים יותר באמצעות נאמנות לאותו עצמי "אמיתי" שלנו.

ספרו הקצר של ערן פישר חושבים בשבילך: מבט ביקורתי על אלגוריתמים (עיבוד עברי של ספרו Algorithms and Subjectivity: The Subversion of Critical Knowledge) מרים תרומה חשובה למאמץ להצביע על האופנים שבהם אלגוריתמים פוגעים באוטונומיה ובאותנטיות. פישר אמנם מנסח את החשש שלו במונחים קצת אחרים (אולי בשל ביקורות מהסוג שהוזכר לעיל), ומעדיף לדבר על האופן שבו אלגוריתמים מאיימים על הידע העצמי הביקורתי ועל החופש שלנו. ואולם, החשש שלו קרוב מאוד לחששות המסורתיים לפגיעה באוטונומיה ובאותנטיות, במובן זה שהוא חולק איתן את הנחת הבסיס לפיה "ידיעה עצמית" – הן במובן של ידיעת טבע האדם ויכולותיו באופן כללי, והן במובן של הכרת הפרט את אופיו, מאוויו, מניעיו וכו' – היא תנאי הכרחי להעצמת החירות האנושית.

מי שמטיל ספק בהנחה הזאת כנראה לא יקנה את הדיאגנוזה הקודרת של פישר לגבי עתידנו האלגוריתמי. אבל מי שמקבל אותה, ימצא בספר הזה נבואת זעם חשובה ומוצדקת.

לא מנסים לנבא, מנסים לשלוט

במרכז הספר עומדות שתי טענות: האחת, אלגוריתמים מייצרים דרך חדשה לדעת אשר משנה את חוויית העצמי ואת תפיסת הסובייקטיביות שלנו, קרי את הבנתנו העצמית; והשנייה, שבעשותם כן, אלגוריתמים חותרים תחת היכולת שלנו לגייס התבוננות עצמית וידע ביקורתי במטרה להיות חופשיים יותר.

בפרק הראשון מציג פישר את המסגרת התיאורטית והמושגית שתשמש אותו לביסוס הטענות האלה. הוא מסביר כי הוא משתמש במונח "אלגוריתם" כדי להורות על מערכת טכנו-חברתית שתכליתה לעבד נתונים לכלל ידע. זו יחידת ניתוח רחבה יחסית, כי היא לא כוללת רק שורות קוד, אלא גם מערכות שמורכבות מאנשים, מכשירים, פרקטיקות, אתרים וגופי ידע. עם זאת, פישר מבהיר כי הוא לא מתכוון לעסוק בכל מערכת טכנו-חברתית שתכליתה לעבד נתונים לכלל ידע, אלא רק באלגוריתמים ממשקיים, כלומר אלה שמוטמעים במכשירי קבלת החלטות מקוונים (כגון אתרי קניות, רשתות חברתיות ואפליקציות הכרויות).

לאחר מכן הוא מציג את תפיסתו לגבי ידע ביקורתי והקשר בינו ובין סובייקטיביות. על פי תפיסה זו, המבוססת על הגותו שלו הפילוסוף הגרמני יורגן הברמאס, ידע ביקורתי שואף לתאר את המציאות ולהבין את חוקיה, בין היתר על בסיס עקרונות מדעיים, אבל הוא גם מקרב אותנו אל עבר שחרור, משום שהוא כרוך בחקירה של תנאי האפשרות של המציאות בה אנחנו פועלים.

עם התשתית התיאורטית והמושגית הזאת ניגש פישר לקשור את שתי התזות הגדולות שלו יחד. טענתו, ראשית, היא שחתירה תחת הסובייקטיביות היא למעשה האמצעי שאלגוריתמים נוקטים כדי לייצר ידע. בשיח המקצועי על אלגוריתמים, כותב פישר, הם מתוארים לא פעם ככלים המאפשרים ניבוי, בעוד שבפועל, מטרתם אינה בדיוק לנבא התנהגות, אלא דווקא לנווט אותה ולשלוט בה.

החופש שלנו מקשה על המנסים לשלוט בנו, ולכן על האלגוריתמים להניח שאנחנו יותר דומים לאובייקטים, לחפצים, מאשר לסובייקטים. אבל האלגוריתמים לא רק מניחים שאנחנו דומים לאובייקטים; לפי פישר, הם גם הופכים אותנו לכאלה. מכיוון שהאלגוריתמים יכולים לדעת רק את מה שניתן לשלוט בו, ומכיוון שהתבוננות פנימית וידיעה עצמית מקשות על השליטה בבני אדם, האלגוריתמים פועלים לאלחוש המנגנונים האלה ומכאן שהם חותרים תחת הסובייקטיביות האנושית.

מהו האדם אם לא צבר נתונים

הפרק השני בחיבור, שנכתב ביחד עם יואב מחוזאי, עוסק באפיון המשתמשים. בעוד שבתקשורת ההמונים הישנה הדבר נעשה על בסיס שיוכי (מעמד סוציו-אקונומי, מגדר, מוצא אתני וכדומה), הידע האלגוריתמי מאפיין או "רואה" את הקהל שלו על בסיס התנהגותי, קרי, על בסיס שובל הנתונים שהתנהגות המשתמש מותירה במרחבים דיגיטליים שונים. אופן "הראייה" הזה, לדברי פישר ומחוזאי, עוקף את ההבנה העצמית של המשתמשות שכן הוא מתמקד בהתנהגות אנושית גלויה ולא בחשיפת מבני עומק נסתרים, ואיננו נזקק לתיאוריה של העצמי ולהסברים סיבתיים של התנהגות אנושית. הבנה עצמית מהטיפוסים הללו מיותרת מבחינת הידע האלגוריתמי. בנוסף, הידע האלגוריתמי נמנע מהתייחסות לבני אדם כישויות סוציולוגיות בתוך מבנה חברתי ורואה בהם צבר של נתונים דינמיים ותו לא.

יתר על כן, העובדה שהקטגוריות האלגוריתמיות נוצרות מאחורי גבינו ונותרות חתומות בפנינו – מעין קופסה שחורה שאין לנו דרך לחשוף את שנרשם בה – מונעת בעדנו לזהות ולבקר אותן. כלומר, ידע אלגוריתמי חותר תחת הסובייקטיביות שלנו לא רק בכך שאיננו שותפים ביצירתו, אלא גם במובן זה שלאחר שנוצר איננו מסוגלים להבינו. ולעובדה זו ישנן, כפי שנראה, משמעויות מרחיקות לכת בכל הקשור לעצמיות שלנו אבל גם לתפקודנו החברתי.

בפרק השלישי מתמקד פישר בסרטון של גוגל בשם "הפנקס האנוכי". המדובר במאגר נתונים דמיוני ענק שיישב על שרתי גוגל בעתיד, ויאפשר ריצוף מושלם של התנהגות אנושית (בדומה לריצוף גנטי). הריצוף ההתנהגותי ו"עריכתו" יאפשרו לא רק ניבוי מדויק של התנהגות, אלא גם שינוי התנהגות ופתרון בעיות כמו דיכאון ועוני.

פישר משווה בין הפנקס האנוכי של גוגל ובין היומן האישי, שצמח במאה ה-17 הן כפרקטיקה של כתיבה והן כסוגה ספרותית, שכן שתי המדיות הללו מציעות דרכים שונות לידיעה עצמית. זו השוואה על דרך הניגוד, כי בעוד שהיומן האישי הוא מדיה המאפשרת את כינונה והתפתחותה של סובייקטיביות באמצעות ידיעה עצמית ביקורתית שמעצימה את החופש של כותב היומן, הפנקס האנוכי מבקש לייצר ידע אישי מפורט מאוד אמנם, אך ללא מעורבות סובייקטיבית, ובחשבון אחרון מסייע בייצור עצמי נטול סובייקטיביות. העובדה שקברניטי גוגל מציגים בסרטון המדובר עתיד אלגוריתמי כזה, מהווה מבחינת פישר אישוש נוסף לטענתו שאלגוריתמים חותרים תחת הסובייקטיביות שלנו.

מי מחזיק ב"זכות לעיר"

בעוד ששלושת הפרקים הראשונים עוסקים באלגוריתמים ממשקיים באופן כללי, הפרק הרביעי מתמקד במנועי ההמלצות של נטפליקס ואמזון, שמארגנים, מתעדפים ואוצרים תוכן תרבותי בהסתמך על האינטראקציה של משתמשים עם פלטפורמות דיגיטליות. הטענה המרכזית של הפרק, שנכתב יחד עם נורמה מוסי, היא שמנועי המלצות עורכים אוטומציה לשיפוט האסתטי (הערכת יופי טבעי או תרבותי) ואגב כך משנים את מהותו.

היבט אחד של השינוי הזה הוא שהתרבות מאבדת מאופייה הציבורי ועוברת הפרטה או אינדיבידואליזציה. היבט נוסף, שפישר ומוסי נעזרים בחנה ארנדט כדי לנסחו, הוא פוליטי: אליבא דארנדט, שיפוט אסתטי מאפשר לנו להתאמן לקראת שיפוט ופעולה פוליטיים, משום שבשני המקרים אנחנו צריכים לנהל דיון ביקורתי ורפלקטיבי עם אחרים בקהילה על עניינים שבהם אין ראיות או טעמים אובייקטיביים שיכולים לאפשר הכרעה פשוטה. ההפרטה של השיפוט האסתטי פירושה אפוא שאנחנו מאבדים את "מגרש האימונים" של השיפוט הפוליטי, והיא מובילה בתורה להפרטה של השדה הפוליטי. כלומר, ההכרעות עוברות מהקהילה לגורמים מעוניינים.

את אותה ההפרטה מתאר פישר בהרחבה בפרק החמישי דרך דיון מאיר עיניים במקרה הבוחן של יישומון הניווט ווייז. אם בשלושת הפרקים הראשונים הטענה היתה שאלגוריתמים ממשקיים באופן כללי מייצרים צורה חדשה של ידע, הרי שכאן מתמקד פישר בצורת הידע הפרטיקולרית של ווייז; צורה חדשה להכיר באמצעותה את המרחב המשנה בתורה את התנועה האנושית בו.

פישר מציג כאן ניתוח עשיר ומפורט של העימות בין חברת ווייז ובין תושבים במקומות שונים בעולם, שמתנגדים להסטת התנועה לעבר כבישים המצויים בקרבת מקום מגוריהם, ומציע כי יש כאן משא ומתן על "הזכות לְעיר", קרי, על הזכות להשפיע על עיצוב המרחב. ווייז מנסה להצדיק את זכותה לעיר, לפי פישר, בטענה שהיא מחזיקה בידע אלגוריתמי שהוא אובייקטיבי ושוויוני יותר מהידע שבו מחזיקים שחקנים אחרים כמו מתכנני תנועה וערים, בעלי הון ותושבים. 

המקרה של ווייז מדגים אפוא כיצד אלגוריתמים חותרים תחת הסובייקטיביות לא רק באמצעות הידע שהם מייצרים, אלא, בחשבון אחרון, גם בפוליטיקה שהם מכוננים, שבמסגרתה קבלת ההחלטות מועברת מידיהם של שחקנים אנושיים שנתפסים כמוטים אל אלגוריתמים שנתפסים כאובייקטיביים וכנטולי פניות. הסכנה כאן איננה רק שהידע האלגוריתמי בפועל איננו אובייקטיבי ושוויוני, אלא שזה כלל לא סוג הידע שדרוש בשדה הפוליטי. להפך: על מנת שנתקדם לקראת שחרור, הדיון הפוליטי חייב להסתמך על ידע שהוא במהותו סובייקטיבי וכרוך בהתבוננות עצמית ביקורתית.

פישר מסכם כי הניתוח של אופני הפעולה של אלגוריתמים מראה כי הם מציעים דרך חדשה לדעת את העולם, וכי הם משנים את מהותו של הידע, של הסובייקט היודע ושל מושאי הידע: התרבות, החברה, הפוליטיקה והעצמי. הפנטזיה על עצמי אלגוריתמי נטול סובייקטיביות, מזהיר פישר, מסוכנת משום שסובייקטיביות היא תנאי הכרחי לפעולה פוליטית, ועל כן, עלינו לשאול מה ניתן לעשות כדי להתנגד לטכנולוגיה הזאת.

למה האלגוריתם אינו מסוגל

חושבים בשבילך הוא ספר עשיר ומעניין, שעושה שימוש יצירתי ומקורי במגוון רחב של כלים תיאורטיים. כשהוא דן במקרי בוחן מקומיים, כמו המקרה של ווייז, הספר שופך אור חשוב על האופן שבו ענקיות הטכנולוגיה מנצלות את הידע האלגוריתמי שברשותן ואת האִצטלה האובייקטיבית שלו על מנת להפקיע את הדיון הפוליטי מידי השחקנים האחרים בשדה.

גם הדיון בשיפוט האסתטי האלגוריתמי, דוגמת הרכישה של אמזון את אתר Goodreads מאיר עיניים. המדובר ברשת החברתית קטנה, שהמשתמשים בה הם "חננות של ספרים" שמבצעים רכישות בהתאם להמלצות של חברים ולא בהתאם להמלצות אלגוריתמיות. העובדה שאמזון רכשה אותה ב-150 מיליון דולר מעידה לטענת פישר על מגבלותיו של הידע האלגוריתמי, ועל הקושי שלו לייצר תחליף הולם לַשיחה האנושית כשדה שבו מתעצב הטעם האנושי.

ואולם, בחלקים אחרים מתקשה הספר לפתח תשתית מושגית עקבית וברורה, או לחילופין לספק תימוכין אמפיריים לתזות הגדולות שלו לגבי שינויי העומק בתפיסות הידע, התרבות, הפוליטיקה והטבע האנושי. את הטענה, למשל, כי האלגוריתמים פוגעים ביכולת הידיעה העצמית הביקורתית וברפלקסיה שלנו, לא ניתן לבסס רק באמצעות ניתוח מהכורסה של טיבו של הידע האלגוריתמי כידע שאיננו שותפים ביצירתו או מסוגלים להבינו: צריך להביא גם ראיות אמפיריות לכך שהידע הביקורתי אכן נפגע כתוצאה מהתפשטות הידע האלגוריתמי, והספר מספק מעט מדי כאלה. המחקר בתחום הזה אמנם עוד בחיתוליו, בין היתר בשל הקשיים הכרוכים במדידת ידע ביקורתי, אבל זה אולי המקום בו פישר יכול היה לפרוץ דרך חדשה.

גם הטענה לפיה הידע האלגוריתמי מהווה צורה חדשה של ידע נותרת ללא ביסוס מספק, משום שפישר לא מראה כיצד הידע הזה שונה מצורות דומות של ידע שקדמו לו. כאן היה כדאי להזכיר את הפסיכולוגיה הביהביוריסטית, שגם היא חקרה אך ורק התנהגות נצפית, להבדיל מתהליכים נפשיים נסתרים, ושאחד מאבותיה המייסדים, בי.אף. סקינר, אף כתב רומן אוטופי בשם Walden Two, על חברה מהונדסת-התנהגותית שמזכירה את חזון "הפנקס האנוכי" של גוגל; את מדעי המוח והקוגניציה, שבדומה לידע האלגוריתמי מניחים לעתים במובלע דטרמיניזם שאינו מתיישב עם חירות הרצון; ואת מדע הקיברנטיקה, שעוסק בחקר תהליכי תקשורת ומערכות בקרה ומשוב, ושהיווה השראה הן למדעים הקוגניטיביים והן למדעי המחשב, מהם צמח הידע האלגוריתמי.

בעיה נוספת היא שפישר לא מתמודד כראוי עם התנגדות חשובה שהוא צופה, בצדק, שספרו יעורר. לקראת סוף הפרק הראשון הוא בוחן את האפשרות שהאבחנה שלו שגויה, כלומר, שהסובייקטיביות איננה נתונה תחת מתקפה משום שהיא מהווה צורה אחת מיני רבות של שליטה חברתית. תשובתו של פישר היא שגם אם מאמצים מסגרת תיאורטית פוקויאנית (מבית מדרשו של מישל פוקו), לפיה סובייקטיביות איננה מרחב של שחרור אלא מרחב של דיכוי באמצעות מנגנונים חברתיים, מגיעים למסקנה דומה ולפיה סביבה אלגוריתמית מייתרת את הסובייקטיביות. אבל הביקורת הפוקויאנית שפישר מחמיץ היא שגם אם הסובייקטיביות שלנו תחת מתקפה, לא בטוח שמדובר בחדשות רעות.

אסביר: מבחינת פישר, ידע ביקורתי ורפלקסיה הם יכולות חשובות שכדאי לשמר משום שהם מרחיבים את החופש שלנו, והעובדה שהאלגוריתמים פוגעים ביכולות הללו, הופכת אותם לתופעה מסוכנת. אולם מנגד, מפרספקטיבה פוקויאנית, גם אם נקבל את הטענה לגבי פגיעת האלגוריתמים ביכולות האלה, לא נמהר להתאבל על כך, משום שכלל לא ברור שהיכולות האלה קידמו אותנו לקראת שחרור. סביר יותר לומר שאנחנו מחליפים כאן צורה אחת של שליטה ודיכוי בצורה אחרת, וקשה לקבוע מראש איזו מהן תהיה גרועה ודכאנית יותר. דוגמה טובה לכך היא ההתבוננות העצמית שמציעה הפסיכואנליזה. בראשית דרכה היא נתפסה בעיני רבים כַדרך להשתחרר מהדיכוי המיני הוויקטוריאני, אולם בעיניים פוקויאניות היא נתפסת כדרך אחרת להסדיר ולמשטר את השיח והפרקטיקות המיניות שלנו.

פישר חוזר אל הביקורת הזאת בסוף הספר, הפעם בגרסתה הפוסט-הומניסטית, לפיה המתקפה האלגוריתמית על הסובייקטיביות לא רק שאיננה חדשות רעות, היא אפילו בעלת פוטנציאל של שחרור, משום שהיא מאפשרת תפיסה גמישה יותר של בני האדם, המערטלת אותם מקטגוריות חברתיות מיושנות ומהנחות מוקדמות לגבי טבעם או מהותם. התשובה של פישר לביקורת זו, היא שאובדן הסובייקטיביות מסוכן משום שהסובייקטיביות עומדת בבסיס היכולת לפעול פעולה פוליטית. אלא שפישר לא בוחן ברצינות את האפשרות שידע אלגוריתמי יכול לאפשר התארגנות פוליטית מסוג חדש, על בסיס קטגוריות שמקורן אינו בידע האלגוריתמי, וגם לא בקטגוריות החברתיות הישנות של מעמד, גזע, מגדר וכו׳. בחינה כזאת היתה יכולה להיעשות דרך דיון בהתארגנויות פוליטיות חדשות שפגשנו בעת האחרונה, אשר קשה לסווג באמצעות הקטגוריות הפוליטיות והחברתיות המוכרות (חובבי תיאוריות קונספירציה, מתנגדי חיסונים), אבל גם דרך ניסיון לדמיין כיצד יכולה להיראות התארגנות פוליטית חדשה לגמרי שטרם ראינו כמותה.

אנושי, אנושי מדי

בעיה נוספת קשורה בכך שפישר נוקט שפה מאנישה כשהוא מדבר על אלגוריתמים. הוא כותב שאלגוריתמים חותרים תחת הסובייקטיביות שלנו ותוקפים אותה; שהם מניחים מינֵי הנחות; שהם מבקשים להשיג מטרות זדוניות שונות ולשלוט בהתנהגותנו; ושהם מבטיחים לנו הבטחות שווא על עתיד טוב יותר. כל זה יוצר את הרושם שפישר הוא פסימיסט הרואה בטכנולוגיה איום המבקש להשתלט על האדם, גולם שקם על יוצרו. פישר מודע לכך שזה הרושם שעלול להיווצר ומחדד שהפסימיזם שלו, בשונה ממבקרים אחרים של הטכנולוגיה דוגמת מרטין היידגר וז׳אק אלול, תולה את האשם לא בטכנולוגיה עצמה, כי אם במערך טכנו-חברתי הכולל גם את המשתמשים.

ואולם, אם פישר מתכוון שהאשם רובץ לא רק לפתחם של גורמים אנושיים כמו משתמשים, מתכנתים, ובכירים בעמק הסיליקון, אלא גם לפתחם של מחשבים ושורות קוד דוממות (כפי שהשפה המאנישה בכותרת הספר מרמזת), הרי שהוא לא נתן טעמים מספיקים לייחס לאחרונים סוכְנוּת (כלומר, יכולת פעולה) שתצדיק אחריות מהסוג הזה. בדומה, אם הוא עומד מאחורי הטענה שהוא לא תולה את האשם רק בטכנולוגיה עצמה, הרי שמוטב היה להבהיר לאיזה גורם אנושי בדיוק הוא מתכוון בכל פעם שהוא מדבר על אלגוריתמים ופשעיהם. הטלת האשמה על הישות המופשטת של אלגוריתם כ"מערכת טכנו-חברתית" מטשטשת את ההבחנה בין הגורם האנושי והמכונה, ובתוך הגורם האנושי, בין מיליוני בני אדם שמידת האחריות שלהם שונה.

ואולם, בצד המגבלות הללו, ספרו של פישר לא רק מקורי ומעניין, אלא גם חשוב, משום שהוא נוקט עמדה אתית ברורה ובלתי מתפשרת כנגד פגיעתם של אלגוריתמים בחירות, בנאורות, ובידע העצמי הביקורתי שלנו. העובדה שכסוציולוג מצליח פישר שלא להסכין עם היחס הציני כלפי הערכים האלה – שהוזכר בפסקאות הפתיחה ושרווח מאוד בשדה בו הוא פועל – ראויה לכל הערכה.

חושבים בשבילך: מבט ביקורתי על אלגוריתמים, מאת ערן פישר, הוצאת הקיבוץ המאוחד, 154 עמודים.

על ד"ר אורי ערן

עמית בתר-דוקטורט במרכז לפילוסופיה של המוסר ופילוסופיה פוליטית באוניברסיטה העברית.