לבינה מלאכותית יש בעיית הטיה והיא אשמתנו

בשנת 2016 חוקרים מאוניברסיטת בוסטון ומיקרוסופט עבדו על אלגוריתמים של בינה מלאכותית כשגילו נטיות גזעניות וסקסיסטיות בטכנולוגיה העומדת בבסיס כמה מהשירותים הפופולריים והביקורתיים ביותר בהם אנו משתמשים מדי יום. הגילוי נוגד את החוכמה המקובלת לפיה בינה מלאכותית אינה סובלת מהדעות הקדומות המגדריות, הגזעיות והתרבותיות שאנו בני האדם עושים.

החוקרים גילו תגלית זו תוך כדי חקר אלגוריתמי הטמעת מילים, סוג של AI שמוצא קשרים ואסוציאציות בין מילים שונות על ידי ניתוח גופי טקסט גדולים. למשל, אלגוריתם משובץ הטמעת מילים יכול להבין שמילים לפרחים קשורות קשר הדוק לרגשות נעימים. ברמה המעשית יותר, הטמעת מילים מבינה שהמונח "תכנות מחשבים" קשור קשר הדוק ל "C ++", "JavaScript" ו"ניתוח ועיצוב מונחי עצמים ". כאשר היא משולבת ביישום סריקת קורות חיים, פונקציונליות זו מאפשרת למעסיקים למצוא מועמדים מוסמכים בפחות מאמץ. במנועי חיפוש הוא יכול לספק תוצאות טובות יותר על ידי הצגת תוכן הקשור סמנטית למונח החיפוש.

החוקרים של BU ומיקרוסופט מצאו כי לאלגוריתמי הטמעת המילים היו הטיות בעייתיות, עם זאת - כמו למשל לקשר בין "מתכנת מחשבים" לכינויים גבריים ו"בית בית "לנשים. הממצאים שלהם, שפרסמו במאמר מחקר שכותרתו בצורה נאותה "גבר הוא מתכנת מחשבים כמו אישה לעבר בית?" היה אחד ממספר הדיווחים שביצעו את המיתוס של ניטרליות ה- AI ושפכו אור על הטיה אלגוריתמית, תופעה שמגיעה למימדים קריטיים ככל שהאלגוריתמים מעורבים יותר ויותר בהחלטות היומיומיות שלנו.

מקורות ההטיה האלגוריתמית

אלגוריתמי למידת מכונה ולימוד עמוק עומדים בבסיס התוכנה העכשווית ביותר המופעלת על ידי AI. בניגוד לתוכנה המסורתית, העובדת על בסיס כללים מוגדרים מראש ואימות, למידה עמוקה יוצרת חוקים משלה ולומדת לפי דוגמא.

לדוגמה, כדי ליצור אפליקציה לזיהוי תמונות המבוססת על למידה מעמיקה, מתכנתים "מכשירים" את האלגוריתם על ידי הזנת נתונים שכותרתו: במקרה זה, תמונות המתויגות בשם האובייקט שהם מכילים. ברגע שהאלגוריתם מצליף מספיק דוגמאות, הוא יכול לאסוף דפוסים נפוצים בין נתונים שכותרתו דומה ולהשתמש במידע זה כדי לסווג דגימות לא מסומנות.

מנגנון זה מאפשר למידה עמוקה לבצע משימות רבות שהיו כמעט בלתי אפשריות עם תוכנה מבוססת כללים. אך פירוש הדבר גם שתוכנה של למידה עמוקה יכולה לרשת הטיות סמויות או גלויות.

"אלגוריתמים AI אינם מוטים מטבעם", אומר פרופסור Venkatesh סליגרמה, המלמד במחלקה להנדסת חשמל ומחשבים באוניברסיטת בוסטון ועבד על אלגוריתמי הטמעת מילים. "יש להם פונקציונליות דטרמיניסטית והם יאספו כל נטייה שכבר קיימת בנתונים עליהם הם מאמנים."

אלגוריתמי הטמעת המילים שנבדקו על ידי החוקרים מאוניברסיטת בוסטון הוכשרו על מאות אלפי מאמרים מ- Google News, Wikipedia, ומקורות מקוונים אחרים שבהם הטיות חברתיות משובצות עמוק. כדוגמה, בגלל התרבות האחידה השולטת בתעשיית הטק, שמות גברים עולים לעיתים קרובות יותר בעבודות הקשורות לטכנולוגיה - וזה מוביל לאלגוריתמים לקשר גברים למשרות כמו תכנות והנדסת תוכנה.

"לאלגוריתמים אין כוחו של המוח האנושי להבחין בין זכות לא נכון", מוסיפה טולגה בולוקבסי, סטודנטית לתואר שלישי בשנה האחרונה בתואר שני בבוס. בני אדם יכולים לשפוט את מוסריות מעשינו, גם כאשר אנו מחליטים לפעול בניגוד לנורמות אתיות. אבל לגבי האלגוריתמים, הנתונים הם הגורם הקובע ביותר.

סליגרמה ובולוקבאסי לא היו הראשונים שהעלו את האזעקה בגלל ההטיה הזו. חוקרים מבית יבמ, מיקרוסופט ואוניברסיטת טורונטו הדגישו את הצורך למנוע אפליה אלגוריתמית במאמר שפורסם בשנת 2011. באותה תקופה, הטיה אלגוריתמית הייתה דאגה אזוטרית, ולמידה עמוקה עדיין לא מצאה את דרכה למיינסטרים. אולם כיום, הטיה אלגוריתמית כבר מותירה חותם ברבים מהדברים שאנחנו עושים, כמו קריאת חדשות, מציאת חברים, קניות באינטרנט וצפייה בסרטונים בנטפליקס וביוטיוב.

ההשפעה של הטיה אלגוריתמית

בשנת 2015 גוגל נאלצה להתנצל לאחר שהאלגוריתמים המפעילים את אפליקציית ה- Photos שלה תייגו שני אנשים שחורים כגורילות - אולי מכיוון שמערכת האימונים שלה לא הספיקה מספיק תמונות של אנשים שחורים. בשנת 2016, מבין 44 הזוכים בתחרות יופי שנשפטה על ידי AI, כמעט כולם היו לבנים, מעטים היו אסייתיים ורק אחד מהם היה כהה. שוב, הסיבה הייתה שהאלגוריתם הוכשר לרוב בתמונות של אנשים לבנים.

תמונות גוגל, תזדיינו. חבר שלי הוא לא גורילה. pic.twitter.com/SMkMCsNVX4

ג'קיאלצ'ינה לא מגיבה הרבה כאן. DM (@jackyalcine) 29 ביוני 2015

לאחרונה, מבדיקת שירותי ניתוח הפנים של יבמ ומיקרוסופט, נמצא כי האלגוריתמים של החברות כמעט ולא פגמו באיתור מגדרם של גברים עם עור בהיר, אך לא פעם טועים כשהם מוצגים תמונות של נשים עם עור כהה.

אמנם תקריות אלה גרמו ככל הנראה לנזק זניח, אך לא ניתן לומר את אותו הדבר לגבי אלגוריתמים של AI בתחומים קריטיים יותר, כגון שירותי בריאות, אכיפת החוק והגיוס. בשנת 2016, חקירה של פרופובליקה מצאה כי COMPAS - תוכנה מונעת AI המעריכה את הסיכון לחזרתיות אצל עבריינים - הייתה מוטה כלפי אנשים בעלי צבע. התגלית נגעה במיוחד מכיוון ששופטים במדינות מסוימות משתמשים ב- COMPAS כדי לקבוע מי יוצא לחופשי ומי נשאר בכלא.

במקרה אחר, מחקר על פלטפורמת הפרסום של גוגל, המופעלת על ידי אלגוריתמים של למידה עמוקה, מצא שגברים הוצגו מודעות למשרות בעלות שכר גבוה לעתים קרובות יותר מאשר נשים. מחקר נפרד מצא בעיה דומה עם מודעות העבודה של לינקדאין. עוד אחד הראה כי בסבירות גבוהה יותר של אלגוריתמי שכירה מוטים של 50% לשלוח הזמנה לראיון לאדם ששמו אירופאי-אמריקני מאשר למישהו עם שם אפרו-אמריקני.

תחומים כמו אישור הלוואות, דירוג אשראי ומלגות מתמודדים עם איומים דומים.

הטיה אלגוריתמית מדאיגה עוד יותר בגלל האופן בו היא עשויה להגביר את ההטיות החברתיות. תחת האשליה כי AI הוא קר, חישוב מתמטי נטול דעות קדומות או משוא פנים, בני אדם עשויים נוטים לסמוך על שיקול דעת אלגוריתמי מבלי להטיל ספק בכך.

בראיון ל- Wired UK, מרצה לקרימינולוגיה באוניברסיטת אדינבורו נאפייר אנדרו ווף ציין כי עולם השיטור "לחוץ בזמן, עתיר משאבים" עלול לגרום למנהלי אכיפת החוק להסתמך יותר מדי על החלטות אלגוריתמיות. "אני יכול לדמיין מצב שבו קצין משטרה עשוי להסתמך יותר על המערכת מאשר בתהליכי קבלת ההחלטות שלו", אמר. "באופן חלקי זה עשוי להיות כדי שתצדיק החלטה כשמשהו ישתבש."

הסתמכות על אלגוריתמים מוטים יוצרת לולאת משוב: אנו מקבלים החלטות שיוצרים נתונים מוטים יותר שאלגוריתמים ינתחו ואז יתאמן עליהם בעתיד.

דבר כזה קורה כבר ברשתות המדיה החברתית כמו פייסבוק וטוויטר. האלגוריתמים המפעילים את עדכוני החדשות יוצרים "בועות פילטר", המציגות תוכן התואם את העדפות המשתמש והטיותיו. זה יכול לגרום להם להיות פחות סובלניים כלפי השקפות מנוגדות ויכולים גם לקוטב את החברה עוד יותר על ידי העברת טריז דרך המתרחץ הפוליטי והחברתי.

"הטיה אלגוריתמית עשויה להשפיע על כל קבוצה", אומרת ג'ן ווורטמן ווהן, חוקרת בכירה במיקרוסופט. "קבוצות שהן מיוצגות תחת הנתונים עשויות להיות בסיכון במיוחד."

בתחומים הידועים כבר כהטיה, כמו אפליה אנדמית של תעשיית הטכנולוגיה כנגד נשים, אלגוריתמים של AI עשויים להדגיש את ההטיות הללו ולהביא לשוליים נוספים של קבוצות שאינן מיוצגות היטב.

ווטמן מציין כי בריאות היא תחום קריטי נוסף. "זה יכול לגרום לבעיות חמורות אם אלגוריתם ללימוד מכונה המשמש לאבחון רפואי מאומן על נתונים מאוכלוסיה אחת וכתוצאה מכך הוא לא מצליח לבצע ביצועים טובים באחרים", היא אומרת.

הטיה יכולה גם להזיק בדרכים עדינות יותר. "בשנה שעברה תכננתי לקחת את הבת שלי לתספורת וחיפשתי באינטרנט תמונות של 'תספורות פעוטות' לקבלת השראה", אומר וורטמן. אבל התמונות שהוחזרו היו כמעט כולן של ילדים לבנים, בעיקר עם שיער חלק, ובאופן מפתיע יותר, בעיקר בנים, היא שמה לב.

מומחים מכנים תופעה זו "נזק ייצוגי": כאשר הטכנולוגיה מחזקת סטריאוטיפים או מצמצמת קבוצות ספציפיות. "קשה לכמת או למדוד את ההשפעה המדויקת של הטיה מסוג זה, אבל זה לא אומר שזה לא חשוב", אומר וורטמן.

הסרת הטיה מאלגוריתמים של AI

ההשלכות הקריטיות יותר ויותר של הטיית AI משכו את תשומת לבם של כמה ארגונים וגופים ממשלתיים, וכמה צעדים חיוביים ננקטים כדי לטפל בסוגיות האתיות והחברתיות סביב השימוש ב- AI בתחומים שונים.

מיקרוסופט, שמוצריה נשענים מאוד על אלגוריתמים של AI, השיקה לפני שלוש שנים פרויקט מחקר בשם Fairness, Accountability, Transparency and Ethics ב- AI (FATE), שמטרתו לאפשר למשתמשים ליהנות מהתובנות והיעילות המשופרות של שירותים המופעלים על ידי AI ללא אפליה ו הטיה.

במקרים מסוימים, כמו תחרות היופי שפוטלה על ידי AI, מציאת והתיקון של המקור להתנהגות המוטה של ​​אלגוריתם AI עשויה להיות קלה כמו לבדוק ולשנות את התמונות בנתון האימונים. אך במקרים אחרים, כמו אלגוריתמי הטמעת המילים אותם בדקו חוקרי אוניברסיטת בוסטון, ההטיה נחקרת בנתוני ההדרכה בדרכים עדינות יותר.

צוות BU, אליו הצטרף חוקר מיקרוסופט אדם קלאי, פיתח שיטה לסיווג הטבעות מילים בהתבסס על סיווג המגדר שלהם וזיהוי אנלוגיות שעשויות להיות מוטות. אך הם לא קיבלו את ההחלטה הסופית, והם ינהלו את כל אחד האגודות החשודות על ידי 10 אנשים ב- Mechanical Turk, השוק המקוון של אמזון למשימות הקשורות בנתונים, שיחליטו אם יש להסיר את האיגוד או לא.

"לא רצינו להכניס את ההטיות שלנו לתהליך", אומר סליגרמה, הפרופסור והחוקר של BU. "פשוט סיפקנו כלים לגלות אסוציאציות בעייתיות. בני אדם קיבלו את ההחלטה הסופית."

במאמר שפורסם לאחרונה יותר, הציעו קלאי וחוקרים אחרים להשתמש באלגוריתמים נפרדים כדי לסווג קבוצות שונות של אנשים במקום להשתמש באותם אמצעים לכולם. שיטה זו יכולה להוכיח יעילה בתחומים שבהם נתונים קיימים כבר מוטים לטובת קבוצה מסוימת. לדוגמה, האלגוריתמים שיעריכו מועמדות לתפקיד תכנות ישתמשו בקריטריונים המתאימים ביותר לקבוצה זו במקום להשתמש במערך הרחב הרחב שמושפע עמוקות מהטיות קיימות.

הורטמן של מיקרוסופט רואה בהכללות בענף ה- AI צעד הכרחי למאבק בהטיה באלגוריתמים. "אם אנחנו רוצים שמערכות ה- AI שלנו יהיו מועילות לכולם ולא רק לדמוגרפיה מסוימת, אז חברות צריכות להעסיק צוותים מגוונים כדי לעבוד על AI, " היא אומרת.

בשנת 2006 סייע ווורטמן להקמת נשים בלמידה במכונה (WiML), המקיימת סדנה שנתית בה נשים הלומדות ועובדות בענף AI יכולות להיפגש, לרשת, להחליף רעיונות ולהשתתף בדיוני פאנל עם נשים בכירות בתעשייה ובאקדמיה. מאמץ דומה הוא הסדנה החדשה Black in AI, שהוקמה על ידי תמנית גברו, חוקרת אחרת של מיקרוסופט, שמטרתה לבנות כישרונות מגוונים יותר ב- AI.

הבולוקבאסי של אוניברסיטת בוסטון מציע גם לשנות את הדרך בה אלגוריתמים של AI פותרים בעיות. "האלגוריתמים יבחרו מערך כללים שממקסם את המטרה שלהם. יכולות להיות דרכים רבות להגיע לאותה מערכה של מסקנות עבור זוגות תפוקות קלט נתונות, " הוא אומר. "קח את הדוגמא של בדיקות מרובות בחירות לבני אדם. אפשר להגיע לתשובה הנכונה בתהליך חשיבה שגוי, אך עם זאת לקבל את אותו הציון. יש לתכנן מבחן איכותי כדי למזער את האפקט הזה, רק לאפשר לאנשים שבאמת הכירו את הנושא בכדי לקבל ציונים נכונים.הפוך את האלגוריתמים למודעים לאילוצים חברתיים ניתן לראות כאנלוג לדוגמא זו (אם כי לא מדויקת), כאשר לימוד מערך כללי שגוי נענש במטרה. זהו מחקר מתמשך ומאתגר. נושא."

האטימות של AI מסבכת את ההוגנות

אתגר נוסף העומד בדרך להפוך את אלגוריתמי AI ליותר הוגנים הוא תופעת "הקופסה השחורה". במקרים רבים, חברות שומרות בקנאות על האלגוריתמים שלהן: לדוגמה, Northpointe Inc., יצרנית COMPAS, התוכנה המנבאת פשע, סירבה לחשוף את האלגוריתם הקנייני שלה. האנשים היחידים שחשובים לפעילותה הפנימית של COMPAS הם המתכנתים שלה, ולא השופטים המשתמשים בה בכדי לפסוק את הדין.

מלבד הסודיות התאגידית, אלגוריתמים של AI לפעמים מסתבכים כל כך עד שהסיבות והמנגנונים העומדים מאחורי ההחלטות שלהם מחמקים אפילו את יוצריהם. בבריטניה, משטרת דורהאם משתמשת במערכת AI HART כדי לקבוע אם לחשודים יש סיכון נמוך, בינוני או גבוה לבצע פשעים נוספים תוך תקופה של שנתיים. אולם בסקירה האקדמית של HART ב -2017 צוין כי "נראה שקשה להימנע מאטימות." זה בין היתר בגלל הכמות העצומה ומגוון הנתונים שהמערכת משתמשת בה, מה שמקשה על ניתוח הסיבות שמאחורי החלטותיה. "הפרטים הללו היו יכולים להיות זמינים לרשות הציבור באופן חופשי, אך הם ידרשו זמן רב ומאמץ להבנה מלאה", נכתב בעיתון.

כמה חברות וארגונים מובילים מאמצים להביא לשקיפות ל- AI, כולל גוגל, שהשיקה את GlassBox, יוזמה להפוך את התנהגותם של אלגוריתמי למידת מכונה למובנים יותר מבלי להקריב את איכות התפוקה. סוכנות המחקר המתקדמת של ההגנה (DARPA), המפקחת על השימוש ב- AI בצבא, מממנת גם מאמץ לאפשר לאלגוריתמים של AI להסביר את החלטותיהם.

במקרים אחרים שיקול הדעת האנושי יהיה המפתח בהתמודדות עם משוא פנים. כדי למנוע הטיות אנושיות על רקע גזעי וחברתי להתגנב לאלגוריתמים של HART, קונסטבול הדורהם סיפק לחברי הצוות שלו פעילויות מודעות סביב הטיה לא מודעת. כוח המשטרה נקט גם בצעדים להסרת נקודות נתונים כמו תכונות גזעיות, העלולות ליצור עילה להחלטות מוטות.

אחריות אנושית

מנקודת מבט שונה, אלגוריתמים של AI יכולים לספק הזדמנות להרהר בהטיות ובדעות הקדומות שלנו. סנדרה ווכטר, חוקרת אתיקת נתונים ואלגוריתמים מאוניברסיטת אוקספורד, אמרה : "העולם מוטה, הנתונים ההיסטוריים מוטים, ומכאן שלא מפתיע שנקבל תוצאות מוטות".

ווכטר הוא חלק מצוות מחקר ממכון אלור טיורינג בלונדון ואוניברסיטת אוקספורד, שפרסם מאמר הקורא לתקנות ומוסדות לחקור אפליה אפשרית על ידי אלגוריתמים של AI.

ג'ואנה ברייסון, מדעני מחשבים מאוניברסיטת באת 'ושותפה לעבודה במחקר בנושא הטיה אלגוריתמית, אמרה גם "הגרדיאן ", "הרבה אנשים אומרים שמראים ש- AI דעה קדומה. לא. זה מראה שאנחנו דעה קדומה וש- AI לומד את זה."

בשנת 2016 השיקה מיקרוסופט את טיי, בוט בטוויטר שהיה אמור ללמוד מבני אדם ולנהל שיחות חכמות. אולם תוך 24 שעות מרגע השקתה של טיי, מיקרוסופט נאלצה לכבות אותה לאחר שהחלה להפיץ הערות גזעניות, שאותה העלתה משיחותיה עם משתמשי טוויטר. אולי זו תזכורת כי הגיע הזמן שאנו בני האדם מכירים בתפקידנו בעצמנו בהופעתה והתפשטותה של תופעת ההטיה האלגוריתמית ונוקטים צעדים קולקטיביים לביטול השפעותיה.

"זו משימה מורכבת מאוד, אבל זו אחריות שאנחנו כחברה לא צריכים להימנע ממנה", אומר ווכטר.